Datum: 23.08.2017 gegen 17 Uhr | Autor: Janne Chr. Schulz | Tags: News, bwCloud, Website, 2017, OpenStack, Störung, Mannheim | Quicklink

Update (29.08.2017 - 13:33): Situation beruhigt sich

Die Situation am Mannheimer bwCloud Standort beruhigt sich zunehmend. Ursache für die Störung war offenbar ein massiver Datendownload von extern auf das Speichersystem der Mannheimer bwCloud Region. In Folge des großen zusätzlichen Datenvolumens und weil das Speichersystem zunehmend an seine Kapazitätsgrenzen stößt, haben die Speicherknoten angefangen, die Daten intern zu verteilen ("re-balancieren"). Da auf den anderen Speicherknoten aber ebenfalls nicht mehr genügend freie Kapazität zur Verfügung stand, wurde das System insgesamt durch die hohe Last immer langsamer und die Störungen an einzelnen Services durch lange Timeouts nahmen zu.

In einer ersten Notmaßnahme wurde die Speicherkapazität deutlich erhöht. In einem zweiten Schritt wird evaluiert, wie die bwCloud Regionen zukünftig mit solchen Situationen umgehen müssen. Die Begrenzung der Downloadgeschwindigkeit von extern in die bwCloud könnte eine Maßnahme sein.

Dank geht an Oleg Dulov (Karlsruhe) sowie Maxim Schwarz (Mannheim)


Was ist betroffen?

Derzeit ist nur die Region Mannheim von den Störgungen betroffen.

Was ist die Ursache?

Derzeit beobachten wir in der Region Mannheim verinezelte Störungen im Betrieb der bwCloud. Dies macht sich beispielsweise in fehlerhaften Netzwerkverbindungen oder Abbrüchen während laufender Sessions bemerkbar. Die Ursache der Störungen ist noch nicht vollends aufgeklärt, die bwCloud Betriebsgruppe arbeitet mit Hochdruck an der Beseitigung der Störungen. Sobald die Ursache bekannt und behoben ist, werden wir dies natürlich hier auf unserer Website kommunizieren.

Sind andere Regionen betroffen?

Nach unserer Sicht auf das Gesamtsystem: nein

Sind die laufenden Instanzen in Mannheim in Gefahr?

Höchste Priorität bei den Maßnahmen zur Bekämpfung der Störungen hat die Erhaltung und Integrität der (laufenden) Instanzen. Die bwCloud Betriebsgruppe versucht daher immer - soweit das möglich ist - ohne Datenverlust die Systeme zu reparieren. Dennoch können wir im Einzelfall eine Beschädigung nicht vollständig ausschließen. Speichern Sie daher keine wertvollen oder unersetzlichen Daten in der bwCloud!

Seit wann werden die Störungen beobachtet?

Seit dem Vormittag des 23.08.2017 haben wir Kenntnis von den Störungen.