Ursache des Problems war allen Anschein nach ein Kurzschluß in einem unserer Racks. Wir haben den Verdacht das der Defekt einer der Strom zuführenden PDUs damit in Zusammenhang steht. Den Fall werden wir an dieser Stelle beenden da alle notwendigen Maßnahmen ergriffen wurden um einen stabilen Betrieb sicherzustellen. Sobald uns alle Details vorliegen werden wir ein Update veröffentlichen.
Die VMs sind werden im Monitoring wieder als "online" geführt, manuelle Tests haben dies bestätigt.
Für die entstandenen Unannehmlichkeiten entschuldigen wir uns an dieser Stelle ausdrücklich.
EDIT 12.08.2019: Ursache der Störung war ein defektes Server-Netzteil und / oder eine defekte PDU. In Folge dessen hat eine der Hauptsicherungen des Racks ausgelöst und dieses teilweise stromlos gemacht. Die Entstörung hat etwas länger als üblich gedauert da der Fehler nur vor Ort durch vorübergehende Änderungen an der Verkabelung gelöst werden konnte. - Mittlerweile befindet sich die Verkabelung wieder im ursprünglichen Zustand, die defekten Geräte wurden ebenfalls ersetzt.
Posted Aug 10, 2019 - 18:51 CEST
Update
We are continuing to monitor for any further issues.
Posted Aug 10, 2019 - 18:41 CEST
Monitoring
Das Problem konnte behoben werden. Alle betroffene Systeme werden gerade noch von Hand geprüft und werden schnellstmöglich wieder normal arbeiten. Nach diesen Arbeiten werden wir eine genauere Analyse veröffentlichen.
Posted Aug 10, 2019 - 18:41 CEST
Update
Das Problem konnten wir auf 2 Storage Switche eingrenzen. 2 Techniker fahren nun ins Rechenzentrum um das Problem vor Ort zu untersuchen und das Gerät ggf. zu tauschen. - Update folgt.
Posted Aug 10, 2019 - 18:12 CEST
Identified
Das Problem kann auf mehrere Virtualisierungs und Storage-Nodes in bestimmten Racks eingegrenzt werden. Wir untersuchen nun die Ursache und beheben diese schnellstmöglich. - Update folgt.
Posted Aug 10, 2019 - 18:07 CEST
Investigating
Derzeit verzeichnet unser Monitoring hohe Load-Werte und Verbindungsprobleme einiger VMs. Nach ersten Erkenntnissen sind ca. 50 VMs betroffen. - Update folgt.
Posted Aug 10, 2019 - 17:21 CEST
This incident affected: SSD Hosting Server and SSD CloudServer.