Ausfall eines Storage-Servers (FS1002)

Leider mussten wir feststellen das nicht alle Server sauber wiederhergestellt werden konnten. Dies liegt zum einen an riesigen Datenmengen oder gewaltigen vielen Dateien auf einem Server, letzteres resultiert meistens aus fehlerhaft konfigurierten Cronjobs. In seltenen Fällen scheinen Backups nicht korrekt erstellt worden zu sein, die Ursache hierfür sind Fehler in den Datenbanken die einen sauberen Dump verhindern. - Wir suchen derzeit nach Sicherungen früherer Daten die diese Fehler nicht aufweisen.

Da nun die Wartungs- und Backup-Jobs der Server laufen dauert sowohl die Suche als auch die erneute Wiederherstellung länger.

Wir versichern Ihnen das wir unser Bestes geben die noch verbliebenen Störungen zu korrigieren. Aufgrund er zuvor beschriebenen Umstände wird es bei diesen Kunden sehr wahrscheinlich bis morgen früh dauern bis diese VMs wieder erreichbar sind.

Wir bedanken uns für Ihr Verständnis und melden uns wieder sobald es neue Infos gibt.

Alle betroffenen Systeme wurden wiederhergestellt. Sollten Sie dennoch Fehler bemerken öffnen Sie bitte ein Support-Ticket (https://rackspeed.de/go/support) in unserem Kundencenter, wir schauen uns dieses morgen früh zuerst an.

Wir liegen in den letzten Zügen und gehen erst in den Feierabend wenn alles wieder erreichbar ist!
Kleinere Nacharbeiten führen wir gerne morgen mit unseren Kunden zusammen durch.

Aktuell glühen sowohl die Backup-Server, als auch die Netzwerkverbindungen Richtung neue Server und VMs. Wir und unsere Technik geben unser Bestes damit die Daten so schnell wie möglich wieder erreichbar sind, aktuell kratzen wir allerdings an mehreren physikalischen Grenzen die wir nicht "mal eben" erweitern können.

Update folgt...

Die meisten VMs sind erst einmal wieder online, es bleibt noch eine hand-voll übrig die einen schwerwiegenden Schaden am Dateisystem erlitten hat. Diese VMs werden in Kürze aus den Backups wiederhergestellt da eine Rettung nicht mehr möglich ist.

Sobald diese Vorgänge abgeschlossen wurden werden wir das betroffene Storage-System komplett evakuieren und außer Betrieb setzen. - Update folgt...

Das Problem konzentriert sich auf einen Storage-Server und auf den dort laufenden Rebuild des defekten RAID-Arrays. Wir versuchen gerade herauszufinden was genau schief läuft, die defekte Disk wurde vom System wie erwartet ausgetauscht dennoch gibt es derzeit massive Probleme mit dem System. - Update folgt...

Derzeit verzeichnen wir vereinzelt Probleme bei der Erreichbarkeit einiger VMs.