tag:status.rackspeed.de,2005:/historyrackSPEED GmbH Status - Incident History2024-03-28T16:47:18+01:00rackSPEED GmbHtag:status.rackspeed.de,2005:Incident/203280832024-03-25T07:00:56+01:002024-03-25T07:00:56+01:00DUS2: Dringende Kernel-Updates aufgrund eines Bugs in der IOMMU-Schnittstelle<p><small>Mar <var data-var='date'>25</var>, <var data-var='time'>07:00</var> CET</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Mar <var data-var='date'>25</var>, <var data-var='time'>04:00</var> CET</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Mar <var data-var='date'>22</var>, <var data-var='time'>13:51</var> CET</small><br><strong>Scheduled</strong> - Liebe Kundinnen und Kunden,<br /><br />wir möchten Sie darüber informieren, dass ein kritischer Bug in der IOMMU-Schnittstelle identifiziert wurde, der insbesondere unter Hochlastszenarien und bei der Verwendung aktueller Hardware zu Problemen führen kann. Dieser Bug könnte die Leistung und Stabilität unserer Systeme beeinträchtigen und erfordert daher unsere sofortige Aufmerksamkeit.<br /><br />Betroffene Dienste: Die Auswirkungen dieses Bugs betreffen hauptsächlich Server und Dienste, die auf aktueller Hardware laufen und hohe Lasten verarbeiten. Dies umfasst, ist aber nicht beschränkt auf, Webhosting-Dienste, Cloud-Infrastrukturen und dedizierte Server.<br /><br />Maßnahmen: Um sicherzustellen, dass die Integrität und Leistung unserer Dienste nicht beeinträchtigt wird, werden wir dringende Kernel-Updates durchführen. Diese Updates sind notwendig, um den Bug zu beheben und mögliche Auswirkungen auf Ihre Dienste zu minimieren.<br /><br />Zeitplan und Downtime: Die Updates beginnen sofort. Dank unserer umfassenden Redundanzmaßnahmen erwarten wir keine Beeinträchtigungen Ihrer Dienste während dieser Wartungsarbeiten. Wir haben Vorkehrungen getroffen, um einen reibungslosen Übergang und die kontinuierliche Verfügbarkeit Ihrer Services sicherzustellen.<br /><br />Support: Unser technisches Support-Team steht Ihnen für Fragen und Unterstützung zur Verfügung. Kontaktieren Sie uns bitte über die üblichen Kanäle, sollte Ihnen etwas unklar sein oder sollten Sie Hilfe benötigen.<br /><br />Wir verstehen, dass Wartungsarbeiten Unannehmlichkeiten verursachen können, und danken Ihnen für Ihr Verständnis und Ihre Kooperation. Die Sicherheit und Leistungsfähigkeit Ihrer Dienste haben für uns oberste Priorität. Wir werden alles in unserer Macht Stehende tun, um die Auswirkungen dieser notwendigen Wartungsarbeiten zu minimieren.<br /><br />Mit freundlichen Grüßen,<br />Ihr Team von rack::SPEED</p>tag:status.rackspeed.de,2005:Incident/203271942024-03-22T16:15:56+01:002024-03-22T16:15:56+01:00DUS2: Dringende Kernel-Updates aufgrund eines Bugs in der IOMMU-Schnittstelle<p><small>Mar <var data-var='date'>22</var>, <var data-var='time'>16:15</var> CET</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Mar <var data-var='date'>22</var>, <var data-var='time'>12:15</var> CET</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Mar <var data-var='date'>22</var>, <var data-var='time'>12:04</var> CET</small><br><strong>Scheduled</strong> - Liebe Kundinnen und Kunden,<br /><br />wir möchten Sie darüber informieren, dass ein kritischer Bug in der IOMMU-Schnittstelle identifiziert wurde, der insbesondere unter Hochlastszenarien und bei der Verwendung aktueller Hardware zu Problemen führen kann. Dieser Bug könnte die Leistung und Stabilität unserer Systeme beeinträchtigen und erfordert daher unsere sofortige Aufmerksamkeit.<br /><br />Betroffene Dienste: Die Auswirkungen dieses Bugs betreffen hauptsächlich Server und Dienste, die auf aktueller Hardware laufen und hohe Lasten verarbeiten. Dies umfasst, ist aber nicht beschränkt auf, Webhosting-Dienste, Cloud-Infrastrukturen und dedizierte Server.<br /><br />Maßnahmen: Um sicherzustellen, dass die Integrität und Leistung unserer Dienste nicht beeinträchtigt wird, werden wir dringende Kernel-Updates durchführen. Diese Updates sind notwendig, um den Bug zu beheben und mögliche Auswirkungen auf Ihre Dienste zu minimieren.<br /><br />Zeitplan und Downtime: Die Updates beginnen sofort. Dank unserer umfassenden Redundanzmaßnahmen erwarten wir keine Beeinträchtigungen Ihrer Dienste während dieser Wartungsarbeiten. Wir haben Vorkehrungen getroffen, um einen reibungslosen Übergang und die kontinuierliche Verfügbarkeit Ihrer Services sicherzustellen.<br /><br />Support: Unser technisches Support-Team steht Ihnen für Fragen und Unterstützung zur Verfügung. Kontaktieren Sie uns bitte über die üblichen Kanäle, sollte Ihnen etwas unklar sein oder sollten Sie Hilfe benötigen.<br /><br />Wir verstehen, dass Wartungsarbeiten Unannehmlichkeiten verursachen können, und danken Ihnen für Ihr Verständnis und Ihre Kooperation. Die Sicherheit und Leistungsfähigkeit Ihrer Dienste haben für uns oberste Priorität. Wir werden alles in unserer Macht Stehende tun, um die Auswirkungen dieser notwendigen Wartungsarbeiten zu minimieren.<br /><br />Mit freundlichen Grüßen,<br />Ihr Team von rack::SPEED</p>tag:status.rackspeed.de,2005:Incident/202341252024-03-13T15:02:48+01:002024-03-13T15:22:38+01:00DUS2 + DUS3: Sporadische Probleme bei der Verbindung zu einigen VMs<p><small>Mar <var data-var='date'>13</var>, <var data-var='time'>15:02</var> CET</small><br><strong>Resolved</strong> - Das Problem entstand an einem der Router des Betreibers des Rechenzentrums. Das betroffene Gerät wurde deaktiviert und wird nun genauer untersucht. Alle Server sind wieder wie gewohnt erreichbar.<br /><br />Wir bitte die entstandenen Unannehmlichkeiten zu entschuldigen.</p><p><small>Mar <var data-var='date'>13</var>, <var data-var='time'>14:58</var> CET</small><br><strong>Identified</strong> - Das Problem entsteht beim Betreiber des Rechenzentrums von dem wir unsere Upstreams beziehen. Die notwendigen Personen sind bereits informiert und die Techniker arbeiten an einer Entstörung. - Update folgt...</p><p><small>Mar <var data-var='date'>13</var>, <var data-var='time'>14:53</var> CET</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir Probleme bei der Anbindung einiger VMs. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/201840992024-03-07T13:01:48+01:002024-03-07T13:33:28+01:00DUS2: Sporadische Probleme bei der Verbindung zu einigen VMs<p><small>Mar <var data-var='date'> 7</var>, <var data-var='time'>13:01</var> CET</small><br><strong>Resolved</strong> - Das Problem wurde behoben und alle betroffenen Instanzen wurden neu gestartet.</p><p><small>Mar <var data-var='date'> 7</var>, <var data-var='time'>12:26</var> CET</small><br><strong>Identified</strong> - Das Problem konnte auf einen Storage Server eingegrenzt werden und wir sind bereits an der dauerhaften Lösung des Problems.<br />Update folgt...</p>tag:status.rackspeed.de,2005:Incident/201797592024-03-06T23:06:43+01:002024-03-06T23:08:02+01:00DUS2: Sporadische Probleme bei der Verbindung zu einigen VMs<p><small>Mar <var data-var='date'> 6</var>, <var data-var='time'>23:06</var> CET</small><br><strong>Resolved</strong> - Alle betroffenen VMs arbeiten wieder wie erwartet.<br /><br />Wir bitten die entstandenen Unannehmlichkeiten zu entschuldigen und wünschen einen schönen Abend.</p><p><small>Mar <var data-var='date'> 6</var>, <var data-var='time'>22:45</var> CET</small><br><strong>Monitoring</strong> - Ein bestehendes Problem wurde vom RAID-Controller nicht korrekt erkannt. Durch einen manuellen Eingriff konnte das Problem dauerhaft gelöst werden. - Alle VMs werden in Kürze wieder zur gewohnten Leistung zurückkehren.</p><p><small>Mar <var data-var='date'> 6</var>, <var data-var='time'>22:38</var> CET</small><br><strong>Identified</strong> - Das Problem konnte auf einen Storage Server eingegrenzt werden. - Update folgt...</p><p><small>Mar <var data-var='date'> 6</var>, <var data-var='time'>22:16</var> CET</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir eine Störung der Verbindung einiger VMs. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/199652852024-02-12T17:54:53+01:002024-02-12T17:54:53+01:00Probleme beim Login<p><small>Feb <var data-var='date'>12</var>, <var data-var='time'>17:54</var> CET</small><br><strong>Resolved</strong> - This incident has been resolved.</p><p><small>Feb <var data-var='date'>12</var>, <var data-var='time'>10:40</var> CET</small><br><strong>Monitoring</strong> - In vereinzelten Fällen kommt es zu einer Fehlermeldung beim Aufruf unseres Kundencenters unter https://kunden.rackspeed.de/.<br /><br />Sollten Sie mit der Meldung "Oops! - Something went wrong and we couldn't process your request." begrüßt werden nutzen Sie bitte eine der 3 Möglichkeiten um das Problem zu lösen:<br /><br />- Login über einen andern Browser<br />- Aktivierung des Inkognito-Modus<br />- Löschung des Browser-Caches<br /><br />Ursache der Störung ist ein fehlerhaftes Cookie.<br /><br />Wir bitten Sie die entstandenen Unannehmlichkeiten zu entschuldigen und bedanken uns für Ihre Mitarbeit.</p>tag:status.rackspeed.de,2005:Incident/194265192023-12-19T06:00:33+01:002023-12-19T06:00:33+01:00DUS2 + DUS3: Wartungsarbeiten Außenanbindung<p><small>Dec <var data-var='date'>19</var>, <var data-var='time'>06:00</var> CET</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Dec <var data-var='date'>19</var>, <var data-var='time'>02:00</var> CET</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Dec <var data-var='date'>13</var>, <var data-var='time'>11:52</var> CET</small><br><strong>Scheduled</strong> - Der Betreiber unseres Rechenzentrums teil folgendes mit: <br /><br />"Im o.g. Zeitraum werden wir die Bandbreiten-Kapazitäten unsere Routing-Infrastruktur erweitern. Dazu werden die Core-Router an unserem Standort in Düsseldorf ausgetauscht. Da diese Arbeiten weitgehende Änderungen am Routing mit sich bringen, kann es in dem o.g. Zeitfenster zu Unterbrechungen der Internetverbindung kommen. Die Transport-Strecken zu den Dritt-Rechenzentren (z.B. für Backup-Systeme) werden in dieser Zeit weiterhin zur Verfügung stehen."<br /><br />Aus unserer Perspektive betrachtet wird der Internetanschluss des Rechenzentrums mehrfach ein- und ausgeschaltet. Störungen auf unserer Seite und / oder den Systemen unserer Kunden sind daher zu 100% ausgeschlossen.<br /><br />Bitte planen Sie den Vorgang auf Ihrer Seite entsprechend ein. Selbstverständlich steht von unserer Seite ebenfalls ein Techniker in Bereitschaft bereit der den Vorgang begleiten und überwachen wird.<br /><br />Wir bitten die entstehenden Unannehmlichkeiten zu entschuldigen.</p>tag:status.rackspeed.de,2005:Incident/183857472023-09-04T20:33:07+02:002023-09-04T20:33:08+02:00Störung im IP Netz 185.147.219.0/24<p><small>Sep <var data-var='date'> 4</var>, <var data-var='time'>20:33</var> CEST</small><br><strong>Resolved</strong> - Das Problem wurde vom Lieferanten gefunden und behoben. Das IP Netz ist wieder uneingeschränkt erreichbar.</p><p><small>Sep <var data-var='date'> 4</var>, <var data-var='time'>20:14</var> CEST</small><br><strong>Identified</strong> - Das oben genannte IP Netz ist aktuell aufgrund einer Störung schwer bis garnicht erreichbar. Betroffen sind alle Kunden mit einem Server aus diesem IP Netz. Die Ursache wird bereits gesucht, sodass schnellstmöglich eine Lösung herbeigeführt wird.<br />Da die Störung bei einem Lieferanten von rackSPEED auftritt, können wir aktuell keine Informationen zur Dauer geben und warten gerade selber auf ein Update.</p>tag:status.rackspeed.de,2005:Incident/181548752023-08-15T23:00:51+02:002023-08-15T23:00:51+02:00DUS1: Dringende Wartungsarbeiten / Außenanbindung<p><small>Aug <var data-var='date'>15</var>, <var data-var='time'>23:00</var> CEST</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Aug <var data-var='date'>15</var>, <var data-var='time'>22:02</var> CEST</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Aug <var data-var='date'>15</var>, <var data-var='time'>20:35</var> CEST</small><br><strong>Update</strong> - We will be undergoing scheduled maintenance during this time.</p><p><small>Aug <var data-var='date'>15</var>, <var data-var='time'>20:26</var> CEST</small><br><strong>Update</strong> - We will be undergoing scheduled maintenance during this time.</p><p><small>Aug <var data-var='date'>15</var>, <var data-var='time'>20:21</var> CEST</small><br><strong>Scheduled</strong> - Soeben ist die Replikation des Firewall-Pärchens in DUS1 ausgefallen. Da sich die Replikation im laufenden Betrieb nicht reparieren lässt haben wir uns dazu entschlossen heute Abend dringende Wartungsarbeiten durchzuführen. Dies ist notwendig um die Redundanz der Anbindung aufrechtzuerhalten, derzeit ist dies nicht möglich da die Konfigurationen der beiden Firewalls nicht mehr synchronisiert werden können. Fällt nun die aktive Firewall aus kann das Ersatzgerät nicht automatisch übernehmen.<br /><br />Aufgrund der zuvor beschriebenen Probleme ist ein "Rollen-Tausch" vor Beginn der Wartungsarbeiten nicht möglich, wir müssen den Standort kurz kontrolliert vom Netz nehmen. Es wird somit zu kurzen Unterbrechungen in der Erreichbarkeit kommen, sobald die Anbindung wiederhergestellt wurde funktionieren alle Services wie zuvor da an den Servern selber keinerlei Veränderung stattfindet.<br /><br />Insgesamt sind von dieser Maßnahme ca. 20% unserer Systeme betroffen, 80% der Systeme stehen in DUS2 und sind nicht betroffen. Die Systeme in DUS2 werden daher ohne Unterbrechung durchgehend erreichbar sein.<br /><br />Wir sind bemüht die Beeinträchtigungen so kurz wie möglich zu halten und bedanken uns schon jetzt für Ihr Verständnis.</p>tag:status.rackspeed.de,2005:Incident/166799312023-03-28T22:40:19+02:002023-03-28T22:42:20+02:00DUS1: Packetloss und sporadische Probleme bei der Verbindung<p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>22:40</var> CEST</small><br><strong>Resolved</strong> - Beide Firewalls haben sich synchronisiert und melden einen grünen Status. Die genaue Ursache werden wir morgen untersuchen, ggf. folgt ein kurzes Update zur genauen Ursache sofern diese sich noch herausfinden lässt.<br /><br />Die Störung bitten wir zu entschuldigen und wünschen eine gute Nacht.</p><p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>22:23</var> CEST</small><br><strong>Update</strong> - Die Anbindung wurde wiederhergestellt, alle Systeme sind wieder online.</p><p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>22:19</var> CEST</small><br><strong>Monitoring</strong> - Beide Firewalls zeigten eine Störung an und wurden neugestartet. - Update folgt...</p><p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>22:18</var> CEST</small><br><strong>Update</strong> - Beide Firewalls zeigten eine Störung an und wurden neugestartet. - Update folgt...</p><p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>22:01</var> CEST</small><br><strong>Identified</strong> - Ursache der Störung scheinen unsere Firewalls zu sein, ein Techniker ist auf dem Weg ins Rechenzentrum. - Update folgt...</p><p><small>Mar <var data-var='date'>28</var>, <var data-var='time'>21:53</var> CEST</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir eine Störung der Anbindung eines Rechenzentrums. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/136614592022-11-24T17:26:27+01:002022-11-24T17:26:27+01:00Störung eines Storage-Servers (FS1006)<p><small>Nov <var data-var='date'>24</var>, <var data-var='time'>17:26</var> CET</small><br><strong>Resolved</strong> - Das Storage-System konnte ohne weitere Zwischenfälle oder Datenverlust evakuiert werden. Alle betroffenen Server liegen nun auf neuen Geräten und arbeiten ohne Auffälligkeiten. - Wir beenden unseren Einsatz an dieser Stelle und wünsche einen schönen Abend.</p><p><small>Nov <var data-var='date'>24</var>, <var data-var='time'>06:31</var> CET</small><br><strong>Update</strong> - Die Evakuierung des Storage Servers läuft weiterhin nach Plan, 80% der Daten wurden bereits verschoben. Wir sind guter Dinge den Vorgang am späten Vormittag komplett abschließen zu können. - Update folgt...</p><p><small>Nov <var data-var='date'>23</var>, <var data-var='time'>21:05</var> CET</small><br><strong>Monitoring</strong> - Die Evakuierung des Storage Servers läuft nach Plan und schreitet schnell voran. - Update folgt...</p><p><small>Nov <var data-var='date'>23</var>, <var data-var='time'>18:04</var> CET</small><br><strong>Identified</strong> - Soeben ist zusätzlich ein Compute-Node ausgefallen, hierbei kam es bei einer Hand voll VMs einer Unterbrechung der Services. Alle VMs wurden auf andere Compute-Nodes migriert und laufen bereits wieder. Die Migration des Storage-Servers läuft nach wie vor. - Update folgt...</p><p><small>Nov <var data-var='date'>23</var>, <var data-var='time'>16:37</var> CET</small><br><strong>Monitoring</strong> - Die Migration der betroffenen Kundendaten läuft nun mit maximaler Geschwindigkeit, dies führt vereinzelt zu einer schlechteren Antwortzeit der Dienste und kurzen Störungen in der Erreichbarkeit. Dieser Zustand wird sich mit jeder geretteten VM im Laufe des Abends nach und nach verbessern. <br /><br />Bisher gab es keine weiteren Besonderen Vorkommnisse, wenn dies so bleibt können wir die Arbeiten in der Nacht abschließen. - Update folgt...</p><p><small>Nov <var data-var='date'>23</var>, <var data-var='time'>15:06</var> CET</small><br><strong>Identified</strong> - Das Problem konzentriert sich auf einen Storage-Server welcher droht in Kürze auszufallen. Wir bereiten nun die Evakuierung der betroffenen VMs vor und starten kurzfristig mit den notwendigen Arbeiten. - Update folgt...</p><p><small>Nov <var data-var='date'>23</var>, <var data-var='time'>14:52</var> CET</small><br><strong>Investigating</strong> - Unser Monitoring meldet vereinzelt Probleme bei der Performance von ca. 80 VMs. Wir untersuchen den Fall bereits und werden kurzfristig weitere Infos veröffentlichen. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/111056452022-09-12T12:34:29+02:002022-09-12T12:34:29+02:00Ausfall eines Storage-Servers (FS1001)<p><small>Sep <var data-var='date'>12</var>, <var data-var='time'>12:34</var> CEST</small><br><strong>Resolved</strong> - Abschließend wurden alle betroffenen Server und Dienste überprüft um versteckte Fehler ausschließen zu können. Wir beenden unseren Einsatz an dieser Stelle und wünschen Ihnen einen schönen Tag.</p><p><small>Sep <var data-var='date'>12</var>, <var data-var='time'>11:56</var> CEST</small><br><strong>Monitoring</strong> - Auf einigen Compute-Nodes wurde der ausgefallene Storage-Server nicht korrekt erkannt. Dies führte dazu das einige Verbindungen offen geblieben sind wodurch ein erneuter Verbindungsaufbau verhindert wurde. Nachdem die Verbindungen manuell beendet wurden stellten die Server automatisch alle fehlenden Verbindungen wieder her.</p><p><small>Sep <var data-var='date'>12</var>, <var data-var='time'>11:06</var> CEST</small><br><strong>Identified</strong> - Das Problem konzentriert sich auf einen Storage-Server welcher soeben ohne Vorwarnung ausgefallen ist. Nach einem Reboot scheint das System nicht ganz rund zu laufen, die meisten VMs sind allerdings bereits wieder online. - Update folgt...</p><p><small>Sep <var data-var='date'>12</var>, <var data-var='time'>10:50</var> CEST</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir vereinzelt Probleme bei der Erreichbarkeit einiger VMs. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/108685992022-08-20T19:33:00+02:002022-08-20T19:33:00+02:00DUS2: Packetloss und sporadische Probleme bei der Verbindung<p><small>Aug <var data-var='date'>20</var>, <var data-var='time'>19:33</var> CEST</small><br><strong>Resolved</strong> - Das Problem ist gelöst und alle Services sind wieder uneingeschränkt erreichbar. Es wird nun geprüft wie es dazu kommen konnte und was in Zukunft unternommen werden kann damit dies nicht wieder auftritt. Wir entschuldigen uns für die Störung und beenden unseren Einsatz.</p><p><small>Aug <var data-var='date'>20</var>, <var data-var='time'>19:06</var> CEST</small><br><strong>Monitoring</strong> - Durch einen Fehler im Routing funktionierte die automatische Umschaltung des DDoS-Schutzes nicht korrekt. Hierdurch kam es zu einer vorübergehenden Störung der Anbindung. Das Problem sollte nun gelöst sein. - Update folgt...</p><p><small>Aug <var data-var='date'>20</var>, <var data-var='time'>18:55</var> CEST</small><br><strong>Identified</strong> - Das Problem entsteht im Rechenzentrum bei unserem Partner der die Anbindung ans Internet übernimmt. Wir können somit leider nicht aktiv an der Entstörung mitwirken und bitten unsere Kunden daher um etwas Geduld. Ein Team von Technikern ist bereits vor Ort im Einsatz um die Störung zu analysieren und kurzfristig zu beheben. - Update folgt...</p><p><small>Aug <var data-var='date'>20</var>, <var data-var='time'>18:40</var> CEST</small><br><strong>Investigating</strong> - Derzeit verzeichnet unser Monitoring Packetloss und sporadische Probleme bei der Verbindung zu DUS2. - Update folgt.</p>tag:status.rackspeed.de,2005:Incident/108504572022-08-18T08:01:13+02:002022-08-18T08:01:13+02:00DUS2: Packetloss und sporadische Probleme bei der Verbindung<p><small>Aug <var data-var='date'>18</var>, <var data-var='time'>08:01</var> CEST</small><br><strong>Resolved</strong> - Soeben kam die Entwarnung des Partners vor Ort per Telefon, das Problem ist unter Kontrolle und gelöst. Es wird nun geprüft wie es dazu kommen konnte und was in Zukunft unternommen werden kann damit dies nicht wieder auftritt. Wir entschuldigen uns für die Störung und beenden unseren Einsatz.</p><p><small>Aug <var data-var='date'>18</var>, <var data-var='time'>07:36</var> CEST</small><br><strong>Monitoring</strong> - Durch einen Fehler im Routing kam es zu einer vorübergehenden Störung der Anbindung. Das Problem sollte nun gelöst sein. - Update folgt...</p><p><small>Aug <var data-var='date'>18</var>, <var data-var='time'>07:16</var> CEST</small><br><strong>Identified</strong> - Das Problem entsteht im Rechenzentrum bei unserem Partner der die Anbindung ans Internet übernimmt. Wir können somit leider nicht aktiv an der Entstörung mitwirken und bitten unsere Kunden daher um etwas Geduld. Ein Team von Technikern ist bereits vor Ort im Einsatz um die Störung zu analysieren und kurzfristig zu beheben. - Update folgt...</p><p><small>Aug <var data-var='date'>18</var>, <var data-var='time'>07:06</var> CEST</small><br><strong>Investigating</strong> - Derzeit verzeichnet unser Monitoring Packetloss und sporadische Probleme bei der Verbindung zu DUS2. - Update folgt.</p>tag:status.rackspeed.de,2005:Incident/88932172021-12-21T16:14:04+01:002022-02-04T13:08:25+01:00Ausfall eines Storage-Servers (FS1002)<p><small>Dec <var data-var='date'>21</var>, <var data-var='time'>16:14</var> CET</small><br><strong>Resolved</strong> - Alle betroffenen Systemen wurden wiederhergestellt! Wir werden den Fall an dieser Stelle schließen und melden uns in Kürze mit einem ausführlichen Report zurück.<br /><br />Sollten Sie dennoch Fehler bemerken öffnen Sie bitte ein Support-Ticket (https://rackspeed.de/go/support) in unserem Kundencenter, wir schauen uns dieses morgen früh zuerst an.<br /><br />Wie immer werden wir unsere Schlüsse aus dem Vorfall ziehen und uns fürs nächste Mal besser aufstellen. Sobald es Neuigkeiten gibt berichten wir in unserem Blog darüber.<br /><br />Wir möchten uns an dieser Stelle noch einmal ausdrücklich für das große Verständnis und Mitgefühl einiger Kunden bedanken.</p><p><small>Dec <var data-var='date'>21</var>, <var data-var='time'>00:38</var> CET</small><br><strong>Update</strong> - Leider mussten wir feststellen das nicht alle Server sauber wiederhergestellt werden konnten. Dies liegt zum einen an riesigen Datenmengen oder gewaltigen vielen Dateien auf einem Server, letzteres resultiert meistens aus fehlerhaft konfigurierten Cronjobs. In seltenen Fällen scheinen Backups nicht korrekt erstellt worden zu sein, die Ursache hierfür sind Fehler in den Datenbanken die einen sauberen Dump verhindern. - Wir suchen derzeit nach Sicherungen früherer Daten die diese Fehler nicht aufweisen.<br /><br />Da nun die Wartungs- und Backup-Jobs der Server laufen dauert sowohl die Suche als auch die erneute Wiederherstellung länger.<br /><br />Wir versichern Ihnen das wir unser Bestes geben die noch verbliebenen Störungen zu korrigieren. Aufgrund er zuvor beschriebenen Umstände wird es bei diesen Kunden sehr wahrscheinlich bis morgen früh dauern bis diese VMs wieder erreichbar sind.<br /><br />Wir bedanken uns für Ihr Verständnis und melden uns wieder sobald es neue Infos gibt.</p><p><small>Dec <var data-var='date'>20</var>, <var data-var='time'>21:17</var> CET</small><br><strong>Monitoring</strong> - Alle betroffenen Systeme wurden wiederhergestellt. Sollten Sie dennoch Fehler bemerken öffnen Sie bitte ein Support-Ticket (https://rackspeed.de/go/support) in unserem Kundencenter, wir schauen uns dieses morgen früh zuerst an.</p><p><small>Dec <var data-var='date'>20</var>, <var data-var='time'>17:44</var> CET</small><br><strong>Update</strong> - Wir liegen in den letzten Zügen und gehen erst in den Feierabend wenn alles wieder erreichbar ist! <br />Kleinere Nacharbeiten führen wir gerne morgen mit unseren Kunden zusammen durch.<br /><br />Aktuell glühen sowohl die Backup-Server, als auch die Netzwerkverbindungen Richtung neue Server und VMs. Wir und unsere Technik geben unser Bestes damit die Daten so schnell wie möglich wieder erreichbar sind, aktuell kratzen wir allerdings an mehreren physikalischen Grenzen die wir nicht "mal eben" erweitern können.<br /><br />Update folgt...</p><p><small>Dec <var data-var='date'>20</var>, <var data-var='time'>12:51</var> CET</small><br><strong>Update</strong> - Die meisten VMs sind erst einmal wieder online, es bleibt noch eine hand-voll übrig die einen schwerwiegenden Schaden am Dateisystem erlitten hat. Diese VMs werden in Kürze aus den Backups wiederhergestellt da eine Rettung nicht mehr möglich ist.<br /><br />Sobald diese Vorgänge abgeschlossen wurden werden wir das betroffene Storage-System komplett evakuieren und außer Betrieb setzen. - Update folgt...</p><p><small>Dec <var data-var='date'>20</var>, <var data-var='time'>08:35</var> CET</small><br><strong>Identified</strong> - Das Problem konzentriert sich auf einen Storage-Server und auf den dort laufenden Rebuild des defekten RAID-Arrays. Wir versuchen gerade herauszufinden was genau schief läuft, die defekte Disk wurde vom System wie erwartet ausgetauscht dennoch gibt es derzeit massive Probleme mit dem System. - Update folgt...</p><p><small>Dec <var data-var='date'>20</var>, <var data-var='time'>08:03</var> CET</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir vereinzelt Probleme bei der Erreichbarkeit einiger VMs.</p>tag:status.rackspeed.de,2005:Incident/88315052021-12-13T18:40:30+01:002021-12-17T09:36:25+01:00CVE-2021-44228 (Log4Shell) - Sicherheitslücke im Java-Logging log4j<p><small>Dec <var data-var='date'>13</var>, <var data-var='time'>18:40</var> CET</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Dec <var data-var='date'>13</var>, <var data-var='time'>10:40</var> CET</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Dec <var data-var='date'>13</var>, <var data-var='time'>10:38</var> CET</small><br><strong>Scheduled</strong> - Die Sicherheitslücke ist uns bekannt, daher untersuchen und patchen wir derzeit bei uns installierte verwundbare Installationen. In diesem Zusammenhang wird es zu Unterbrechungen des Betriebs kommen, eine Terminvergabe ist aufgrund der kritischen Einstufung des Problems nicht möglich.<br /><br />Genaue Informationen zur betroffenen Software, unseren Gegenmaßnahmen und weitere Details werden wir aufgrund der akuten Gefährdungslage derzeit nicht veröffentlichen. Wir bitten Sie daher von Nachfragen diesbezüglich abzusehen.<br /><br />Des Weiteren werden wir eingehende Support-Anfragen nicht persönlich beantworten und mit einem Verweis auf diesen Eintrag schließen.<br /><br />Zu späterer Zeit werden wir hier genauere Infos veröffentlichen.<br /><br />Wir bedanken und für Ihr Verständnis und versichern alles notwendige zu unternehmen um unsere Infrastruktur und Ihre Daten zu schützen.</p>tag:status.rackspeed.de,2005:Incident/84208952021-11-08T10:31:41+01:002021-11-08T10:31:41+01:00Spontane Probleme in der Erreichbarkeit einzelner Server<p><small>Nov <var data-var='date'> 8</var>, <var data-var='time'>10:31</var> CET</small><br><strong>Resolved</strong> - Das Netzwerk läuft wieder stabil, das Problem ist damit gelöst. Die genaue Ursache werden wir nun in Ruhe analysieren und den Switch ggf. austauschen. <br /><br />Wir entschuldigen uns für die entstandenen Unannehmlichkeiten und wünschen einen guten Start in die Woche. Mit weiteren Einschränkungen ist nicht zu rechnen.</p><p><small>Nov <var data-var='date'> 8</var>, <var data-var='time'>09:20</var> CET</small><br><strong>Monitoring</strong> - Das Problem konnte auf einen Switch eingegrenzt werden. Wir haben diesen isoliert und leiten die Daten nun ausschließlich über den redundanten Partner weiter. Das Problem sollte dadurch gelöst sein. - Update folgt...</p><p><small>Nov <var data-var='date'> 8</var>, <var data-var='time'>08:31</var> CET</small><br><strong>Identified</strong> - Das Problem kann auf ein spezielles Rack eingegrenzt werden. Wir untersuchen nun das Netzwerk. - Update folgt...</p><p><small>Nov <var data-var='date'> 8</var>, <var data-var='time'>08:25</var> CET</small><br><strong>Investigating</strong> - Derzeit verzeichnen wir Probleme in der Erreichbarkeit einzelner Kunden. Wir untersuchen den Fall. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/81859462021-10-08T21:01:29+02:002021-10-08T21:01:29+02:00Kritisches Apache 2.4 Update (CVE-2021-41773 und CVE-2021-42013)<p><small>Oct <var data-var='date'> 8</var>, <var data-var='time'>21:01</var> CEST</small><br><strong>Completed</strong> - Die Updates wurden fehlerfrei auf allen Systemen installiert. - Wir können unseren Einsatz vorzeitig beenden.</p><p><small>Oct <var data-var='date'> 8</var>, <var data-var='time'>19:48</var> CEST</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Oct <var data-var='date'> 8</var>, <var data-var='time'>19:47</var> CEST</small><br><strong>Scheduled</strong> - Soeben wurde ein kritisches Update für den Apache 2.4 Webserver (CVE-2021-41773 und CVE-2021-42013) veröffentlicht. Die Updates werden ab sofort auf den betroffenen Servern installiert, mit Einschränkungen des Produktivbetriebs wird nicht gerechnet.</p>tag:status.rackspeed.de,2005:Incident/75543022021-07-21T01:00:35+02:002021-07-21T01:00:35+02:00DUS1: Dringende Wartungsarbeiten / Außenanbindung<p><small>Jul <var data-var='date'>21</var>, <var data-var='time'>01:00</var> CEST</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Jul <var data-var='date'>20</var>, <var data-var='time'>22:57</var> CEST</small><br><strong>Verifying</strong> - Es konnten alle Arbeiten ohne Probleme und wesentlich schneller als geplant umgesetzt werden. Wir beobachten das neue Firewall-Pärchen noch ein wenig und werden dann die Wartungsarbeiten vorzeitig abschließen. <br /><br />Insgesamt waren die Verbindungen für knapp 3 Minuten offline, weitere Unterbrechungen wird es nicht mehr geben.</p><p><small>Jul <var data-var='date'>20</var>, <var data-var='time'>22:01</var> CEST</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Jul <var data-var='date'>20</var>, <var data-var='time'>10:14</var> CEST</small><br><strong>Scheduled</strong> - Heute Nacht kam es zu einem kurzen Aussetzer der Außenanbindung. Während der Ursachenanalyse stellte sich heraus das beide Firewalls bereits seit mehreren Tagen Probleme aufzeichnen die langsam aber sicher größer werden und in Kürze zu einem Totalausfall, trotz Redundanz, führen werden.<br /><br />Wir haben uns daher entschlossen den Austausch der Hardware welcher für Herbst geplant war auf heute Nacht vorzuziehen. Während der Wartungsarbeiten werden wir das bestehende Firewall-Pärchen ausbauen und durch ein neues ersetzen. Aufgrund der zuvor beschriebenen Probleme ist ein "Online-Austausch" nicht mehr möglich, es wird somit zu kurzen Unterbrechungen in der Erreichbarkeit kommen.<br /><br />Insgesamt sind von dieser Maßnahme ca. 60% unserer Systeme betroffen, 40% der Systeme sind nicht betroffen und werden daher ohne Unterbrechung durchgehend erreichbar sein.<br /><br />Wir sind bemüht die Beeinträchtigungen so kurz wie möglich zu halten und bedanken uns schon jetzt für Ihr Verständnis.</p>tag:status.rackspeed.de,2005:Incident/74256122021-07-06T17:57:34+02:002021-07-06T18:04:52+02:00Störung der Telefonanlage<p><small>Jul <var data-var='date'> 6</var>, <var data-var='time'>17:57</var> CEST</small><br><strong>Resolved</strong> - Die Telefone funktionieren wieder fehlerfrei. Ab sofort sind wir telefonisch wieder erreichbar.</p><p><small>Jul <var data-var='date'> 6</var>, <var data-var='time'>17:53</var> CEST</small><br><strong>Monitoring</strong> - Das Problem wurde laut dem Anbieter gelöst. - Update folgt...</p><p><small>Jul <var data-var='date'> 6</var>, <var data-var='time'>16:13</var> CEST</small><br><strong>Identified</strong> - Das Problem ist bereits beim Anbieter bekannt und wird derzeit gelöst. Wir bitten unsere Kunden daher in der Zwischenzeit Anfragen per Support-Ticket (https://rackspeed.de/go/support) an uns zu richten, Neukunden benutzen bitte das Kontaktformular der Website oder senden Ihre Anfrage direkt an info@rackspeed.de Wir bedanken uns für Ihr Verständnis. - Update folgt...</p><p><small>Jul <var data-var='date'> 6</var>, <var data-var='time'>15:26</var> CEST</small><br><strong>Investigating</strong> - Derzeit erreichen uns eMails mit dem Hinweis das unsere Telefone nicht erreichbar sind. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/70392562021-05-19T15:30:22+02:002021-05-19T15:58:34+02:00DUS1: Störungen der Verbindungen vom DE-CIX<p><small>May <var data-var='date'>19</var>, <var data-var='time'>15:30</var> CEST</small><br><strong>Resolved</strong> - Das Problem wurde von HKN nachhaltig gelöst, wir beenden unseren Einsatz daher.<br /><br />Auch wenn die Ursache der Probleme nicht in unserem Einflussbereich lag möchten wir uns ausdrücklich dafür entschuldigen. Wir werden im Nachgang mit unserem Anbindungspartner über die genaue Ursache der Störung sprechen und überprüfen ob wir bei diesem Thema etwas verbessern können.</p><p><small>May <var data-var='date'>19</var>, <var data-var='time'>15:10</var> CEST</small><br><strong>Monitoring</strong> - Die Verbindungen sind wieder uneingeschränkt erreichbar. Wir beobachten das Verhalten noch etwas länger, Update folgt...</p><p><small>May <var data-var='date'>19</var>, <var data-var='time'>15:09</var> CEST</small><br><strong>Identified</strong> - Das Problem entsteht außerhalb unseres Einflussbereiches beim Anbindungspartner HKN. Das Support-Team des Anbieters untersucht das Problem bereits und sorgt kurzfristig für eine Lösung. - Update folgt...</p><p><small>May <var data-var='date'>19</var>, <var data-var='time'>14:56</var> CEST</small><br><strong>Investigating</strong> - Derzeit berichten einige Kunden und unser Monitoring von Störungen der Verbindungen zu einem unserer Standorte DUS1. Wir untersuchen das Problem, Update folgt...</p>tag:status.rackspeed.de,2005:Incident/67726562021-04-17T12:57:57+02:002021-04-19T12:23:33+02:00Störung der Erreichbarkeit von DUS1<p><small>Apr <var data-var='date'>17</var>, <var data-var='time'>12:57</var> CEST</small><br><strong>Resolved</strong> - Alle Systeme sind wieder online - die betroffene Sicherung wurde ausgetauscht und alle Instanzen und Server wurden gestartet und sind online.<br /><br />Wir bitte die entstandenen Unannehmlichkeiten zu entschuldigen, durch Austausch des Sicherungsautomaten wurde das Problem nachhaltig gelöst.</p><p><small>Apr <var data-var='date'>17</var>, <var data-var='time'>09:59</var> CEST</small><br><strong>Identified</strong> - Das Problem konnte auf eine Sicherung im Rechenzentrum zurück geführt werden.<br />Alle betroffenen Server-Instanzen sind aktuell wieder am booten.</p><p><small>Apr <var data-var='date'>17</var>, <var data-var='time'>09:56</var> CEST</small><br><strong>Investigating</strong> - Unser Monitoring meldet den Ausfall einiger Server und Instanzen. Update folgt...</p>tag:status.rackspeed.de,2005:Incident/61922552021-02-05T00:00:32+01:002021-02-05T00:00:32+01:00DUS2: Anpassungen Upstream und DDoS Filter<p><small>Feb <var data-var='date'> 5</var>, <var data-var='time'>00:00</var> CET</small><br><strong>Completed</strong> - The scheduled maintenance has been completed.</p><p><small>Feb <var data-var='date'> 4</var>, <var data-var='time'>22:00</var> CET</small><br><strong>In progress</strong> - Scheduled maintenance is currently in progress. We will provide updates as necessary.</p><p><small>Feb <var data-var='date'> 4</var>, <var data-var='time'>14:25</var> CET</small><br><strong>Scheduled</strong> - Während der Wartungsarbeiten werden die offenen Updates der Firewalls eingespielt. Gleichzeitig werden die Upstreams und DDoS-Filter neu konfiguriert, währenddessen wird es zu kurzen Unterbrechungen in der Erreichbarkeit einzelner Server kommen. <br /><br />Insgesamt sind von dieser Maßnahme ca. 30% unserer Systeme betroffen, 70% der Systeme sind nicht betroffen und werden daher ohne Unterbrechung durchgehend erreichbar sein.<br /><br />Mit großen Störungen der Verbindungen oder deren Qualität ist nicht zu rechnen, dennoch wird ein Techniker Team im Rechenzentrum anwesend sein und den Vorgang überwachen.<br /><br />Wir sind bemüht die Beeinträchtigungen so kurz wie möglich zu halten und bedanken uns schon jetzt für Ihr Verständnis.</p>tag:status.rackspeed.de,2005:Incident/60857562021-01-22T14:16:08+01:002021-01-22T14:16:08+01:00Vereinzelte Probleme beim Verbindungsaufbau<p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>14:16</var> CET</small><br><strong>Resolved</strong> - Die BBB-Server sind wieder stabil und ohne Einschränkungen zu erreichen. Eine eMail mit weiteren Details wurde an die betroffenen Kunden geschickt. - Wir beenden unseren Einsatz an dieser Stelle und bedanken uns für Ihr Verständnis.</p><p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>12:31</var> CET</small><br><strong>Update</strong> - Wir haben noch einmal die Parameter angepasst um die letzten Probleme in den Griff zu bekommen. - Update folgt...</p><p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>10:42</var> CET</small><br><strong>Update</strong> - Die meisten Systeme sind wieder uneingeschränkt erreichbar. Wir arbeiten derzeit mit unserem Partner im Rechenzentrum an einer Lösung für die nach wie vor beeinträchtigten Systeme. - Update folgt...</p><p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>08:23</var> CET</small><br><strong>Monitoring</strong> - Die Maßnahmen wurden implementiert und zeigen erste Wirkung. - Update folgt...</p><p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>08:16</var> CET</small><br><strong>Identified</strong> - Die Ursache wurde gefunden, wir arbeiten an einer Lösung. - Update folgt...</p><p><small>Jan <var data-var='date'>22</var>, <var data-var='time'>08:08</var> CET</small><br><strong>Investigating</strong> - Derzeit erreichen uns Meldungen das sich Teilnehmer nicht verbinden können oder das einige BBB-Instanzen gar nicht erreichbar sind. - Update folgt...</p>tag:status.rackspeed.de,2005:Incident/60853032021-01-20T10:56:46+01:002021-01-22T11:30:01+01:00Vereinzelte Probleme beim Verbindungsaufbau<p><small>Jan <var data-var='date'>20</var>, <var data-var='time'>10:56</var> CET</small><br><strong>Resolved</strong> - Die getroffenen Gegenmaßnahmen zeigen Wirkung, gleichzeitig wurden die betroffenen Kunden informiert. - Wir beenden den Einsatz an dieser Stelle und bitte die kurze Unterbrechung zu entschuldigen.</p><p><small>Jan <var data-var='date'>20</var>, <var data-var='time'>10:28</var> CET</small><br><strong>Monitoring</strong> - Gegenmaßnahmen wurden ergriffen, wir beobachten das Netzwerk weiterhin. - Update folgt...</p><p><small>Jan <var data-var='date'>20</var>, <var data-var='time'>10:15</var> CET</small><br><strong>Identified</strong> - Die Ursache wurde gefunden, wir arbeiten an einer Lösung. - Update folgt...</p><p><small>Jan <var data-var='date'>20</var>, <var data-var='time'>10:11</var> CET</small><br><strong>Investigating</strong> - Derzeit erreichen uns Meldungen das sich Teilnehmer nicht verbinden können oder das die BBB-Instanzen gar nicht erreichbar sind. - Update folgt...</p>