Resolved -
This incident has been resolved.
Aug 25, 07:20 CEST
Update -
The previously reported issue has been resolved. As part of final infrastructure updates and maintenance carried out last night, a small number of websites were temporarily unavailable.
The maintenance has been completed, and the affected systems are operating normally again. We apologize for any inconvenience caused.
Das zuvor gemeldete Problem ist behoben. Im Rahmen abschließender Infrastruktur-Updates und Wartungsarbeiten in der vergangenen Nacht waren einige wenige Websites für einen kurzen Zeitraum nicht erreichbar.
Die Wartungsarbeiten sind abgeschlossen und die betroffenen Systeme laufen wieder normal. Wir entschuldigen uns für mögliche Unannehmlichkeiten.
Aug 25, 07:19 CEST
Monitoring -
Update: Over the past 24 hours of monitoring, system performance has remained highly stable following the implementation of our recent incident and security measures. We are now nearing the end of our monitoring phase. While you may still encounter isolated 503 errors, our analysis shows these are now largely tied to individual traffic patterns rather than underlying infrastructure issues. We will continue to monitor the situation closely before officially marking this incident as resolved.
Update: Die Überwachung der letzten 24 Stunden zeigt, dass unsere Systeme nach der Einführung der jüngsten Incident- und Sicherheitsmaßnahmen weiterhin sehr stabil laufen. Wir nähern uns nun dem Ende der Monitoring-Phase. Obwohl vereinzelt noch 503-Fehler auftreten können, sind diese in den meisten Fällen auf individuellen Traffic und nicht mehr auf zugrunde liegende Infrastrukturprobleme zurückzuführen. Wir werden die Situation weiterhin genau beobachten, bevor wir diesen Vorfall offiziell als gelöst (resolved) markieren.
Aug 21, 16:44 CEST
Identified -
The fine-tuning of our rate limiting of the identified attack is in progress, as we're balancing between blocking abusive requests and limiting false positives that could affect legitimate traffic.
We'll post another update as soon as we've reached a stable configuration. Thank you for your patience.
________
Wir arbeiten weiterhin an einem Feintuning des Rate-Limitings, um eine Balance zwischen dem Blockieren missbräuchlicher Anfragen und dem Vermeiden von False Positives zu finden, die legitimen Traffic betreffen könnten.
Sobald wir eine stabile Konfiguration erreicht haben, geben wir ein weiteres Update. Vielen Dank für eure Geduld.
Aug 19, 17:34 CEST
Investigating -
We're currently seeing again intermittent timeouts and slower response times on some Boxes. Our team is investigating with high priority and has already taken initial steps to stabilize the situation.
We're keeping a close eye on the affected systems and will post an update as soon as we know more.
___
Wir beobachten aktuell wieder vereinzelt Timeouts und verlängerte Antwortzeiten auf einem Teil unserer Infrastruktur. Unser Team untersucht die Ursache mit hoher Priorität und hat bereits erste Maßnahmen ergriffen, um die Situation zu stabilisieren.
Wir überwachen die betroffenen Systeme weiterhin und melden uns mit einem Update, sobald es Neuigkeiten gibt.
Aug 19, 10:39 CEST
Monitoring -
The identified root cause was a pattern of abusive requests generating unusually high load across our clusters, which led to the decreased performance and increased 503 timeouts on affected sites.
Since introducing further incident and security measures, we're seeing the load stabilize again. However, degraded performance may still occur while we continue to monitor the situation.
____
Als Ursache konnten wir ein Muster missbräuchlicher Anfragen identifizieren, das eine ungewöhnlich hohe Last über unsere Cluster hinweg erzeugt hat und zu den vermehrten 503 Fehlern auf betroffenen Websites führte.
Seit der Einführung weiterer Incident- und Sicherheitsmaßnahmen beobachten wir, dass sich die Auslastung wieder stabilisiert. Es ist jedoch weiterhin mit einer eingeschränkten Performance zu rechnen, während wir die Situation weiter beobachten.
Aug 18, 15:55 CEST
Investigating -
We're currently seeing an increased number of 503 errors, especially affecting the Box plans Mini, Starter, Fully Managed and Pro. These typically appear during traffic peaks and can briefly interrupt processes in the frontend and backend of the sites.
We're currently investigating the cause and we'll post an update as soon as we get more information.
________
Aktuell beobachten wir eine erhöhte Anzahl an 503-Fehlern, die die Box Tarife Mini, Starter, Fully Managed und Pro betreffen. Diese treten typischerweise bei Lastspitzen auf und können Prozesse im Front- und Backend der Websites kurzzeitig unterbrechen.
Wir untersuchen die Ursache derzeit und geben ein Update, sobald uns weitere Informationen vorliegen.
Aug 18, 14:06 CEST