Internet provider CloudFlare is op zondag 3 maart wereldwijd ongeveer een uur uit de lucht geweest na een DDoS aanval. Niet de aanval zelf, maar de reactie door het Incident Response Team zorgte ervoor dat 23 datacenters in 14 landen uit de lucht gingen.
De dienstverlening van CloudFlare is er juist op gericht om websites van klanten te beveiligen tegen aanvallen en het afleveren van webpagina’s te versnellen.
In een blogpost zet het bedrijf helder en begrijpelijke taal uiteen wat er is gebeurd. Hierbij plaatsen zij zelfs letterlijk de firewall-regel die de uitval heeft veroorzaakt.
De DDoS aanval was gericht op de DNS-servers van één van de klanten van CloudFlare. De bewakingssystemen van CloudFlare signaleerden dat aanvallers netwerkpakketten tussen 99.971 en 99.985 bytes groot stuurden. Een normaal pakket is gemiddeld 500 tot 600 bytes groot, met uitschieters naar 1.500 bytes.
Als reactie op de DDoS aanval stelde CloudFlare een regel in waarmee de (ongeldige) grote pakketten zouden worden geblokkeerd. In plaats daarvan gebruikte de routers echter al het RAM geheugen op en crashten. Hierna konden de routers niet meer op afstand worden beheerd of herstart.
Het netwerk van CloudFlare bestaat uit Juniper routers. Hierbij wordt gebruik gemaakt van het Juniper Flowspec protocol, waardoor nieuwe firewall-regels automatisch worden verspreid onder de netwerkcomponenten. Doordat de nieuwe regel automatisch naar alle routers werd doorgestuurd, waren binnen enkele momenten alle datacenters onbereikbaar.
Met handmatig ingrijpen door lokale beheerders konden routers worden herstart. Tijdens het weer opstarten van de eerste datacenters, werden deze direct overladen met al het internetverkeer voor CloudFlare klanten. Hierdoor gingen deze datacenters opnieuw uit de lucht.
Inmiddels is de bereikbaarheid weer terug naar de normale situatie. CloudFlare en Juniper zijn aan het onderzoeken waarom de routers crashten bij het instellen van de gewraakte regel.