Hoe een Crowdstrike update de wereld even platlegde

Misschien wel de grootste wereldwijde outage in onze geschiedenis. Op vrijdag 19 juli 2024 legde een Crowdstrike update de hele wereld plat. Hun product tegen cyberaanvallen had uiteindelijk hetzelfde effect als een cyberaanval. Het was een incident van grote omvang met grote consequenties. Ziekenhuizen konden patiënten dossiers niet meer opvragen, deuren met pasjes gingen niet meer open, noodcentrales lagen in sommige gevallen plat, vertrektijden waren niet langer beschikbaar op luchthavens en het was hopen dat je nog kon inchecken met je digitale boarding pass als je vlucht dan wel ging. Sommige bedrijven besloten zelfs dat het beter was om de boel tijdelijk te sluiten. Het bracht de wereld op technologisch gebied op zijn knieën en dat door een Blue Screen of Death (BSDOD), veroorzaakt door een update van Crowdstrike’s Falcon-sensorversie 6.58. Het had impact op alle windows systemen waarop Crowdstrike was geïnstalleerd.

Resultaatgroeper Ifan neemt je in deze blog mee in de impact, de oorzaak en het gevolg van het incident, het belang van IT specialisten en de lessen die we hier uit trekken.

Wat is Crowdstrike en hoe ontstond het probleem?

Crowdstrike is een veelgebruikte cyberbeveiligingsoplossing die bekend staat om zijn proactieve detectie van bedreigingen. De update die al op 18 juli 2024 zou zijn uitgebracht, veroorzaakte echter een BSOD op veel systemen, met name op systemen met Windows 10. Dit probleem kwam voort uit een compatibiliteitsconflict binnen de nieuwe Falcon-sensorupdate in samenhang met een Windows content update.

De organisatie reageerde door zijn klanten te verzekeren dat het defect dat is gevonden in de recente Windows-inhoudsupdate geen inbreuk is op de beveiliging en ook geen cyberaanval is. De integriteit van de systemen bleven dus intact en er was geen sprake van een data lek. De defecte update was niet langer beschikbaar en Crowdstrike gaf aan te werken aan een oplossing. Het kwaad was echter al geschied. De directe zorg was het herstellen van de getroffen systemen. IT-specialisten van organisaties moesten zo snel mogelijk zelf systeem per systeem afgaan, de kritieke systemen als eerst. Er moesten oplossingen bedacht en toegepast worden terwijl de beveiliging operationeel gehouden moest worden. Er werden meerdere potentiële oplossingen gedeeld, bijvoorbeeld het onderstaande:

The current fix involves booting into safe mode and changing the name of the CrowdStrike folder in c:\windows\system32\drivers\Crowdstrike. Here are the steps to follow: 

- Boot Windows into Safe Mode or the Windows Recovery Environment 
- Navigate to the C:\Windows\System32\drivers\CrowdStrike directory 
- Locate the file matching “C-00000291*.sys” and delete it 
- Boot the host normally

Vele beveiligingssoftware zitten diep geïntegreerd in het Windows systeem in de systeem folder om het systeem beter te kunnen beveiligen tegen virussen en malware. Hierdoor kunnen deze virussen het antivirus niet zelf uitschakelen omdat je voor deze folder administrator privileges nodig hebt. Toch is vaker gebleken dat dit een systeem kwetsbaarder kan maken en kan zorgen voor instabiliteit.

Kon het voorkomen worden?

Het vooraf goed testen van de update had het incident mogelijk kunnen voorkomen. Denk aan testen aan de hand van bewezen toepassingen, een gefaseerde uitrol, pre-productie test omgeving (UAT). Maar een gespecialiseerd IT’er weet dat een systeem nooit waterdicht is. Om die reden is het belangrijk dat bedrijven zich door middel van een plan zich beter gaan weren tegen dit soort incidenten. Er was bij veel organisaties geen back-up plan hoe ze hun werk hadden kunnen voortzetten zonder een digitaal systeem.

Als we nu naar het incident kijken dan kunnen we daar een aantal belangrijke lessen uit trekken.

1. Het opzetten van een updatebeleid is van cruciaal belang. Voorval voor kritieke systemen.
2. Regelmatige updates zijn nuttig. Het is echter raadzaam om ze in gespreide batches te implementeren.
3. De waarde van een pre-productieomgeving wordt in dergelijke scenario’s onderstreept, ondanks de initiële investering.
4. De noodzaak van een betrouwbaar, grondig getest en zorgvuldig gedocumenteerd Business Continuity and Disaster Recovery (BCDR) proces wordt benadrukt.
5. Het diversifiëren van leveranciers is belangrijk. Of het nu gaat om clouddiensten of oplossingen op locatie. Dit kan risico’s beperken aangezien je niet afhankelijk bent van één partij.
6. Er is in dit geval geen data lek maar de systemen zijn wel inoperabel. Wat nou als er wel een data lek had plaatsgevonden? Dan moeten er directe stappen klaar liggen om hierin snel te handelen.
7. Het belangrijkst is voor het laatst bewaard; een bekwaam informatica-team is van essentieel belang voor iedere organisatie.

Zijn we dan zo afhankelijk van IT-specialisten?

Ja, het incident bewijst hoe we gaandeweg compleet afhankelijk zijn geworden van computersystemen. Veel systemen opereren uitsluitend nog digitaal. Dit benadrukt nogmaals het belang van de IT’ers en de verantwoordelijkheid die de specialisten en ontwikkelaars hebben voor het in beweging houden van de samenleving.

‘With great power comes great responsibility’’

Dit is wat mijn Chief information officer ooit tegen mij zei. Slechts één enkel systeem kan invloed hebben op de operatie van een heel bedrijf. Het is van belang dat tijdens zo’n incident de omvang en de impact te herkennen en betrokkenen op de hoogte te houden van de voortgang. Ook is belangrijk tijdig te schakelen en de juiste documentatie klaar te hebben om procedures na te leven en tot een oplossing te komen. Een magnaat zoals Crowdstrike heeft op het gebied van cyberbeveiliging invloed op wel 8.5 miljoen systemen en biljoenen levens wereldwijd. Dat gaat wel gepaard met heel wat verantwoordelijkheid. Door het afnemen van een dienst waarmee je je systemen beveiligd neem je ook de stap om gedeeltelijk afhankelijk te zijn. Zeker met de transitie naar de wolk ‘Cloud-Computing’. Hele systemen die ergens buiten de organisatie draaien. Met het gemak draag je ook hier een stuk invloed en controle over naar de derde partij.

Het belang van beveiligingssystemen blijft onmisbaar. Zo infecteerde MyDoom in 2004 100 miljoen systemen en installeerde hierin achterdeurtjes. Ook Lockbit is hier een voorbeeld van. In 2019 gijzelde zij miljoenen computers door data te versleutelen. Alleen deze twee voorbeelden tonen al aan hoe belangrijk beveiligingssystemen zoals Crowdstrike nog steeds zijn voor de bescherming van data.

In dit incident is er geen data verloren gegaan. Je zou dus kunnen stellen dat het nog wel erger kan dan een uitgevallen systeem door een update. Echter als dit op grote schaal plaats vindt en hierdoor niks meer werkt. Eigenlijk heeft dit dan een soortgelijk effect als een ddos-aanval (Distributed Denial of Service). Een cyberaanval waarbij een groot aantal computers tegelijkertijd een website of online dienst overspoelt met verzoeken. Hierdoor wordt de website of dienst onbereikbaar voor andere gebruikers. Een onbruikbaar systeem dus.

En nu?

Bij Resultaatgroep begrijpen we de uitdagingen en risico’s waarmee organisaties worden geconfronteerd. Onze expertise in IT-security kan u helpen om jouw organisatie beter te weren tegen incidenten. Bent u benieuwd hoe wij jouw bedrijf kunnen helpen om de IT-beveiliging te versterken. Klik dan hier en neem nu contact met ons op!

Ben jij een IT-professional die het verschil wil maken op het gebied van cybersecurity. Klik dan nu hier en bekijk onze de vacatures. Zit er nu niks voor je bij? Neem dan contact op met één van onze consultants en bespreek de mogelijkheden.