Een flaky test slaagt en faalt op dezelfde code. Eén zo'n test is vervelend. Een paar honderd, in een monorepo die tientallen teams delen, maken van elke rode build een inschattingsvraag: echte regressie, of opnieuw draaien en hopen? Atlassian zag flaky tests achter maar liefst 21% van de mislukte masterbuilds in de Jira Frontend-repository, en schat dat de herhaalde runs die ze afdwingen in de Jira backend-repository elk jaar meer dan 150.000 uur ontwikkelaarstijd kosten (Atlassian Engineering, december 2025). De schade zit niet alleen in uren. Zodra engineers leren dat rood vaak niets betekent, vertrouwen ze de testsuite niet meer, en dan beschermt die suite productie ook niet meer.
Hieronder staan de vragen die engineeringleiders het vaakst stellen over flaky tests, beantwoord met recent onderzoek en de werkwijze van teams die op zeer grote schaal testen.
Belangrijkste punten
- Een flaky test is een test waarvan de uitkomst verandert zonder codewijziging, en de echte schade is verloren vertrouwen in de pipeline.
- De meeste flakiness komt door netwerk, externe afhankelijkheden, tijd, gedeelde state en concurrency, en flaky tests falen vaak in clusters met één gedeelde oorzaak.
- Detectie werkt het best als je mislukte tests onder wisselende omstandigheden opnieuw draait en tests op hun historie scoort, niet op één enkele retry.
- Automatische retries zijn goedkoop en nuttig, maar een retry die rood ongemerkt groen maakt, verbergt echte bugs.
- Quarantaine werkt alleen met bewijs, een eigenaar, een deadline en een vaste route terug naar de suite.
Wat is een flaky test, en waarom doet het ertoe?
Een flaky test is een test die op dezelfde code en configuratie zowel kan slagen als falen. De oorzaak zit in de test, in de geteste code of in de omgeving, niet in de wijziging die wordt beoordeeld. Daarom is flakiness zo duur: elke fout moet worden onderzocht voordat iemand weet of hij iets betekent.
De richtlijn van DORA over testautomatisering legt de lat. Het doel dat DORA beschrijft, is dat een mislukte test altijd op een echt defect in het product wijst, en over het alternatief is de richtlijn duidelijk:
"In particular, don't tolerate flaky tests."
DORA raadt ook aan bij te houden hoeveel mislukte tests op een echt defect wijzen en hoeveel uit slecht geschreven tests komen. Die verhouding zegt meer over een suite dan het slagingspercentage.
Wat kosten flaky tests?
De bruikbare cijfers komen van teams die het hebben gemeten. Een industriële casestudy over vijf jaar, bij een commercieel project met ongeveer 30 ontwikkelaars en zo'n miljoen regels code, vond dat flaky tests minstens 2,5% van de productieve ontwikkelaarstijd kostten, vooral aan het onderzoeken van verdachte fouten en het repareren van tests (Leinen et al., ICST 2024). De cijfers van Atlassian laten zien wat er gebeurt als hetzelfde probleem zich opstapelt in een grote monorepo:
150.000+
uur ontwikkelaarstijd per jaar verloren aan herhaalde runs in de Jira backend-repository
2,5%
van de productieve ontwikkelaarstijd, als minimum, in een project met 30 ontwikkelaars
Rekenkracht is zelden de kostenpost die telt. Aandacht wel.
Wat veroorzaakt flaky tests?
Een studie uit 2025 naar 10.000 testsuiteruns in 24 opensource Java-projecten analyseerde 810 flaky tests en vond dat 75% daarvan faalt als onderdeel van een cluster, met gemiddeld 13,5 tests per cluster die samen falen omdat ze een oorzaak delen (Parry et al., EASE 2025). Dat verandert de aanpak: los je de gedeelde oorzaak op, dan stopt een dozijn tests tegelijk met flaken. De gebruikelijke verdachten:
Hoe spoor je flaky tests op?
De naïeve methode is een mislukte test één keer opnieuw draaien en hem flaky noemen als hij dan slaagt. Dat werkt, maar je mist veel. GitHub meldde dat de eerdere aanpak, builds van dezelfde tree vergelijken en binnen een build opnieuw proberen, maar 25% van de flaky fouten vond. Door elke fout op drie verschillende manieren opnieuw te draaien steeg dat naar 90%, en daalde het aandeel commits met een flaky rode build van ongeveer 1 op 11 naar 1 op 200 (GitHub Engineering, 2020). De belangrijkste methoden naast elkaar:
| Methode | Wat het vindt | Beperkingen |
|---|---|---|
| Retry in dezelfde build | Fouten die bij een directe herhaling verdwijnen, vaak timing en races. | Mist flakiness die een andere host, klok of volgorde nodig heeft, en een toevallige pass kan een echte bug verbergen. |
| Herhalen onder wisselende omstandigheden | De drie modi van GitHub: hetzelfde proces voor willekeur en races, de klok vooruitgezet voor tijdsaannames, een andere host voor volgorde en gedeelde state. | Meer rekenkracht per fout, en CI die de klok en de plek van tests kan sturen. |
| Historische scoring | Tests die over veel builds en branches omslaan. Atlassian geeft elke test een score tussen 0 en 1 met Bayesiaanse inferentie over een schuivend venster van runs. | Heeft opgeslagen resultaten en volume nodig, en oordeelt traag over een nieuwe test. |
Op schaal combineren teams ze. Flakinator van Atlassian, dat meer dan 350 miljoen testuitvoeringen per dag verwerkt, probeert in de build opnieuw en gebruikt de historische score om te bepalen welke tests aandacht krijgen. Bitbucket detecteert flaky tests nu standaard voor Pipelines-gebruikers met een Standard- of Premium-abonnement, met optionele automatische quarantaine (Atlassian, maart 2026).
Moet je flaky tests opnieuw proberen?
Ja, als meting en als noodoplossing. De industriële casestudy vond automatisch herhalen heel goedkoop en het handmatig uitzoeken van een mislukte pipeline veel duurder. Maar een retrybeleid moet elke omslag vastleggen. Een test die faalt, bij de retry slaagt en dan gewoon als groen wordt gemeld, is van signaal veranderd in ruis.
Laat een retry de fout nooit uitwissen
Houd de eerste fout in het testrapport, tel hem mee in de flakinessscore van de test, en alarmeer als een test vaker retries nodig heeft dan je drempel toestaat. Een echte regressie die maar af en toe faalt, zoals een race condition in productiecode, ziet er precies zo uit als een flaky test tot iemand het uitzoekt.
Hoe zet je flaky tests in quarantaine?
Quarantaine betekent dat de test blijft draaien, maar merges en deploys niet meer blokkeert. Het is de juiste stap voor een test met een hoge flakinessscore, en de verkeerde als quarantaine een kerkhof wordt. De regels die het verschil maken, grotendeels ontleend aan de aanpak van Atlassian:
- Zet tests in quarantaine op basis van bewijs, niet na één fout. Gebruik de flakinessscore of een minimumaantal omslagen over meerdere builds, zodat een echte bug niet de eerste keer al in quarantaine verdwijnt.
- Blijf tests in quarantaine draaien. Atlassian haalt hun resultaten uit branchbuilds, geplande jobs of een aparte quarantainepipeline, zodat de data om ze te repareren en terug te zetten blijft binnenkomen.
- Wijs een eigenaar en een deadline toe. Atlassian maakt een Jira-ticket voor het verantwoordelijke team, met een vooraf bepaalde deadline, zodra een test als flaky is herkend.
- Leg de route terug vast. Een test die een ingestelde periode gezond blijft, verlaat de quarantaine automatisch.
Hoe los je flaky tests blijvend op?
Detectie en quarantaine kopen tijd. Pas door te repareren krijgt de suite haar waarde terug. GitHub ontdekte dat maar 0,4% van zijn flaky tests 100 keer of vaker faalde, richtte de inspanning daarop en stuurde elk issue naar de mensen die de test of de bijbehorende code het laatst hadden gewijzigd. Het principe: "the only person bothered by a flaky test is the person who wrote it." Samengevoegd ziet een herhaalbare aanpak er zo uit:
Rangschik op impact
Scoor elke flaky test op zijn fouten en de branches, ontwikkelaars en deploys die hij blokkeerde. Werk de top van de lijst af.
Stuur naar de juiste eigenaar
Wijs de test automatisch toe aan wie de test of de geteste code het laatst wijzigde.
Los eerst de gedeelde oorzaak op
Omdat flaky tests clusteren, zoek je de gemeenschappelijke afhankelijkheid: één testcontainer, één mockserver, één vaste sleep.
Reproduceer, en los dan de oorzaak op
Draai opnieuw met een verschoven klok, in een andere volgorde of op een andere host tot de test op commando faalt. Een langere time-out is geen oplossing.
Verwijder wat het repareren niet waard is
Volgens DORA mag je een dure, onbetrouwbare suite gerust snoeien. Een test die niemand vertrouwt, beschermt niets.
Waar begin je?
Begin met meten: het aandeel rode builds dat bij een herhaling groen wordt zonder codewijziging, en het aantal tests dat in een maand omslaat. Zet daarna retries aan die elke omslag vastleggen, werk met quarantaine met eigenaren en deadlines, en los de grootste clusters op. Voor gereguleerde teams levert dat meer op dan snelheid. Een pipeline waarin rood altijd iets betekent, is het bewijs dat je testpoorten echt bepalen wat productie bereikt.
Bronnen
- Taming Test Flakiness: How We Built a Scalable Tool to Detect and Manage Flaky Tests - Nitish Malik, Atlassian Engineering, 8 december 2025
- Introducing Flaky Test Detection in Bitbucket Tests - Rajkumar Singh, Atlassian, 26 maart 2026
- Systemic Flakiness: An Empirical Analysis of Co-Occurring Flaky Test Failures - Parry, Kapfhammer, Hilton, McMinn, EASE 2025, arXiv, 23 april 2025
- Cost of Flaky Tests in Continuous Integration: An Industrial Case Study - Leinen, Elsner, Pretschner, Stahlbauer, Sailer, Jürgens, IEEE ICST 2024, mei 2024
- Capabilities: Test automation - DORA, laatst bijgewerkt 17 juli 2025
- Reducing flaky builds by 18x - Jordan Raine, The GitHub Blog, 16 december 2020, bijgewerkt 20 december 2021


