Pipeline Guard

Eén controle in uw releasepipeline, vaste prijs.

Noem één fout in uw releasepipeline. We bouwen in uw eigen pipeline één controle die deze fout afvangt, aangetoond met testgevallen die we vóór ondertekening samen met u vastleggen.

  • € 4.900 vaste prijs, excl. btw
  • Geen factuur bij ondertekening
  • De rode run uiterlijk op werkdag 10
Illustratie. De melding is de tekst die de change guard toont.

Drie fouten

Welke fout wilt u afvangen?

Een wijziging wordt gemerged zonder test die een fout zou afvangen

Een wijziging werd gemerged en uitgerold, terwijl geen enkele test had gefaald als ze fout was geweest. Een mens of een coding agent had de wijziging geschreven, en de review was niet meer dan een vluchtige blik.

De change guard

Mac-buildmachines lopen uit de pas, of een certificaat verloopt

Uw Mac-buildmachines draaien verschillende versies van macOS, Xcode of CocoaPods, en op één daarvan faalt een build. Of een signingcertificaat verloopt en de release mislukt op de dag dat u hem nodig hebt.

De Apple guards

Een hotfix of configuratiewijziging gaat buiten uw controles om

Een spoedfix ging naar productie zonder de controles die een normale release doorloopt. Of er ging een configuratiewijziging live waar niemand anders naar had gekeken, en de monitoring meldde dat alles in orde was.

De hotfix guard en de configuration guard

Zo betaalt u

Het aanbod

U kiest één fout die u wilt afvangen. We bouwen in uw eigen pipeline één controle die deze fout afvangt, aangetoond met testgevallen die we vóór ondertekening samen met u vastleggen. De prijs ligt vast: € 4.900 excl. btw.

Niets vooraf, de helft bij rood, de rest bij groen.

  1. U tekent

    € 0

    Geen factuur bij ondertekening.

  2. Rode run

    Eerste helft

    Binnen 10 werkdagen na toegang veroorzaken we de fout bewust en laten we zien dat uw eigen pipeline daardoor op rood gaat. Lukt dat niet, dan factureren we niets en stopt het werk.

  3. Groen

    Tweede helft

    Elke test die we vóór ondertekening hebben afgesproken, slaagt. De overdracht is gepland op werkdag 30 en vindt uiterlijk op werkdag 45 plaats.

Na de rode run mag u stoppen. U houdt de testgevallen en het schriftelijke ontwerp, en u bent verder niets verschuldigd.

Prijs

Prijs en voorwaarden

€ 4.900

excl. btw, voor één guard

Prijs
€ 4.900 excl. btw, vaste prijs, voor één guard, in één statement of work.
Buiten de EU
USD 5.600. Op de overeenkomst is Nederlands recht van toepassing.
Facturen
Betalingstermijn van 14 dagen. Geen factuur bij ondertekening.
Faalt een test bij de acceptatie
Dan werken we kosteloos door, tot maximaal 20 extra uur binnen 20 werkdagen. Faalt die test daarna nog steeds, dan houdt u alles wat is geleverd en wordt de tweede helft nooit gefactureerd.
Garantie
Tot 30 dagen na acceptatie herstellen we gebreken in de guard kosteloos, tot zes uur werk, binnen 3 werkdagen na uw schriftelijke melding.
Skip-stap
Houdt de guard ooit een release tegen die u nodig hebt, dan slaat uw engineer hem over met één vastgelegde stap. U hoeft nooit op ons te wachten.
De volledige voorwaarden

U betaalt niets bij ondertekening. Binnen 10 werkdagen nadat we toegang hebben gekregen, veroorzaken we bewust de fout die u hebt benoemd, en laten we in een opgenomen run zien dat uw eigen pipeline daardoor op rood gaat. Pas dan factureren we de eerste helft. Lukt het ons niet om dat in uw pipeline te laten zien, dan factureren we niets en stopt het werk. Na de rode run mag u stoppen. U houdt de testgevallen en het schriftelijke ontwerp, en u bent verder niets verschuldigd. De tweede helft factureren we als elke test die we vóór ondertekening hebben afgesproken slaagt, of als er 10 werkdagen na onze gereedmelding zijn verstreken zonder dat u schriftelijk een falende test hebt gemeld. We plannen de overdracht voor acceptatie op werkdag 30 en beloven dat die uiterlijk op werkdag 45 plaatsvindt; dagen waarop we op toegang of reviews wachten, tellen niet mee. Faalt er bij de acceptatie een test, dan werken we kosteloos door, tot maximaal 20 extra uur binnen 20 werkdagen. Faalt die test daarna nog steeds, dan houdt u alles wat is geleverd, wordt de tweede helft nooit gefactureerd en stopt het werk. Er is geen terugbetaling en geen belofte over toekomstige incidenten: een guard verkleint de kans op een fout, maar kan die niet uitsluiten.

Acceptatie

De vier tests

Elke guard wordt geaccepteerd op basis van dezelfde vier tests. De getallen vullen we vóór ondertekening in:

T1

Tegenhouden

Elk testgeval met een opzettelijke fout wordt twee keer achter elkaar door de pipeline tegengehouden, met een melding die de oorzaak noemt.

T2

Doorlaten

Tien normale runs achter elkaar op een afgesproken branch lopen door zonder dat de guard er één ten onrechte tegenhoudt. We mogen deze runs zelf starten.

T3

Kosten en registratie

De guard verlengt de mediane looptijd van een run met hoogstens de afgesproken tijd (standaard drie minuten, vijf voor een change guard). Elke run laat één regel achter in een log dat van u is. De guard kan alleen worden overgeslagen via één gedocumenteerde stap die vastlegt wie hem overslaat en waarom.

T4

Eigenaarschap

Uw engineer volgt het runbook, start één testgeval en zet de pipeline zonder ons weer op groen. Een opname is voldoende. Voert geen engineer dit uit binnen 10 werkdagen na de gereedmelding, dan geldt T4 als geslaagd.

Scope

Wat elke guard omvat

Eén guard dekt één benoemde fout in één pipeline: één gedeelde pipelinetemplate met alle repositories die deze template ongewijzigd gebruiken, één repository, of één groep van maximaal tien buildmachines.

U krijgt

  • Drie tot vijf testgevallen
  • Een ontwerpnotitie van één pagina
  • De controle als pull requests via uw normale review
  • Een runbook
  • Een onderhoudsoverzicht
  • Een opname van de acceptatierun
  • Een lijst van maximaal drie andere fouten die ons zijn opgevallen

Rapportagemodus tot de acceptatie

De guard meldt wat hij zou tegenhouden, in plaats van het tegen te houden, maar een fout in de inrichting, zoals een configuratie die hij niet kan lezen, kan de run nog steeds laten falen. De fout wordt alleen veroorzaakt in een niet-productieomgeving, en bij elke run die we zelf starten, controleren we of die een regel achterlaat in een log dat van u is. De blokkerende modus op de default branch geldt als productiegebruik.

Geen beheerdersrechten

De controle komt alleen in uw systemen terecht via pull requests die uw eigen engineers reviewen en mergen, en onze toegang kan met één gedocumenteerde stap worden ingetrokken.

Kies er één

De guards

Elke guard kost € 4.900 excl. btw. U kiest de guard die u nodig hebt.

De change guard

€ 4.900
Een wijziging in de benoemde paden moet een test meebrengen die zonder die wijziging faalt.
De guard
Een verplichte controle op de paden die in de statement of work staan. Een wijziging in die paden moet een nieuwe of gewijzigde test meebrengen, en die test moet falen op de code van vóór de wijziging en slagen met de wijziging. De paden en een uitzonderingslijst (documentatie, configuratie, dependency-updates) leggen we vast voordat u tekent. Alleen de gewijzigde testbestanden draaien tegen de code van vóór de wijziging, zodat grote testsuites binnen het tijdsbudget blijven.
Draait nu
Op GitHub Actions, voor Python, TypeScript, JavaScript, Java, Kotlin, Go, C#, PHP, Ruby en Swift.
Testgevallen
Een gedragswijziging zonder test (tegengehouden), een wijziging waarvan de nieuwe test ook zonder de wijziging slaagt (tegengehouden), een goede wijziging (wordt gemerged), een uitgezonderde wijziging (wordt gemerged zonder dat de guard ingrijpt), één keer gebruik van de skip-stap (wordt gemerged en gelogd).
Niet inbegrepen
Ontbrekende tests schrijven, een testsuite repareren, AI-codereview, rechten en tokenscopes van agents, een tweede repository.

De Apple guards

€ 4.900 per stuk
Twee aparte guards: de certificate guard en de drift guard. U kiest de guard die u nodig hebt.
De certificate guard
Elke run leest de signingcertificaten die hij gaat gebruiken, stopt vóór de build als er één is verlopen of is uitgegeven door de oorspronkelijke Developer ID-certificaatautoriteit (CA) van Apple (die op 1 februari 2027 verloopt), en waarschuwt vanaf 30 dagen vóór de vervaldatum. Nieuwe certificaten zijn één jaar geldig, dus het runbook bevat de stappen voor de verlenging.
De drift guard
Eén vastgelegde definitie van de toolchain staat in uw repository. Een buildhost die daarvan afwijkt, weigert te bouwen en meldt wat er afwijkt.
Testgevallen
Een testcertificaat dat nog minder dan 30 dagen geldig is, één host die op een andere versie van Xcode of CocoaPods is ingesteld.
Niet inbegrepen
Opnieuw ondertekenen of opnieuw verpakken, pakketten van leveranciers, de notarisatiewachtrij van Apple en problemen met uw Apple-account, het upgraden van de hosts, wijzigingen in het apparaatbeheer. We krijgen nooit een sleutel in handen en hoeven nergens op afstand in te loggen: de controle draait op uw eigen buildagents.
Verwant werk
Signing en distributie naar beheerde Apple-apparaten, 2022 tot 2025, te zien in een opgenomen walkthrough en genoemd in één aanbeveling. Ons werk aan het gelijk houden van Mac-buildhosts is beperkter dan ons signingwerk.

De hotfix guard en de configuration guard

€ 4.900 per stuk
Twee aparte guards: elk pad naar productie doorloopt de afgesproken controles, en een configuratiewijziging wordt na de deploy gecontroleerd.
De hotfix guard
Elk pad naar productie, het spoedpad inbegrepen, doorloopt de afgesproken regressiestap, en een deploy die daar niet doorheen is gekomen, start niet. De guard moet binnen het afgesproken tijdsbudget blijven, en houdt hij ooit een release tegen die u nodig hebt, dan slaat uw engineer hem over met één vastgelegde stap.
De configuration guard
Nadat een wijziging in de benoemde configuratiepaden is uitgerold, moet één automatische controle slagen, anders wordt de release als mislukt gemarkeerd. De wijziging kan ook niet worden gemerged zonder een tweede goedkeurder die niet de auteur is.
Testgevallen
Een hotfix die zonder de teststap is gepusht (tegengehouden), een hotfix met groene tests (komt binnen het tijdsbudget door), een configuratiewijziging die alleen door de auteur is goedgekeurd (tegengehouden).
Niet inbegrepen
Bereikbaarheidsdienst, incidentrespons, wijzigingen in de manier waarop u uitrolt, wijzigingen in productie door ons. Elke wijziging die we maken, komt bij u binnen als pull request die uw engineers reviewen en mergen.

Bewijs

Wat we kunnen laten zien

Apple-signing en notarisatie in een deliverypipeline voor apps op beheerde apparaten, 2022 tot 2025, als contractor bij het Europese hoofdkantoor van Nike. Een opgenomen walkthrough laat het werk zien.

Een ondertekende referentie van de voormalige groepsleider van de engineer bij ASML, voor self-service CI-werk in 2021 en 2022.

Vijf LinkedIn-aanbevelingen van Nike-collega's, waarvan twee van mensen die het werk direct aanstuurden, en één citaat met naamsvermelding op deze site.

Wanneer u dit beter niet koopt

  • Kan uw eigen engineer deze fout binnen een dag afvangen zodra die is benoemd, laat het dan aan uw eigen team over.
  • Hebt u maar een of twee eigen installatiepakketten die opnieuw ondertekend moeten worden, dan kan uw team dat zelf doen. De certificate guard is bedoeld voor pipelines waarin signingcertificaten elk jaar verlopen en een gemiste datum een release tegenhoudt.

Werkwijze

Zo werken we

  1. Een gesprek van 20 minuten

    U noemt de fout en de laatste keer dat die optrad.

  2. Eén pagina vóór ondertekening

    De scope, de tests geformuleerd als uitkomsten, de datums en de prijs. Past het niet, dan zeggen we dat.

  3. De rode run uiterlijk op werkdag 10

    We laten zien dat uw eigen pipeline door de fout op rood gaat.

  4. Overdracht tussen werkdag 30 en 45

    Geaccepteerd op basis van de vier tests.

Ongeveer 6 uur van uw team

Twee reviews van pull requests, het aanpassen van één instelling en de overdrachtsrun. Uw eigen leveranciers- of beveiligingsreview van onze toegang telt hier niet mee.

Eén statement of work

Eén per guard, zonder raamovereenkomst. Vóór de kick-off hebben we een registratie als leverancier in uw systemen en een inkoopordernummer nodig.

Alles blijft bij u

De controle komt als pull requests in uw eigen repositories en blijft daar. Het runverslag komt in een log dat van u is.

StapWanneer
De klok gaat lopenBij toegang, die uiterlijk drie werkdagen na de kick-off geregeld moet zijn
Rode runUiterlijk op werkdag 10
Overdracht voor acceptatieGepland op werkdag 30, uiterlijk op werkdag 45
HerstelwerkTot 20 uur binnen 20 werkdagen

De klok staat stil zolang er input van uw kant ontbreekt. Hebt u binnen 10 werkdagen na onze gereedmelding geen falende test schriftelijk gemeld, dan geldt de guard als geaccepteerd.

Een tweede repository

Dezelfde guard op een tweede repository of groep buildmachines die eigen werk vraagt: € 1.900 excl. btw, onder dezelfde voorwaarden.

€ 1.900excl. btw, dezelfde guard

Vragen

Vaak wel. Kan een van uw engineers deze fout binnen een dag afvangen zodra die is benoemd, dan kunt u dit beter niet bij ons kopen. Wat meestal langer duurt, is alles rond de controle: de gevallen die een merge niet mogen tegenhouden, de stap om de guard over te slaan, die vastlegt wie dat doet en waarom, en een runbook dat uw team zonder ons kan volgen.

Coverage laat zien dat een regel is uitgevoerd. Coverage laat niet zien of een test zou merken dat die regel fout is. De change guard controleert of de nieuwe of gewijzigde test faalt op de code van vóór de wijziging en slaagt met de wijziging.

Dat is een terechte vraag. Schrijft uw testrunner een rapport per test, dan leest de guard dat test voor test. Een mislukte assertie op de oude code telt als bewijs. Een fout die alleen zegt dat de nieuwe functie ontbreekt, telt niet: de guard draait dan een tegenproef: elke functie die de wijziging toevoegt of een nieuwe parameter geeft, behoudt haar naam, maar krijgt als inhoud alleen een lege return. Voor elk van die functies moet minstens een van de nieuwe of gewijzigde tests dat merken. Voor een gewijzigde functie-inhoud is er geen tegenproef; daarvoor doet de run op de oude code het werk. Dit werkt standaard voor Python en is in de praktijk gebruikt met twee testrunners: unittest van Python en pytest. Voor andere talen kan hij een mutatietool gebruiken die uw team al gebruikt; dat hebben we nog niet met een echte tool geprobeerd. Is die er niet, dan gaat zo'n wijziging door met een notitie voor de reviewer, of wordt ze tegengehouden als u dat vóór ondertekening kiest. Hij draait vandaag op GitHub Actions, voor Python en negen andere talen. De guard laat zien dat een test van de wijziging afhangt, nooit dat de assertie het juiste controleert: iemand moet de test nog steeds lezen.

Vóór ondertekening leggen we vast welke paden hij dekt en welke uitzonderingen er gelden, bijvoorbeeld documentatie, configuratie en dependency-updates. Een wijziging die alleen een bestand hernoemt of verplaatst zonder de inhoud te veranderen, of alleen witruimte in een Python-bestand aanpast zonder de code zelf te veranderen, gaat automatisch door en wordt gelogd; elke andere refactoring, ook een hernoemde functie, loopt via de stap om de guard over te slaan, met de reden in het log. Een test die op de oude code bij twee runs een ander resultaat geeft, wordt als flaky benoemd en telt nooit als bewijs: de wijziging wordt dan tegengehouden totdat de test is gerepareerd, apart is gezet of met die vastgelegde stap is overgeslagen. Een van de acceptatietests is tien normale runs achter elkaar zonder dat de guard er één ten onrechte tegenhoudt, en tot de acceptatie rapporteert hij alleen. Houdt hij een normale run tegen door een oorzaak in de guard zelf, dan is dat een gebrek dat we onder de garantie herstellen. Uw testsuite zelf repareren we niet: een flaky test blijft uw test.

De guard is zo gebouwd dat u nooit op ons hoeft te wachten. Houdt hij een release tegen die u nodig hebt, dan slaat uw engineer hem over met één vastgelegde stap, en bij de acceptatie hoort dat uw eigen engineer met het runbook zelfstandig de pipeline op rood zet en weer op groen krijgt. Zouden we het werk niet kunnen afmaken, dan houdt u alles wat geleverd is en wordt de tweede helft alleen bij acceptatie gefactureerd. Buiten de garantie bieden we geen bereikbaarheidsdienst en geen vaste reactietijd; binnen de garantie herstellen we een gebrek binnen 3 werkdagen na uw schriftelijke melding.

Geen beheerdersrechten. De controle komt alleen bij u binnen via pull requests die uw engineers reviewen en mergen, en de fout wordt alleen veroorzaakt in een niet-productieomgeving. Geen persoonsgegevens uit productie, er wordt niets naar buiten gekopieerd, en onze toegang kan met één gedocumenteerde stap worden ingetrokken. We tekenen naast de statement of work ook uw NDA.

Zodat een afgeronde opdracht voor geen van beide partijen eindeloos open blijft. U houdt de regie: meldt u binnen die 10 werkdagen schriftelijk één falende test, dan geldt de guard niet als geaccepteerd en werken we er kosteloos aan door, tot 20 uur binnen 20 werkdagen. De runs die we zelf mogen starten, draaien op de afgesproken branch, in rapportagemodus, en bij elke run controleren we of die een regel in uw eigen log achterlaat.

Het eerste resultaat dat u ziet, is de rode run, uiterlijk op werkdag 10 na toegang. We plannen de overdracht op werkdag 30 en beloven die uiterlijk op werkdag 45; dagen waarop we op toegang of reviews wachten, tellen niet mee. We beloven liever een datum die we kunnen halen.

Eén guard kan één gedeelde pipelinetemplate zijn, met alle repositories die deze template ongewijzigd gebruiken. Dezelfde guard op een volgende repository die eigen werk vraagt, kost € 1.900 excl. btw.

Het upgraden van de hosts hoort niet bij de drift guard. De machines met een script op dezelfde versies brengen, is een aparte, tweede guard voor dezelfde prijs.

Het deel met de tweede goedkeurder is misschien een instelling die u al hebt. Het eigenlijke werk zit in de automatische controle na de deploy, die de release als mislukt markeert als ze niet slaagt, aangetoond met testgevallen. Hebt u beide al, koop hem dan niet.

Volgende stap

Plan een gesprek van 20 minuten en noem de fout die u wilt afvangen. Een kort nee is ook prima.

Plan een gesprek van 20 minuten

Praat met de engineer

"Als engineer ken ik de uitdagingen in software delivery vanuit zowel het zakelijke als het technische perspectief."

Mateusz Ulas, oprichter van Expeditious Software

Mateusz Ulas

Oprichter en platform engineer