Blog

Hoe wordt je Nederlands Kampioen Software Testen?

De eerste plaats in een competitie met 23 teams haal je natuurlijk niet zomaar. Hieronder volgt in het kort de weg die Team Bazinga heeft gevolgd naar de wedstrijd op 1 mei 2017.

Wat ging vooraf

  • we zijn gestart met het samenstellen van een team; dat is het eenvoudige deel, simpelweg vragen wie er mee wil doen aan het NK testen en binnen 1 dag hadden we een team met:
    • gedreven testers met de wil om niet alleen mee te doen, maar vooral ook voor de winst te gaan
    • context-driven testers met de Rapid Software Testing cursus op zak
    • skilled testers met soft-skills, test-skills en tool-skills
  • We zijn vervolgens samengekomen om een aanpak te bedenken. Dit bleek al wat lastiger want we werken allemaal bij verschillende klanten verspreid door heel Nederland. Echter met moderne hulpmiddelen zoals Trello en Slack is veel mogelijk
  • We hebben geprobeerd zoveel mogelijk informatie te verzamelen van de wereldkampioenen om daarvan te kunnen leren, zoals de presentatie van Pascal Dufour over het WK
  • We hebben al het voorbereidende werk inzichtelijk op een scrumbord geplaatst met als doel het allemaal op ´Done´ te krijgen
    • het bedenken van vragen voor de productowner
    • een aanpak bedenken om in 3 uur zoveel mogelijk waarde te leveren voor de klant
    • het verzamelen van tools (web, mobile, performance, security enz enz)
    • het verzamelen van mindmaps als ondersteuning (testinhoudelijk, maar ook ´hoe win ik een wedstrijd´)
    • logo, naam en shirts regelen
    • het verzamelen van devices (je weet tenslotte niet wat je moet testen)
    • het inrichten van een online issuetracker om te gebruiken tijdens de oefensessies
    • we hebben alle online beschikbare testrapporten en jurybeoordelingen van de voorrondes van het WK testen doorgenomen om feeling te krijgen van de beoordelingscriteria
    • een sjabloon maken voor het op te leveren testrapport
    • en natuurlijk, de belangrijkste stap tijdens de voorbereiding: het omkopen van de jury.  Die bleken echter integer te zijn, dus dat is niet gelukt….we hebben de whisky maar zelf opgedronken.
  • na het definiëren van de aanpak hebben we deze gepresenteerd in onze maandelijkse meetup van De Agile Testers zodat ook anderen input konden leveren

Het oefenen

Om echt succesvol te zijn is het van belang dat de gekozen werkwijze past bij het team en dat het team ook op elkaar raakt ingespeeld. Hiervoor hebben we geoefend en hebben we o.a. getest met de website van ah.nl, pixartprinting.com en de ´met het mes op tafel´ app.

We hebben veel geëxperimenteerd om te komen tot een voor ons team ideale werkwijze waarbij o.a. de volgende zaken de revue zijn gepasseerd:

  • 4 man testen of 3 testen en 1 voor alles er omheen
  • pair testing of niet
  • sessions based testen en hoe lang zijn de sessies dan
  • wanneer bepalen we de strategie precies, voor de start van de test of later pas
  • welke tools zijn handig
  • wat kunnen we wel en wat kunnen we (technisch) niet
  • hoe leggen we de teststory en testcharters vast (je mag geen verhaal vertellen aan de jury/PO, de resultaten moeten opgenomen worden in een rapport dat je niet kan toelichten)
  • hoe kunnen we onderweg bijsturen
  • communicatie tijdens de testen en met de PO
  • kwaliteitsborging van de issues
  • kwaliteitsborging van het doel van de testen
  • fun (het is natuurlijk ook wel de bedoeling dat het leuk is)
  • hoe leggen we de aanpak/strategie en de SUT vast
  • visuele hulpmiddelen

De wedstrijd nadert

Ongeveer 1 week voorafgaande aan de wedstrijd werd bekend gemaakt dat het een webapplicatie betrof voor desktop en tablets en dat er zich inmiddels 21 teams hadden ingeschreven. Een extra motivatie om nog een keer extra te oefenen op de zondag voorafgaande aan de wedstrijd met het gegeven dat we ons kunnen focussen op een webapplicatie. Hiermee kunnen we de tools, mindmaps en devices beperken tot een subset van alles wat inmiddels verzameld was.

De dag van de wedstrijd

Om 16:00 konden we ons installeren (flipovers opstellen, laptops, tablets en timer installeren, netwerkverbinding (en backup) testen en bugtracker testen en de verbinding met de testwebsite)

Om 18:00 begon de echte wedstrijd met een uitleg door de PO (Patrick Vos) en de gelegenheid om een deel van onze voorbereidde vragen te stellen.

Daarna kon het testen van start gaan en hebben we onze aanpak uit kunnen voeren zoals we deze in de voorbereiding hadden uitgewerkt.

De aanpak was zodanig dat we in relatieve rust de applicatie goed hebben kunnen testen ondanks de tijdsdruk van slechts 3 uur.

Wat volgde

Er volgde 2 weken van afwachten, zenuwen en evaluaties wat we wel of niet goed hadden gedaan of wat beter had gekund en natuurlijk de hoop op een top 3 notering.

En uiteindelijk volgde afgelopen maandag 15 mei het mooist denkbare scenario:

 

Tenslotte

Natuurlijk willen wij de organisatie van het NK Software Testen 2017 van harte bedanken: TestNet en in het bijzonder Rob van Steenbergen, Klaas Durk Toonen, Gerard vd Weerd, Pascal Dufour, Huib Schoots en Patrick Vos.

Verder bedanken we ook alle andere teams voor het deelnemen aan het NK en hopen we dat ze de volgende keer weer meedoen en feliciteren we Ordina met het behalen van de 2e plaats en KZA met het behalen van de 3e plaats.