Blog

Crowdtesting huh?

Cloudtesting? Nee!! CROWDtesting

Voor veel mensen nog onbekend, maar Crowdtesting is bezig met een stevige opmars.

Crowdtesting wil zeggen dat je je website/webapp/app laat testen door een ´crowd´.   Een ´crowd´ zijn testers die, veelal in hun vrije tijd, testen uitvoeren. Wat betekent dat dan precies en hoe werkt dat?

De makkelijkste vorm (en naar onze mening ook de beste) is dat je een contract sluit met een crowdtesting specialist. Zij verzorgen dan het meeste werk voor je.

Hoe gaat dat dan in zijn werk?

Je begint met bedenken wat je door de crowd wilt laten testen. Alles is mogelijk namelijk. Dus hoeveel testers, waar moeten ze vandaan komen, welke kennis moeten ze hebben, welke browsers, welke devices, welke soort test (functioneel, exploratory, localization, security, performance…), hoe lang moet/mag de test duren, geef je wel of geen testscenario´s mee enz enz.

Vervolgens voer je deze informatie in in het systeem van de crowdtest specialist en dan gaan zij op zoek naar bijbehorende testers in hun netwerk die voldoen aan de vraag.

Daarna start de test en kun jij als klant in het systeem zien wie er testen, welke bugs ze vinden en wat ze van je applicatie vinden, je kunt ook rechtstreeks contact hebben met de testers. De gevonden bugs kun je importeren in je eigen systeem en als je wilt kun je nadat ze zijn opgelost dit nog laten checken door de crowd. De klant bepaalt of een bug terecht is en wat de waarde is van de bug. Een teamlead aan de kant van de crowdtest specialist maakt de eerste schifting op dubbele bugs en bugs die niet voldoen aan de testscope.

 

Veelgestelde vragen bij crowdtesten:

  • hoe weet ik dan of die testers wel goed zijn? –> testers worden beoordeeld op basis van de kwaliteit van de aangeleverde bugs en hun waarde voor de klant evenals de mate van ervaring.
  • is het wel veilig? –> de testers moeten een verklaring tekenen dat ze geen informatie over de testen mogen verspreiden. Je kunt per cycle nog een aparte NDA laten ondertekenen. Zorg natuurlijk zelf dat je testomgeving geen gevoelige informatie bevat.
  • waarom zouden die testers dit doen? –> er zijn diverse redenen. B.v. om beter te worden in hun vak, als hobby of voor het geld
  • levert dat nou een hoop geld op? –> nee, als tester krijg je tussen de 5 en 25 euro/dollar per gevonden bug, afhankelijk van de waarde voor de klant, maar daarvoor moet je ook wel wat doen, de bugs moeten voldoen aan strenge eisen zodat de klant altijd de bug makkelijk kan reproduceren.

Waarvoor kun je crowdtesting goed gebruiken:

  • om de enorme verscheidenheid aan browsers en devices af te dekken. Je kunt (zelfs geautomatiseerd) niet alles testen. De crowd beschikt over alle mogelijke devices.
  • als alternatief/aanvulling op handmatige of geautomatiseerde regressietesten (je hebt voor een relatief klein bedrag opeens een groot testteam ter beschikking)
  • als je app in verscheidende talen ter beschikking staat, om door native speakers van die taal, je app te laten testen

 

Wie bieden dit aan:

Er zijn diverse aanbieders zoals Testbirds, Testbats en Applause (voorheen uTest). Wij hebben hele goede ervaringen met de laatste. Zij hebben een heel goed platform, een bijzonder alerte begeleiding en een wereldwijd netwerk van goede testers.

applause