Hoe lang moet een A/B-test lopen?
Minstens twee volle weken, en daarna tot je genoeg conversies hebt. Die twee voorwaarden gelden allebei.
Twee weken omdat je elke dag van de week minstens twee keer wilt meenemen. Genoeg conversies omdat je anders naar toeval kijkt.
Wat je vooral niet doet, is stoppen op het moment dat het er goed uitziet.
Twee volle weken
Bezoekers gedragen zich niet elke dag hetzelfde. Op maandagochtend zit iemand anders achter zijn scherm dan op zaterdagavond.
Loopt je test van dinsdag tot vrijdag, dan meet je het gedrag van doordeweekse bezoekers en trek je daar een conclusie uit voor iedereen.
Waarom weekdagen verschillen
Bij zakelijke dienstverlening komen aanvragen vooral op werkdagen binnen, vaak aan het begin van de dag. Bij een webshop juist in de avond en in het weekend.
Neem je één volle week, dan zit alles er één keer in. Twee weken maakt het robuust tegen een toevallig rare week.
Wanneer je stopt
Als beide voorwaarden zijn gehaald: twee volle weken voorbij, en genoeg conversies per versie. Meer over dat aantal lees je bij hoeveel bezoekers heb je nodig voor een A/B-test.
Spreek dat vooraf af en zet het ergens op. Anders ga je onderweg onderhandelen met jezelf.
Mijn vuistregels
- Minimaal twee volle weken, altijd in hele weken.
- Bepaal vooraf wanneer je stopt en houd je daaraan.
- Kijk tussentijds gerust, maar trek geen conclusies.
- Loopt er een campagne of een actie? Wacht tot die voorbij is.
Die derde is lastiger dan hij klinkt. De verleiding om na drie goede dagen te juichen is groot.
Wanneer je eerder stopt
Als een versie duidelijk schade aanricht. Zie je na een paar dagen dat de nieuwe versie de helft minder oplevert, dan hoef je die twee weken niet uit te zitten.
En als er iets stuk is. Een variant waarin het formulier niet werkt, is geen test maar een storing.
Wat je daarna doet
Zet de winnaar vast, verwijder de andere versie en meet nog een paar weken door. Zo controleer je of de winst blijft.
Leg daarna vast wat je hebt geleerd, ook bij een test zonder verschil. Dat scheelt je over een jaar dezelfde discussie. Meer daarover lees je bij cro.