Hoeveel bezoekers heb je nodig voor een A/B-test?
Reken niet in bezoekers maar in conversies. Als vuistregel wil je een paar honderd conversies per versie voordat je een uitkomst vertrouwt.
Hoeveel bezoekers dat zijn, hangt af van hoe vaak iemand op jouw site iets doet. Bij één aanvraag per honderd bezoekers heb je dus tienduizenden bezoekers nodig.
Dat is voor veel sites de reden om níét te testen, en dat is een prima uitkomst.
Denk in conversies, niet in bezoekers
Een test meet een verschil tussen twee percentages. Hoe kleiner het verschil dat je wilt kunnen zien, hoe meer metingen je nodig hebt.
Bij twintig conversies per versie kan één toevallige bestelling het beeld al kantelen. Bij tweehonderd niet meer.
Een rekenvoorbeeld
Stel dat twee procent van je bezoekers een offerte aanvraagt en je wilt een verbetering naar twee en een half procent kunnen aantonen.
Dan heb je grofweg twintigduizend bezoekers per versie nodig. Bij duizend bezoekers per maand loopt die test dus ruim drie jaar.
Wat als je te weinig hebt
Dan is testen niet het juiste gereedschap. Kijk in plaats daarvan waar mensen precies afhaken en los dat op.
Een opnamefunctie of een heatmap laat zien waar bezoekers vastlopen, en daar heb je geen duizenden bezoekers voor nodig.
Mijn vuistregels
- Onder de duizend conversies per maand zou ik niet beginnen met testen.
- Mik op minimaal tweehonderd conversies per versie voordat je conclusies trekt.
- Test op een pagina met veel verkeer, niet op een pagina die je toevallig belangrijk vindt.
- Verwacht geen verschil van twee procent te kunnen aantonen; daar is bijna nooit genoeg verkeer voor.
Die laatste voorkomt de meeste teleurstelling. Grote wijzigingen zijn meetbaar, kleine nuances niet.
Statistische significantie
Dat cijfer zegt hoe waarschijnlijk het is dat je verschil op toeval berust. Bij vijfennegentig procent is de kans op toeval één op twintig.
Dat is de gangbare grens, en de meeste testprogramma’s rekenen hem zelf uit. Wacht tot je hem haalt, en stop niet zodra hij even wordt aangetikt.
Waarom te vroeg stoppen misleidt
Tijdens een test schommelt dat percentage flink. Kijk je elke dag en stop je op het moment dat het er goed uitziet, dan kies je in feite je eigen uitkomst.
Spreek daarom vooraf af hoe lang je test loopt. Meer daarover lees je bij hoe lang moet een A/B-test lopen.