Hoe meet je of een optimalisatie werkt?
Je meet of een optimalisatie werkt door dezelfde periode voor en na de wijziging te vergelijken, met hetzelfde cijfer en dezelfde bron.
Vier weken tegen vier weken, niet een goede week tegen een slechte.
Let daarbij op seizoen, campagnes en toeval.
Het cijfer kiezen
Kies vooraf welk getal moet stijgen en met hoeveel. Achteraf een cijfer zoeken dat gunstig uitpakt, is geen meting.
Meer daarover lees je bij conversie.
De periode kiezen
Minstens vier weken, en bij weinig bezoek langer. Anders zie je ruis aan voor resultaat.
Meer daarover lees je bij cro.
Waar je op let
Een feestdag, een vakantieperiode of een campagne die net liep. Die verstoren je vergelijking flink.
Meer daarover lees je bij pagespeed.
Mijn vuistregels
- Kies je cijfer vooraf.
- Vergelijk gelijke perioden.
- Noteer wat er verder speelde.
- Twijfel je, dan is het effect te klein.
Die laatste bespaart je veel discussie.
De betere manier
Twee versies tegelijk tonen aan verschillende bezoekers. Dan haal je seizoen en toeval uit de vergelijking.
Meer daarover lees je bij a b testen.
Wanneer dat niet kan
Bij weinig bezoek. Dan duurt zo’n test maanden en is voor en na vergelijken de enige praktische route.
Meer daarover lees je bij seo.
Wat ik in de praktijk zie misgaan
Er worden vijf dingen tegelijk veranderd, en daarna is niet meer te zeggen wat er werkte.
Dat gaat vanzelf zo: er is toch iemand aan het werk, dus de teksten worden aangepast, de knoppen krijgen een andere kleur, er wordt een plug-in bijgezet en de foto’s worden vervangen. Een maand later komen er meer aanvragen binnen. Fijn, maar je hebt niets geleerd, en je weet dus ook niet wat je bij de volgende pagina moet doen.
Nog vaker zie ik het omgekeerde: het cijfer daalt en er wordt van alles teruggedraaid, terwijl het gewoon een rustige maand was.
Wat ik daarom aanhoud is één wijziging tegelijk bij alles wat je kunt afwachten, en een vergelijking met dezelfde periode vorig jaar in plaats van met vorige maand. Bij een seizoensbedrijf is dat laatste geen detail maar het hele verschil tussen een goede en een verkeerde conclusie.
Meer daarover lees je bij kpi.