Voordat je een A/B test kunt opzetten doe je vooronderzoek naar je gebruikers. Je wilt weten wat je gebruikers doen en waarom ze dat doen. Het is belangrijk dat je jouw strategie bepaalt en je doelen uiteenzet. Je aanpak kan er als volgt uit zien:
- Onderzoek
- Prioriteren
- Experimenteren
- Analyse, Conclusie en Verder Onderzoek
Onderzoek
Verzamel data van je gebruikers en doe analyse van je website.
- Technische audit: werkt alles goed op mobiel en desktop? Laadt de website snel? Zijn er geen fouten op de website?
- Heuristiek analyse: volg de website usability guidelines die gebaseerd zijn op wetenschappelijk onderzoek?
- Gebruikers testen: voer een think aloud sessie uit (proefpersoon voert een taak uit en denkt hardop) of doe een session recording (neem op wat de proefpersoon doet).
- Heat maps: track de muisbewegingen, kliks en scroll bewegingen.
- Web Analytics: gebruik de data van je Web Analytics.
Prioriteren
Maak een lijst van hypotheses en prioriteer deze. Hoe kun je dit doen? Je kunt een score generen op basis van twee criteria:
- Gemak van de implementatie. Hoe makkelijk is dit om te implementeren. Weeg tijd, geld en risico’s af.
- Impact. Hoeveel impact denk je dat dit kan opleveren?
| Backlog | Gemak van implementatie (1-3) hoger is beter | Impact (1-3) hoger is beter | Prioriteit |
| Verander CTA naar: bestel nu | 3 | 3 | 9 |
| Maak productafbeeldingen 20% groter | 1 | 2 | 2 |
| Verklein de header met 10% | 2 | 2 | 4 |
Je kunt deze criteria ook uitbreiden. Bijvoorbeeld met druk bezochte pagina’s, probleem gevonden via kwalitatieve onderzoek, probleem gevonden via kwantitatieve onderzoek, etc.
Experimenteren
Je kunt nu aan de slag met een A/B test. Maar hoe lang moet je testen? Met behulp van bereken tools zoals A/B test sample size calculator en AB+ Test Calculator kun je uitrekenen hoe groot je sample size moet zijn om statistisch significant te zijn.
Voer het experiment uit voor minstens 2 weken om externe factoren uit te sluiten zoals:
- Verandering in periodes zoals weekenden versus werkdagen
- Web verkeer van externe bronnen
- Nieuwe blogs posts en nieuwsbrieven
- Verandering van media, nieuws en externe evenementen
- Terugkerende bezoekers.
Analyze
Bij de analyze kijk je kritisch naar de resultaten. Bekijk ook de data in Google Analytics. Het kan bijvoorbeeld zijn dat gebruikersgroepen verdeeld hebben gereageerd op je varianten. Het is goed mogelijk dat nieuwe gebruikers anders reageren dan terugkerende gebruikers. Dat zelfde geldt ook voor mobiele en desktop gebruikers. Ook kun je afvragen of de implementatie correct is. Zijn er meerder manieren mogelijk geweest om dat ene knopje te veranderen (zijn er bijvoorbeeld meerdere tinten oranje).
Het is belangrijk om ook je gebruikersgroep te segmenteren. Dat kan bijvoorbeeld op basis van:
- Gebruikte browser
- Mobiel versus desktop
- Nieuwe en terugkerende bezoekers
- Man versus vrouw
- Leeftijdsgroepen
