Du har en overskrift på din produktside. Du tror, en anden overskrift måske konverterer bedre. Du kunne gætte. Eller du kunne vise halvdelen af dine besøgende den gamle overskrift og halvdelen den nye, måle konverteringsraten for hver og lade data afgøre, hvilken der er bedst. Det er A/B-test i analytics.
A/B-test bruger data til at sammenligne udgaver og finde vinderen. Her gennemgår vi, hvordan A/B-tests virker, hvad statistisk signifikans betyder, hvorfor stikprøvens størrelse betyder noget, almindelige fejl og hvordan du vælger udgaver, der er værd at teste.
A/B-test (også kaldet split-test) sammenligner to udgaver af noget for at se, hvilken der klarer sig bedst. Udgave A (kontrol): din nuværende overskrift. Udgave B (variation): en anden overskrift. Du deler din trafik 50/50, måler hvilken overskrift der konverterer mest, og finder en vinder.
A/B-test svarer på: er den her ændring faktisk bedre, eller er forskellen bare held? Uden test stoler du på mavefornemmelse. Med test stoler du på data.
Hvad A/B-test er, og hvad den svarer på
A/B-test sammenligner to udgaver og måler, hvilken der klarer sig bedst på et bestemt tal. Klikrate. Konverteringsrate. Tid på siden. Omsætning pr. besøgende. Du kører testen, til du har nok data til at afgøre det.
En A/B-test svarer på: er forskellen mellem udgaverne reel eller tilfældig? Er ændringen værd at lave, eller skal jeg prøve noget andet? Svaret kommer fra data, ikke holdninger.
Sådan virker statistisk signifikans
Du tester to overskrifter. Overskrift A konverterer 10 procent (100 ud af 1.000). Overskrift B konverterer 10,5 procent (105 ud af 1.000). Overskrift B er bedre. Men er forskellen reel eller bare tilfældig variation?
Statistisk signifikans svarer på: hvis der ikke var nogen forskel på overskrifterne, hvor sandsynligt er det så, at du ville se en så stor forskel bare ved tilfældighed? Er sandsynligheden meget lav (under 5 procent), er forskellen statistisk signifikant. Du kan stole på, at den er reel.
Er sandsynligheden høj (over 5 procent), kan forskellen være tilfældig. Så skal du ikke handle på den.
De fleste tests kræver 95 procents sikkerhed, altså kun 5 procents risiko for, at forskellen er tilfældig. Nogle tests kræver 99 procents sikkerhed (kun 1 procents risiko for tilfældighed).
Hvorfor stikprøvens størrelse betyder noget
Du tester overskrift B på 20 personer og får 20 procent konvertering (4 konverteringer). Overskrift A fik 10 procent (2 konverteringer). Overskrift B er bedre, ikke? Måske. Eller også er det bare held med så lille en stikprøve.
Test de samme overskrifter på 10.000 personer. Overskrift A får 1.000 konverteringer ud af 10.000 (10 procent). Overskrift B får 950 konverteringer ud af 10.000 (9,5 procent). Nu er overskrift A bedre. Med en større stikprøve jævnes tilfældigheden ud, og de virkelige mønstre træder frem.
Større stikprøver giver dig mere sikkerhed i resultatet. Mindre stikprøver er støjende og upålidelige.
Almindelige fejl i A/B-test
At stoppe testen for tidligt: Du ser én udgave vinde efter to dage. Du erklærer sejr og slår den til. Men efter to uger vender mønstret, og originalen vinder. De tidlige data var tilfældig variation. Lad testen køre længe nok (mindst to uger, helst fire).
At køre for mange tests på én gang: Du tester overskrift, knapfarve og formularlængde på samme tid. Én udgave vinder, men du ved ikke, hvilket element der gav sejren. Test én ting ad gangen.
At teste uvæsentlige ændringer: Du tester en knapfarve (blå mod en lidt mørkere blå). Testen kræver 100.000 besøgende for at vise en statistisk signifikant forskel. Test ændringer, der betyder noget (overskrift mod et andet løfte, ikke blå mod lidt mindre blå).
At ignorere sæson: Du kører en test fra november til januar. Din udgave vinder. Men januar er en langsommere sæson. Når du kører den hele året, taber den. Kør altid tests gennem flere sæsoner.
At forveksle sammenfald med årsag: Udgave B vinder. Du går ud fra, at ændringen gav sejren. Men du startede også en kampagne under testen. Kampagnen, ikke udgaven, gav sejren. Tag højde for ydre faktorer.
Sådan vælger du, hvad du skal teste
Test ændringer med stor mulig effekt. Små ændringer flytter måske ikke noget, selv om de vinder. En ændret knapfarve øger måske konverteringen med 0,5 procent. En ændret overskrift øger den måske med 5 procent. Test de større ændringer først.
Test ændringer, der passer til din hypotese. Er din hypotese "en forvirrende betalingsformular giver frafald", så test en enklere formular. Test ikke tilfældige farver og knapplaceringer.
Test ændringer én ad gangen. Ændrer du overskrift, knaptekst og formularfelter på samme tid, kan du ikke se, hvad der gav forbedringen.
Sådan læser du resultatet af en A/B-test
Resultatet viser: Udgave A havde en konverteringsrate på 10 procent. Udgave B havde en konverteringsrate på 11 procent. B er 10 procent bedre (relativ forbedring). Sikkerheden er 95 procent, med en p-værdi på 0,03.
Det betyder: Udgave B er bedre. Vi er 95 procent sikre på, at forskellen er reel og ikke tilfældig held.
Er sikkerheden 85 procent (p-værdi 0,15), er resultatet ikke statistisk signifikant. Du skal ikke erklære en vinder. Der skal flere data til.
Hvornår du skal blive ved med at teste, og hvornår du skal stoppe
Bliv ved med at teste, hvis: resultatet ikke er statistisk signifikant, og du ikke har nået din målstørrelse for stikprøven, eller du har lært noget uventet og vil grave dybere.
Stop med at teste, hvis: du har nået statistisk signifikans og kan erklære en vinder, eller du har kørt testen i fire uger eller mere, og resultaterne ikke nærmer sig signifikans. Så er udgaverne sandsynligvis lige gode.
Ofte stillede spørgsmål
Hvor mange besøgende har jeg brug for til en gyldig A/B-test?
Det afhænger af din nuværende konverteringsrate og hvor stor en ændring, du vil opdage. På en lille hjemmeside med 100 besøgende om dagen skal du måske bruge to uger for at nå statistisk signifikans. På en stor hjemmeside med 10.000 besøgende om dagen når du den måske på to dage. Brug en lommeregner til stikprøvestørrelse (de fleste værktøjer til A/B-test har en indbygget). Med WEMASY's hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Hvad betyder en p-værdi på 0,05?
Det betyder, at der er 5 procent risiko for, at forskellen, du ser, er tilfældig held. Et sikkerhedsniveau på 95 procent. De fleste bruger 0,05 som grænse: er p-værdien under 0,05, er resultatet statistisk signifikant.
Kan jeg se resultater under en test og stoppe tidligt, hvis en udgave vinder?
Nej. Det kaldes at kigge med, og det fører til forkerte konklusioner. Stopper du tidligt, fordi en udgave fører, overser du måske den sande vinder. Lad altid testen køre i den planlagte tid.
Hvad hvis min test viser en meget stor forbedring, men lav statistisk signifikans?
Det betyder som regel, at din stikprøve er for lille. Du har et lovende signal, men ikke nok data til at bekræfte det. Kør testen længere, eller skaf mere trafik.
Skal jeg teste ét element eller flere på én gang?
Test ét element ad gangen (multivariat test er indviklet og som regel ikke umagen værd, medmindre du har meget høj trafik). Når du tester én ting, ved du, hvad der gav ændringen.
Hvor mange A/B-tests skal jeg køre samtidig?
Som regel én ad gangen, især hvis du er ny til test. Når du har erfaring og høj trafik, kan du køre flere tests på forskellige sider samtidig. Kør aldrig to tests på samme side på samme tid.