Testen kørte for kort (peeking-fejl)
Fejlen
Den største fejl: du tjekker resultaterne efter én uge, selv om testen var planlagt til to uger.
Hvorfor det er en fejl
Én uge giver fire hundrede konverteringer pr. variation. To uger giver otte hundrede. Med fire hundrede fylder tilfældig støj mere. Du ser forskelle, som forsvinder, når der kommer flere data.
Eksempel: i uge ét har varianten ni procent konvertering. Kontrollen har otte procent. En gevinst på ét procentpoint ser ægte ud. Du kigger med og bliver begejstret. I uge to falder varianten til otte komma fem procent. Kontrollen bliver ved otte procent. Gevinsten er nu et halvt procentpoint. Den er stadig statistisk signifikant, men meget mindre, end uge ét viste.
Hvis du var stoppet i uge ét, havde du overvurderet variantens fordel med halvtreds procent.
Sådan undgår du den
Bestem varigheden, før du starter testen. To uger er standard. Skriv det ned. Lad være med at kigge med. Sæt en påmindelse i kalenderen på slutdatoen.
Du tester flere ændringer på én gang
Fejlen
Du ændrer overskriften. Du ændrer knappens farve. Du ændrer knappens tekst. Du ændrer formularfelterne. Fire ændringer på samme tid.
Hvorfor det er en fejl
Varianten konverterer med tolv procent. Kontrollen med ti procent. Gevinsten er to procentpoint. Du indfører alle fire ændringer.
En måned senere falder konverteringen til ni procent. Noget er gået i stykker. Men hvad? Overskriften, knappen eller formularen? Du ændrede fire ting og ved ikke, hvilken der skadede. Du kan ikke lære, hvilken ændring der hjalp, og hvilken der gjorde skade.
Sådan undgår du den
Kun én ændring ad gangen. Ændr kun overskriften. Test den. Indfør den, hvis den vinder. Test derefter knappens farve. Så formularen. Én variabel ad gangen.
Målefejl og ødelagte tests
Fejlen
Testen kører i to uger. Resultatet viser, at varianten vinder med fem procent. Du indfører den. En måned senere opdager du, at målingen var ødelagt. Konverteringspixlen udløste ikke for halvfems procent af de besøgende.
Hvorfor det er en fejl
Resultaterne er værdiløse. Beslutningen byggede på dårlige data. Du brugte udviklerressourcer på at indføre noget, der hvilede på ugyldige resultater.
Sådan undgår du den
Tjek opsætningen med stikprøver. Gennemfør selv et enkelt forløb. Udløses hændelsen? Tjek målingslogs. Kontroller, at pixlen udløses. Gennemgå målingen, før du erklærer en vinder.
For lille stikprøve
Fejlen
Du kører en test med kun fem hundrede konverteringer i alt. To hundrede og halvtreds pr. variation. Med så lille en stikprøve er den tilfældige støj stor. Forskelle på fem procent er almindelige. Forskelle på ti procent er ikke overraskende.
Du ser, at varianten ligger fem procent over kontrollen. Ingen statistisk signifikans. Du erklærer testen for uafklaret.
Hvorfor det er en fejl
Testen havde for lidt styrke fra begyndelsen. Du burde have vidst, at den skulle køre i to uger og ikke i én. Tests med for lidt styrke spilder tid og giver uafklarede resultater.
Sådan undgår du den
Beregn stikprøvestørrelsen, før du starter. Hvor mange konverteringer skal du bruge? Hvor lang tid tager det at nå dem? Hvis testen tager tre måneder, så overvej at teste noget andet, som giver hurtigere svar.
Du tager ikke højde for eksterne faktorer
Fejlen
Du kører testen fra tirsdag til torsdag. Du har resultater fra mandag før testen og fra fredag efter testen. Du sammenligner fredag med mandag.
Men fredagens trafik er en anden end mandagens. Fredag er weekend med afslappet browsing. Mandag er arbejdsdag med browsing i arbejdstiden. Forskellige målgrupper. Forskellige konverteringsrater. Du tilskriver forskellen til testen, selv om den i virkeligheden skyldes trafikkens sammensætning.
Hvorfor det er en fejl
Du indførte en ændring på grund af forskellen i trafikkens sammensætning og ikke fordi varianten virker. Når trafikken ændrer sig igen, holder resultaterne ikke.
Sådan undgår du den
Kør testen længe nok til, at trafikkens sammensætning jævner sig ud. To uger dækker både hverdage og weekender. Én uge kan være skæv.
Du ændrer hypotesen midt i testen
Fejlen
Du starter testen med en hypotese: en kortere formular giver flere indsendelser.
Halvvejs får du nye data fra support. Kunderne vil have flere valgmuligheder i felterne. Du ændrer hypotesen: flere felter kan faktisk hjælpe. Nu har du en test, der er bygget til én hypotese, men analyseres som en anden.
Hvorfor det er en fejl
Det forvirrer resultaterne. Du kan ikke se, hvilken hypotese testen egentlig afprøvede. Du risikerer at handle ud fra en forkert tolkning.
Sådan undgår du den
Skriv hypotesen ned, før du starter testen. Hold dig til den. Hvis du får ny viden og vil teste en anden hypotese, så afslut den nuværende test først. Kør derefter en ny test.
Du indfører ikke vinderne
Fejlen
Testen er færdig. Varianten vinder. Du siger: "Vi indfører den senere." Senere kommer aldrig. Testen skabte ingen værdi. Du spildte tid.
Hvorfor det er en fejl
Vinderne skaber kun værdi, hvis de bliver indført. Et testprogram vokser kun, hvis du konsekvent indfører vinderne. Én vinder, der ikke bliver brugt, dræber momentum og teamets tro på test.
Sådan undgår du den
Beslut, at du vil indføre vinderen, før du kører testen. Hvis varianten vinder, så indfør den inden for en uge. Hvis kontrollen vinder, så rul tilbage med det samme. Lad ikke vinderne samle støv.
Du opdeler ikke resultaterne i segmenter
Fejlen
Det samlede resultat viser, at varianten vinder. Du indfører den overalt.
Men opdelt i segmenter ser du: på computer vinder varianten. På mobil taber den. For internationale besøgende har den ingen effekt. Når du indfører den overalt, skader du mobilbrugerne og de internationale besøgende.
Hvorfor det er en fejl
Du optimerede til det samlede gennemsnit, men skadede bestemte segmenter. Mobiltrafikken kan vokse hurtigere end computertrafikken. Ved at indføre varianten skader du det segment, der vokser.
Sådan undgår du den
Tjek altid segmenternes resultater, før du erklærer en samlet vinder. Vinderen gælder måske ikke for alle. Indfør den for de segmenter, hvor den vinder. Spring de segmenter over, hvor den ikke gør.
Du forveksler vinderen med årsagen
Fejlen
Testen viser, at varianten slår kontrollen. Du antager, at varianten er bedre. Men hvad nu, hvis kontrollen bare er i stykker? Kontrolknappen virker ikke. Alle bliver forvirrede. Variantens knap virker fint. Varianten vinder, fordi kontrollen er i stykker og ikke fordi varianten i sig selv er bedre.
Hvorfor det er en fejl
Du lærer den forkerte lektie. Du tror, at knappens stil vinder, men i virkeligheden lærte du, at "en knap, der virker, slår en knap, der er i stykker". Det betyder noget helt andet for dine næste tests.
Sådan undgår du den
Forstå, hvorfor varianten vandt. Var det, fordi varianten er bedre, eller fordi kontrollen er dårligere? Det har forskellige konsekvenser.
Du gentager den samme test og håber på et andet resultat
Fejlen
Test ét: varianten taber til kontrollen. Du prøver igen med en lille ændring. Test to: samme resultat. Kontrollen vinder igen. Du prøver igen. Test tre: samme mønster. Kontrollen bliver ved med at vinde.
Du tester det samme igen og igen og får det samme resultat.
Hvorfor det er en fejl
Du spilder testbudget på en tilgang, der ikke virker. Det er bedre at skifte retning end at blive ved med at teste den samme tabende strategi.
Sådan undgår du den
Hold op med at teste det samme. Du har brug for en anden strategi. Den nuværende tilgang virker ikke. Skift til en anden variant.
Du dokumenterer ikke resultater og læring
Fejlen
Testen er færdig. Resultaterne viser en vinder. Du indfører den. Så glemmer du den.
Seks måneder senere spørger en ny kollega: "Hvad lærte vi om overskrifter?" Du har ingen dokumentation. Du starter forfra.
Hvorfor det er en fejl
Du mister jeres samlede viden. Hver test bør lære dig noget. Uden dokumentation forsvinder viden, når folk forlader teamet.
Sådan undgår du den
Dokumenter hver test. Hypotese. Resultater. Læring. Del det med teamet. Byg en fælles videnbase.
Ofte stillede spørgsmål
Overtræder jeg reglen, hvis jeg tjekker testresultaterne én gang om ugen?
Nej, hvis du har besluttet dig for en varighed på to uger og ikke ændrer adfærd på grundlag af resultaterne fra uge ét. Du overvåger, men stopper ikke tidligt. At tjekke er i orden. At stoppe tidligt er peeking. Eksempel: uge ét viser ni procent for varianten og otte procent for kontrollen. Varianten ligner en vinder. Indfør den ikke endnu. Hold fast i de fulde to uger. Uge to viser måske otte komma otte procent for varianten og otte procent for kontrollen. Så bliver forskellen mindre. Hvis du var stoppet i uge ét, havde du overvurderet fordelen med halvtreds procent. Hold fast i varigheden, tjek gerne hver uge, men handl ikke på foreløbige resultater. Med WEMASYs hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Kan jeg teste to lignende ting samtidig (forskellige overskrifter i forskellige regioner)?
Ja, hvis regionerne er helt adskilte, og du ikke sammenligner dem. Test overskrift A mod B på amerikansk trafik. Test overskrift C mod D på europæisk trafik. Det er to adskilte tests. Parallelle tests er i orden. Men sammenlign ikke A med C på tværs af regioner, fordi sammensætningen er forskellig. Regionale målgrupper konverterer forskelligt. USA har måske tolv procent som udgangspunkt. Europa har måske otte procent. Overskrift A vinder i USA. Overskrift C vinder i Europa. Du kan ikke konkludere, at A er bedre overalt, fordi regionerne har forskellige udgangspunkter. Test parallelt, men analysér hver for sig.
Hvis resultatet ikke viser en signifikant forskel, kan jeg så regne med, at varianterne er ens?
Nej. Regn med, at forskellen er uklar. De kan være ens. De kan også være forskellige, men du havde brug for flere data for at se det. Eksempel: kontrollen har fem hundrede konverteringer. Varianten har fem hundrede og fem. Det er én procents forskel. Otteogfirs procents sikkerhed. Ikke signifikant. Du kan ikke konkludere, at de er ens. Du kan kun konkludere, at forskellen er uklar. Dine muligheder: kør testen længere for at få flere data. Eller, hvis varianten er lettere at indføre end kontrollen, så skift til varianten, for i værste fald er de ens, og i bedste fald er varianten bedre. Hvis kontrollen er lettest, så behold kontrollen.
Hvad hvis min test viser et signifikant resultat, men det virker forkert på mig?
Stol på statistikken og ikke på mavefornemmelsen. Matematikken er klogere end mavefornemmelsen. Hvis statistikken siger, at resultatet er ægte (femoghalvfems procents sikkerhed), så er det sandsynligvis ægte. Din mavefornemmelse bygger på begrænset erfaring. Statistikken bygger på tusindvis af besøgendes data. Indfør det, statistikken viser. Eksempel: du tror, at en rød knap virker bedre end en blå. Testen viser, at den blå vinder tydeligt. Din mavefornemmelse tog fejl. Indfør den blå knap. Hvis du havde stolet på mavefornemmelsen og set bort fra testdata, havde du indført den røde og skadet konverteringen.
Kan jeg lægge flere små, ikke-signifikante resultater sammen til ét stort signifikant resultat?
Nej. Hver test står alene. Du kan ikke lægge uafklarede tests sammen til ét afklaret resultat. Test ét viser femogfirs procents sikkerhed for, at varianten vinder. Test to viser firs procents sikkerhed for den samme variant. Er det tilsammen femoghalvfems procent? Nej. Sådan virker statistik ikke. Hver test er uafhængig. At lægge dem sammen er statistisk volapyk. Kør i stedet en korrekt dimensioneret test med tilstrækkelig styrke fra start. Enten har du signifikans, eller også har du ikke.
Hvis en test viser et stærkt resultat for et segment, men et svagt samlet resultat, hvad skal jeg så indføre?
Indfør kun for segmentet, hvis det stærke resultat er statistisk signifikant for netop det segment. Hvis segmentet er lille (ti procent af trafikken), er det sværere at nå grænsen for signifikans. Der kan være tale om en falsk positiv i segmentet. Tjek signifikansen for segmentet og ikke kun samlet. Eksempel: den samlede test viser ni procent for varianten og otte komma ni procent for kontrollen. Knap signifikant. Men segmentet computer viser ti procent for varianten og otte procent for kontrollen. To procentpoint i varianten. Stærkt og signifikant for computer. Segmentet mobil viser otte procent for varianten og otte procent for kontrollen. Ingen forskel. Indfør kun for computer. Indfør ikke for mobil. Forskellige segmenter har forskellige bedste varianter.