Forskellen på testprojekter og testkultur
Testprojekt
Kør nogle få tests. Se, hvad der virker. Gå videre. Test er et værktøj, du bruger, når du har brug for det. Så holder du op.
Testkultur
Kør tests løbende. Vinderne fra én test styrer den næste. Læringen hober sig op. År efter år bygger test oven på sig selv.
Hver ændring bliver testet. Hver beslutning bygger på data. Test er den måde, du træffer beslutninger på, ikke et projekt, du kører engang imellem.
Virksomheder med testkultur slår konkurrenter uden. Ikke meget pr. test. Men over årene vokser det til en enorm fordel.
Sådan får du ledelsen med
Problemet
De fleste testprogrammer fejler, fordi ledelsen ikke forstår test eller ikke forpligter sig til det.
Hvad ledelsen hører
Når du foreslår et testprogram, hører ledelsen: det her tager tid og koster penge.
Hvad ledelsen skal høre
Vis pengene. Kør én test. Bevis, at den virker. Regn omsætningseffekten ud. Denne test forbedrede konverteringen med to procent. Det giver 50.000 dollars ekstra i årlig omsætning. Testværktøjet koster 12.000. Nettogevinsten er 38.000.
Nu ser ledelsen test som en investering og ikke som en udgift.
Sådan bygger du en testplan
Kør ikke tilfældige tests
Lav en testplan. Planen peger på de områder, hvor effekten er størst. Formularer. Overskrifter. Tilbud. Kassen. Hvert område får sin prioritet.
Sortér efter effekt
Planen sætter testene i rækkefølge. Test de ting med stor effekt først. Middel effekt som nummer to. Lille effekt senere.
Teamets tilsagn
Planen forpligter teamene til at teste. Designerne ved, at de tester knapdesign. Produktholdet ved, at de tester tilbuddet. Alle ved, hvad der kommer.
Lav en kvartalsplan. Opdatér den hver måned ud fra resultaterne. Kvartalsplanlægning holder teamet fokuseret.
Sådan fordeler du ejerskab og ansvar
Problemet
Test fejler, når ingen ejer det. Marketing siger, at produktholdet har ansvaret. Produktholdet siger, at udviklerne har det. Så bliver der aldrig testet.
Løsningen
Udpeg en testansvarlig. Det kan være en vækstchef. Det kan være en produktchef. Én person står til ansvar for testprogrammet.
Den testansvarlige sætter planen. Kører testene. Dokumenterer resultaterne. Deler læringen. Koordinerer på tværs af teams. Uden en ansvarlig går test i stå.
Sådan lærer du teamet at tænke statistisk
Problemet
De fleste har ikke lært statistik. De ser på tal og træffer beslutninger på mavefornemmelse.
Den nye version ligger på 9 procent. Kontrolversionen ligger på 8,8 procent. Det ser ud, som om den nye version vandt. En, der ikke er statistiker, tror, at den nye version er bedre.
En statistiker tjekker konfidensniveauet. 82 procent. Under tærsklen på 95 procent. Ikke signifikant. Forskellen kan være held.
Løsningen
Når du lærer teamet grundlæggende statistik, undgår I forkerte beslutninger. Emner at træne: hvad statistisk signifikans er. Hvorfor 95 procent er vigtigt. Hvordan du læser konfidensintervaller. Hvad stikprøvestørrelse betyder.
Et godt testprogram uddanner teamet i statistik.
Sådan skaber du fælles læring og dokumentation
Hvorfor dokumentation er vigtig
Hver test lærer dig noget. Læringen forsvinder, hvis den ikke bliver skrevet ned.
Sådan dokumenterer du
Lav en samling til alle tests. Hver test får sin egen side. Hypotese. Resultater. Læring.
Efter 50 tests har du 50 sider med læring. En ny kollega læser de 50 sider og forstår, hvad der virker for jeres publikum.
God dokumentation: hypotese, resultater, indsigt og hvad I skal teste næste gang.
Dårlig dokumentation: test et vandt, test to tabte. Ingen indsigt.
Sådan gør du test til en del af processen
Valgfri test fejler
Hvis test er valgfrit, stopper det, når der er travlt. Teamene nedprioriterer det til fordel for hastende projekter.
Obligatorisk test holder
Gør test obligatorisk. Hver ændring går gennem testprocessen. En ændring uden test bliver ikke godkendt.
Det kræver en ændring af processen. Men så sker testene hele tiden.
Eksempel på en proces
Et: Foreslå en ændring med en hypotese. To: Få lov til at teste. Tre: Kør testen i to uger. Fire: Den testansvarlige godkender resultaterne. Fem: Hvis resultatet er signifikant, indfør ændringen. Seks: Dokumentér læringen. Syv: Design den næste test.
Sådan fejrer og deler du sejre
Problemet
Testprogrammet dør, hvis sejrene forbliver tavse.
Løsningen
Fejr sejre. Del resultater. Vis effekten. En månedlig mail: "Vores testprogram forbedrede konverteringen med syv procent i dette kvartal. Her er fem tests, der rykkede noget. Tak til de teams, der gennemførte dem."
Det skaber fremdrift. Det skaber kultur. Det skaber tro på, at test virker.
Sådan håndterer du politikken omkring test
Konflikten
Nogen foreslår en ændring. Testen viser, at ændringen ikke er en god idé. Personen, der foreslog den, bliver frustreret. Test skaber konflikt, når resultaterne strider mod antagelserne.
Løsningen
Præsentér test som et læringsværktøj. Ikke som en måde at bevise, at folk tog fejl. Sig i stedet: "Lad os teste og lære sammen."
Når en test viser, at en person tog fejl, så sig: "Vi lærte noget." Se det som en sejr og ikke et nederlag. Folk går i forsvar, hvis test virker truende. Folk bakker op om test, hvis det handler om læring.
Sådan styrer du testtempoet
Den aggressive tilgang
Kør ti tests om måneden. Afslut hver test på en uge. Hurtig læring. Større risiko for falske positive. Højere fejlrate.
Den forsigtige tilgang
Kør tre tests om måneden. Afslut hver test på to til tre uger. Langsommere læring. Lavere fejlrate. Mere sikkert.
Den afbalancerede tilgang
De fleste virksomheder bør vælge en balance. Fem til seks tests om måneden. To ugers varighed. Rimelig fejlrate. Rimelig læringshastighed. Ofre ikke kvaliteten for hastigheden. Én test af høj kvalitet slår ti af lav kvalitet.
Sådan forstår du aftagende udbytte
Mønstret
De første 20 tests rykker noget. Hver test forbedrer noget. Planen er fuld af muligheder med stor effekt.
Test 20 til 40 rykker mindre. I lærer stadig, men forbedringerne er mindre. Der er færre åbenlyse muligheder.
Fra test 40 og frem: mulighederne er små. Forbedringerne er bittesmå. Det er helt normalt.
Løsningen
Læs ikke aftagende udbytte som en fiasko. Læs det som modenhed. Når udbyttet aftager, så skift fokus. I stedet for bred test kan du teste på nye områder. Nye produkter. Nye segmenter. Nye markeder.
Sådan holder testprogrammet på lang sigt
Risikoen
Testprogrammet kører stærkt i seks måneder. Så går det langsommere. Folk får travlt. Test bliver nedprioriteret. Programmet visner.
Sådan holder du det i live
Et holdbart program kræver vedvarende forpligtelse. Kræver ressourcer. Kræver ejerskab. Afsæt budget til testværktøjer. Afsæt budget til en testansvarlig. Byg test ind i årets mål.
Hvis test er en årlig prioritet, bliver der testet. Hvis test er en bonus, stopper det.
Ofte stillede spørgsmål
Hvordan overbeviser jeg skeptiske kolleger om, at test virker?
Vis dem én test. Kør en enkel test på et element med meget trafik. Få resultaterne. Vis den forbedring, der vandt. Vis effekten på omsætningen. Én vellykket test vinder skeptikerne. Resultater taler højere end ord. Eksempel: kør en test af knapfarve. Vis resultaterne: blå knap 9 procent konvertering, rød knap 8,5 procent konvertering. Det er en forbedring på otte procent. Regn effekten ud: hvis hjemmesiden får 10.000 besøgende om måneden, og to procent konverterer, er det 200 konverteringer om måneden. En forbedring på otte procent er 16 ekstra konverteringer om måneden. Hvis den gennemsnitlige ordreværdi er 100 dollars, er det 1.600 dollars ekstra omsætning om måneden. 19.000 dollars om året. Vis det til den skeptiske kollega. Skepsissen forsvinder, når der er penge i det. Med WEMASY's hjemmesidebygger kan du sætte det op direkte på din hjemmeside.
Skal vi udskyde test, hvis vi har travlt med projekter?
Nej. Test skal være en del af projektleverancen. Hver ændring i et projekt bliver testet, før den indføres. Test tager ikke ekstra tid, hvis det er bygget ind i processen. Det forhindrer, at I indfører ting, der ikke virker. Eksempel: I lancerer et nyt kasseflow. Uden test: indfør, lancér, opdag at 90 procent af de besøgende bliver forvirrede, rul tilbage, ret, lancér igen. Tre uger i alt. Med test: test det nye flow i en uge før lanceringen, find problemerne, ret dem, og lancér et flow, I kan stole på. To uger i alt. Test sparer tid, fordi det forhindrer dårlige lanceringer. Byg test ind i tidsplanen fra start og ikke som en eftertanke.
Hvor ofte skal vi tage gamle testresultater op igen?
Tag dem op igen, når forholdene ændrer sig. En ny sæson. En ny konkurrent. En stor ændring i virksomheden. Ellers gælder hvert testresultat for sin periode. Der er ingen grund til at teste igen og igen. Eksempel: I testede et tilbud i januar. Pengene-tilbage-garanti slog ti procent rabat. I indførte garantien. Nu er det juli, og en konkurrent lancerer en pengene-tilbage-garanti. Din fordel forsvinder. Skal I teste tilbuddet igen? Måske. Konkurrentens træk ændrede markedet. Jeres vinder er måske ikke længere relevant. Sæsonbestemte genbesøg: test tilbud i Black Friday-perioden. Resultaterne kan være anderledes i juli, når købsadfærden er en anden. Test tilbuddene igen i juli. Resultaterne styrer jeres strategi for juli.
Skal vi teste for vores gennemsnitlige besøgende eller for et bestemt segment?
Start med den gennemsnitlige besøgende. Find udgangspunktet. Gå derefter videre til segmenter. Hvis du kun optimerer for ét segment, lider de samlede resultater. Eksempel: du optimerer kun til mobil, fordi mobiltrafikken er størst. Udgangspunktet på desktop er ti procent. Udgangspunktet på mobil er syv procent. Du optimerer til mobil, og mobil springer otte procent op. Men desktop falder til ni procent, fordi ændringerne ikke virker på desktop. Du vandt på mobil, men skadede desktop. Samlet set tabte du terræn. Test bredt først for at forstå den generelle effekt. Test så segmenter for at optimere pr. segment.
Hvordan holder vi gejsten oppe, hvis testene bliver ved med at tabe?
Tabende tests lærer dig, hvad der ikke virker. Værdifulde data. Vindende tests kommer. Bliv ved med at teste. Byg videre på det, du lærer af tabene. Eksempel: test fem overskrifter. Tre taber til den nuværende overskrift. To vinder. Sejrene fortæller dig, hvad der virker. Tabene fortæller dig, hvad publikum ikke reagerer på. Nu ved du, at "hurtig"-budskaber taber (folk kan ikke lide pres). Du ved, at budskaber med en konkret fordel vinder (folk kan lide klarhed). Næste test bygger på den læring. Test endnu mere konkrete fordele. Tests bygger oven på hinanden. Tabende tests er ikke fiaskoer. De er datapunkter.
Hvad gør vi, hvis test viser, at hele vores tilgang er forkert?
Fejr det. Du har lært noget værdifuldt. Skift nu retning. Det er bedre at lære det af test end af et tavst tab i omsætningen. Eksempel: du tror, at din målgruppe vil have et premiumprodukt. Testen viser, at målgruppen foretrækker budgetmuligheden. Din premiumpositionering var forkert. Her er der grund til at fejre: du har lige lært noget, der ville have kostet dig penge i årevis, hvis du ikke havde testet. Nu kan du justere strategien. Skift budskab til noget prisvenligt. Test den nye positionering. Det er bedre at opdage det ved et tab på 50.000 dollars i omsætning end ved et tab på 5 millioner.