Trin et: skriv en hypotese med konkrete detaljer
En vag hypotese fejler
Ikke: at ændre kassen forbedrer konverteringen.
En konkret hypotese vinder
Bedre: vi tror, at det vil øge antallet af gennemførte køb med mindst tre procent, hvis vi gør kassen enklere fra en proces i fem trin til en formular på én side, fordi kunder dropper fra, når formularen føles lang.
En hypotese bør sige. Hvad du ændrer. Hvorfor du tror, at det hjælper. Hvilket tal du forventer at forbedre. Og med hvor meget.
En vag hypotese giver vage resultater. En konkret hypotese kan testes.
Trin to: find stikprøvestørrelsen, før du starter
Regnestykket tæller
Hvor mange besøgende skal du bruge for at se en reel forskel.
Formel. Du skal bruge mindst fem hundrede konverteringer pr. variant. Altså tusind i alt, hvis du tester to versioner.
Beregn, hvor længe testen varer
Hvis du konverterer med to procent og får to tusind besøgende om måneden, får du fyrre konverteringer om måneden. Der går tolv måneder, før du når fem hundrede konverteringer. Testen bliver ikke færdig i tide.
Hvis du konverterer med ti procent og får fem tusind besøgende om måneden, får du fem hundrede konverteringer om måneden. Der går to måneder, før du når tusind. Testen bliver hurtigt færdig.
Kend tidsplanen på forhånd
Hjemmesider med lav konverteringsrate skal bruge længere tests. Hjemmesider med høj konvertering bliver hurtigere færdige.
Brug en lommeregner til stikprøvestørrelse. Skriv din konverteringsrate og din trafik ind. Lommeregneren fortæller, hvor længe testen tager.
Hvis testen tager mere end tre måneder, så overvej. Er ændringen værd at vente tre måneder på. Eller skal vi teste noget andet, der bliver hurtigere færdigt.
Trin tre: vælg, hvordan trafikken fordeles
Halvt og halvt er standarden
Giv halvtreds procent til kontrolversionen. Halvtreds procent til varianten.
Forsigtig fordeling gør resultaterne langsommere
Nogle fordeler halvfems og ti. Halvfems procent til den nuværende gode version, ti procent til den nye version, de er usikre på. Det er forsigtigt, men det gør testen langsommere.
Halvt og halvt er standarden. Hurtigste resultater.
Trin fire: bestem testens længde, før du kører den
Bind dig til en tidsplan
Mindst en uge. To uger er standard. En måned til hjemmesider med meget høj trafik.
Bestem ikke længden under testen. Bestem den før. Skriv den ned. Hold fast i den.
At kigge for tidligt ødelægger tests
At kigge for tidligt ødelægger tests. Du tjekker resultaterne efter en uge. Det ser ud til, at varianten vinder. Du stopper testen. Du indfører ændringen. Senere opdager du, at resultaterne ikke var rigtige. Du har indført noget, der i virkeligheden ikke virkede.
Kør hele perioden.
Trin fem: lav ændringen i varianten
Kun én ændring
Kun én ændring. Ikke flere ændringer.
Hvis du tester en enklere kasse, så gør formularen enklere. Lad være med at ændre farve, tekst og layout på samme tid. Én variabel ad gangen.
Gør den tydelig
Ændringen skal være tydelig. De besøgende skal kunne mærke forskellen. Hvis ændringen er så lille, at de besøgende ikke ser den, virker testen ikke.
Trin seks: sæt testen op i værktøjet
Vælg din platform
Brug en testplatform. . . .
Installer og indstil
Forbind den med din hjemmeside. Installer sporingskoden. Det er som regel én linje kode eller et plugin, der skal installeres.
Opret versioner og mål
Opret kontrolversionen. Det er den nuværende version.
Opret variantversionen. Lav din ændring.
Sæt trafikfordelingen. Halvtreds procent til hver.
Sæt længden. To uger eller så længe, som du kom frem til.
Sæt succesmålet. Hvad måler du. Gennemført kasse. Indsendt formular. Scroll på siden.
Trin syv: lad den køre uden at kigge
Stå imod trangen
Det er svært. Stå imod trangen til at tjekke resultaterne.
Resultater efter få dage siger ingenting. Tilfældige udsving er store med en lille stikprøve. Du vil se resultater, der forsvinder senere.
Sæt en påmindelse i kalenderen
Tjek resultaterne præcis på slutdatoen. Ikke før.
Sæt en kalenderpåmindelse til testens slutdato. Tjek så.
Trin otte: analyser resultaterne rigtigt
Led efter statistisk signifikans
Testen er færdig. Du ser på resultaterne. Varianten konverterede med elleve procent. Kontrolversionen med ti procent. Varianten er bedre. Ikke sandt.
Men var det statistisk signifikant. Er det virkeligt eller held.
Se på konfidensinterval eller p-værdi. Der skal være over femoghalvfems procent konfidens eller en p-værdi under nul komma nul fem.
Hvad statistisk signifikans betyder
Hvis statistisk signifikans siger ja, er resultatet reelt. Indfør varianten.
Hvis statistisk signifikans siger nej, er resultatet uklart. Det kan være held. Det kan være reelt, men have brug for mere tid. Kør testen længere eller prøv en anden ændring.
Trin ni: indfør og dokumenter
Hvis varianten vinder
Hvis varianten vinder, så indfør den for fast.
Dokumenter, hvad du lærte. Hvorfor du troede, at det ville virke. Hvad der skete. Hvad du tester næste gang.
Byg en håndbog. Med tiden viser der sig mønstre. Du lærer, hvad der virker for din målgruppe.
Hvis kontrolversionen vinder
Hvis kontrolversionen vinder, så rul ændringen tilbage.
Dokumenter, hvorfor kontrolversionen vandt. Måske var din hypotese forkert. Måske var ændringen ikke tydelig nok. Måske brød målgruppen sig ikke om ændringen.
En test, du taber, er stadig læring.
Almindelige fejl ved den første test
At køre testen for kort
Efter en uge er du utålmodig. Du stopper. Resultaterne er ikke reelle endnu.
At teste flere ændringer
Du ændrede formularen og knappen og teksten. Formularen vinder, men var det formularen eller knappen. Nu ved du det ikke.
Intet krav om signifikans
Varianten er en procent bedre. Det kan være held. Du indfører den. Senere holder det ikke.
At teste på alle
Du er nervøs for ændringen. Du tester på halvfems procent nuværende og ti procent nyt. Testen tager en evighed.
At lade være med at binde sig til at indføre resultatet
Testen er færdig. Varianten vinder. Du siger, at vi indfører den senere. Det gør du aldrig. Testen skabte ingen værdi.
Det, der adskiller vinderne fra alle andre
Ikke klogere test
Ikke klogere test. Ensartet test.
Vindermønstret
Vindervirksomheder kører en test. Resultaterne kommer ind. De indfører dem med det samme. De kører den næste test.
De binder sig til et testprogram. Ikke enkeltstående tests. Løbende test. Måned efter måned.
De bygger intern viden op. Efter halvtreds tests kender de deres målgruppe. De ved, hvad der virker. De ved, hvad der ikke gør. De bevæger sig hurtigere end konkurrenterne.
Sammensat vækst
Test én gang, og der sker ikke noget. Test halvtreds gange, og alt ændrer sig.
Ofte stillede spørgsmål
Hvad hvis jeg opdager, at testen er gået i stykker halvvejs. For eksempel at sporingen er holdt op med at virke. Skal jeg starte forfra?
Ja. En ødelagt test er ubrugelig. Start forfra. Hvis sporingen er i stykker, har du ikke rigtige data. Derfor tjekker du testen af og til (ikke besat, men mindst én gang). Fang fejl tidligt. Med WEMASYs hjemmesidebyggeren kan du sætte det op direkte på din hjemmeside.
Kan jeg ændre min hypotese, mens testen kører, hvis der kommer ny information?
Nej. Skriv hypotesen, før testen starter. Hold fast i den. Hvis hypotesen virker forkert midtvejs, så skriv det ned. Men afslut testen med den oprindelige hypotese. Kør en ny test med en ny hypotese bagefter.
Hvis varianten tydeligvis er værre, kan jeg så stoppe testen tidligt?
Kun hvis den ødelægger noget. Hvis varianten giver fejl, så stop. Ellers nej. Selv hvis den taber med stor margin, så kør hele perioden. Find ud af, hvorfor den tabte. Brug den læring.
Hvad gør jeg, hvis statistisk signifikans siger nej, men jeg tror, at resultatet er reelt?
Kør testen igen. Samme ændring. Men med længere varighed eller mere trafik. Hvis resultatet er reelt, dukker det op igen. Hvis ikke, tog din mavefornemmelse fejl, og regnestykket havde ret.
Hvordan ved jeg, hvilken variant der er kontrolversionen, og hvilken der er varianten, i resultaterne?
Dit testværktøj mærker dem. Sørg for at vide, hvilken der er hvilken, før du starter. Tag et skærmbillede. Kontrolversionen er version A. Varianten er version B. Når resultaterne kommer ind, så slå op i dine noter.
Skal jeg fortælle min chef, at jeg kører tests, eller bare vise resultaterne?
Fortæl det. Så forstår hun, at test tager tid. Sæt forventninger. Testen tager to uger. Hvis varianten vinder, indfører vi den. Hvis ikke, prøver vi noget andet. Åbenhed forhindrer en overraskelse, hvis du ikke indfører en ændring, hun forventede.