Din konverteringsrate falder 15 % tirsdag. Du opdager det først torsdag, da du tjekker dit dashboard. To dages tabt omsætning, og du ved stadig ikke hvorfor. Et system til registrering af afvigelser ville have givet dig besked onsdag morgen: "Konvertering ned 15 % i går, mobilkassen er ramt." Nu undersøger du det med det samme. Du finder ud af, at en udrulning ødelagde mobilbetalingen. Du retter det samme eftermiddag. Registrering af afvigelser er forskellen på at finde problemer flere dage senere og at finde dem få timer senere.
Registrering af afvigelser er et system, der løbende holder øje med dine nøgletal og giver dig besked, når noget usædvanligt sker. Det venter ikke på, at du tjekker dashboardet. Det kender din basislinje (hvordan "normalt" ser ud), sammenligner hver dag med den og markerer afvigelser. Et spring i trafikken, et fald i konverteringen, faldende engagement: Det bliver fanget automatisk og vist, før det bliver en katastrofe.
Hvad gør registrering af afvigelser egentlig?
Tag et vilkårligt nøgletal, og du ser det samme mønster: Det svinger helt naturligt. Konverteringsraten er aldrig helt den samme hver dag. Trafikken varierer med ugedagen. Mobil konverterer anderledes end computer. Hvis du sætter en alarm ved "konvertering under 2,5 %", får du falske alarmer, fordi konverteringen naturligt dykker til 2,4 % nogle dage. Registrering af afvigelser løser det ved at lære, hvordan normal variation ser ud, og kun give besked, når noget afviger ud over det naturlige udsving.
Systemet lærer din basislinje af historiske data. Det svarer på: Hvad er det forventede interval for det her nøgletal, på den her ugedag, med den her trafikmængde? Onsdagskonverteringen ligger typisk mellem 2,1 % og 2,9 %. Mobilkonverteringen ligger typisk mellem 1,8 % og 2,4 %. Trafik fra e-mail konverterer typisk mellem 4 % og 6 %. Systemet bygger en model af normal adfærd for hver kombination af forhold.
Når et nyt datapunkt kommer ind, sammenligner systemet det med det forventede interval. Ligger dagens konvertering inden for det normale onsdagsinterval? Ja, den er 2,5 %, helt normalt. Ligger morgendagens konvertering inden for det normale torsdagsinterval? Nej, den er 1,2 %, det er en afvigelse. Systemet giver teamet besked. De undersøger det og finder ud af, at mobilkassen gik i stykker. Uden registrering af afvigelser opdager de det fredag eftermiddag. Med den ved de det onsdag morgen.
Forskellige typer afvigelser udløser forskellige alarmer. Et pludseligt spring (trafik 200 % over normalen) bliver markeret. Et pludseligt fald (konvertering 50 % under normalen) bliver markeret. Et gradvist fald (konverteringen glider langsomt ned over en uge) bliver markeret. Et tilbagevendende mønster, der pludselig brydes (mobil konverterer altid 20 % bedre end computer, men i denne uge er de lige gode), bliver markeret. Systemet holder øje med dem alle.
Hvorfor betyder det så meget at fange problemer tidligt?
Se på, hvordan de fleste brands opdager problemer, og du ser mønstret: Man opdager dem bagefter. En kunde skriver og klager over, at kassen ikke virker. Du tjekker dit dashboard og bekræfter det. Eller du opdager torsdag, at mandag var mærkelig, og prøver at finde ud af, hvad der skete. Det er timer eller dages tabt mulighed.
I stor skala løber prisen for forsinkelsen op. En webshop med $1 million i daglig omsætning, der mister 15 % konvertering på grund af en fejl, taber $150.000 om dagen. To dages forsinkelse koster $300.000. Hvis registrering af afvigelser fanger det 6 timer tidligere, sparer du $37.500. En SaaS-virksomhed med 5.000 brugere, der får 2 % ekstra kundeafgang, mister 100 brugere. To ugers forsinkelse betyder 1.400 tabte brugere. Fanger du det med det samme, er det 100. Forskellen er tusindvis af dollar i årlig tilbagevendende omsætning.
Hurtighed påvirker også dit omdømme. Et kundeserviceteam vil gerne vide besked om problemer, før kunderne melder dem. Med registrering af afvigelser kan du skrive til kunderne: "Vi opdagede et problem på din konto onsdag morgen og rettede det samme eftermiddag." Uden den klager kunderne fredag, du siger "vi kigger på det", og de har allerede skiftet til en anden. Der er stor forskel på, om kunderne oplever "vi fandt det selv" eller "du meldte det".
Hurtighed giver også plads til at eksperimentere. Hvis du udruller en ændring og kan se effekten inden for få timer, kan du justere hurtigere. Uden registrering af afvigelser kører du et eksperiment i en uge, tjekker resultaterne og justerer så. Med den kan du se, om en ændring hjalp eller skadede, inden for 24 timer. Den fart løber op over et år.
Hvilke slags afvigelser skal du egentlig fange?
Ikke alle afvigelser er værd at fange. Nogle udsving er forventede. Men nogle betyder noget for forretningsbeslutninger. Nøglen er at sætte registrering af afvigelser op for de nøgletal, hvor en uventet ændring kræver handling med det samme.
Afvigelser, der rammer omsætningen, er førsteprioritet. Faldende konverteringsrate, faldende gennemsnitlig ordreværdi og stigende opgivelse af kassen påvirker direkte omsætningen. Sæt alarm på dem alle. Hvis konverteringen falder 10 %, vil du vide det med det samme, ikke først efter weekenden.
Afvigelser i brugerengagement betyder noget, fordi de forudsiger problemer. Faldende sessionslængde, faldende brug af funktioner og færre logins er tidlige varsler om kundeafgang. Et fald i engagement i denne uge forudsiger et fald i fastholdelse næste måned. Fang det nu, så har du tid til at gribe ind.
Afvigelser i trafikken betyder noget, fordi de afslører problemer med rækkevidde eller kundeerhvervelse. Stigende organisk trafik betyder, at din SEO virker (godt). Faldende organisk trafik betyder, at noget gik galt i søgning (dårligt). Faldende betalt trafik betyder, at dine annoncekampagner klarer sig dårligt (dårligt). Giv besked, når trafikkilder ændrer sig uventet.
Afvigelser i kvalitet betyder noget, fordi de er stille dræbere. Stigende afvisningsprocent betyder, at din side bliver mindre relevant. Faldende sider pr. session betyder, at brugerne finder det, de skal bruge, hurtigere (godt), eller at de ikke kan finde det, de leder efter (dårligt). Stigende fejl i sessioner betyder, at siden går i stykker. Det er usynligt, hvis du ikke holder tæt øje.
Hvordan sætter du registrering af afvigelser op uden falske alarmer?
Spørg et analyseteam om falske alarmer, og du hører den samme klage: alarmtræthed. Hvis hvert lille udsving udløser en alarm, holder teamet op med at læse dem. De bliver afstumpede. Rigtige problemer drukner i støjen. Nøglen til god registrering af afvigelser er at sætte grænser, der fanger rigtige problemer og ignorerer naturlig variation.
Start med de nøgletal, der betyder mest for din forretning. Ikke alle nøgletal behøver registrering af afvigelser. Fokuser på omsætning (konvertering, ordreværdi, kundeafgang), brugernes sundhed (engagement, fastholdelse, brug af funktioner) og systemets sundhed (fejl, svartid, oppetid). Det er dem, der kræver handling med det samme, hvis de ændrer sig.
Sæt følsomheden efter, hvor meget nøgletallet svinger. Nogle nøgletal svinger meget af sig selv. Trafikken hopper fra dag til dag. Sæt grænserne så brede, at de kan rumme det naturlige udsving. For konverteringsraten kan en afvigelse på 20 % være normal, så markér først, hvis den afviger 30 % eller mere. For omsætning kan en afvigelse på 5 % være normal. For engagement kan en afvigelse på 15 % være normal. Grænserne afhænger af dine historiske data.
Byg kontekst ind. Ugedagen betyder noget. Lørdag har normalt andre mønstre end onsdag. Helligdage har andre mønstre end almindelige dage. Registrering af afvigelser bør tage højde for det. "Konvertering under 1,5 % en søndag" kan være normalt. "Konvertering under 1,5 % en onsdag" er en afvigelse. Gode systemer lærer de mønstre automatisk.
Start forsigtigt og stram til over tid. Hvis du er usikker på grænserne, så sæt dem bredt. Det er bedre at misse nogle afvigelser end at oversvømme teamet med falske alarmer. Når du får tillid til systemet, og teamet er vant til at læse alarmerne, kan du stramme grænserne og fange mindre afvigelser.
Hvad er grænserne for registrering af afvigelser?
Registrering af afvigelser finder afvigelser fra det normale. Men "normalt" er, hvad dine historiske data siger er normalt. Hvis dine data er forkerte eller skæve, overser systemet rigtige problemer eller markerer ting, der ikke er problemer. Hvis du havde en fejl i tre måneder, der kunstigt pustede din konverteringsrate op, lærte systemet den oppustede rate som "normal". Når du retter fejlen, falder konverteringen til det sande normale niveau, og systemet markerer det som en afvigelse.
Registrering af afvigelser forklarer ikke årsagen. Den fortæller, at noget ændrede sig. Den fortæller ikke hvorfor. Hvis konverteringen faldt, skal du stadig undersøge det. Er det et teknisk problem? En ændring i markedet? Et træk fra en konkurrent? Konkurrence fra en ny aktør? Registrering af afvigelser viser problemet. At finde årsagen er stadig menneskearbejde.
Registrering af afvigelser virker ikke godt i meget lille skala. Hvis du har 100 besøgende om dagen, er den tilfældige variation enorm. Hver dag ser afvigende ud i forhold til de andre. Registrering af afvigelser virker bedst i større skala, hvor mønstrene er stabile. En SaaS-virksomhed med 50.000 brugere om måneden har rene, stabile mønstre. En med 500 brugere om måneden har for meget støj.
Gradvise ændringer kan skjule sig for registrering af afvigelser. Hvis konverteringen langsomt falder (ned 0,5 % om ugen), markerer systemet det måske ikke, fordi hver uge kun afviger lidt fra ugen før. Du opdager det måske først, når du er nede på 10 % i alt. For at fange gradvis forværring har du brug for trendanalyse ud over registrering af afvigelser på et enkelt tidspunkt.
Hvad er forskellen på registrering af afvigelser og alarmer?
Alarmer er regler, du sætter manuelt (konvertering under 2 %, omsætning under X). Registrering af afvigelser lærer basislinjen automatisk (alt, der afviger 3 standardafvigelser fra det normale). Alarmer kræver, at du ved, hvad der er normalt, og hvornår du skal reagere. Registrering af afvigelser lærer, hvad der er normalt, ud fra dine data. Registrering af afvigelser er bedst til at fange uventede problemer. Alarmer er bedst til at overvåge kendte grænser.
Har alle analytics-platforme registrering af afvigelser?
Nej. Google Analytics har nogle basale beskeder om afvigelser. Platforme til produktanalyse har registrering af afvigelser. BI-værktøjer kan sættes op til det. Men ikke alle platforme har det med. Før du vælger et analytics-værktøj, så tjek, om registrering af afvigelser er med, hvor følsomme grænserne er, og om du kan tilpasse dem.
Hvor mange falske alarmer skal jeg forvente?
Hvis det er sat rigtigt op, bør andelen af falske alarmer være under 5 % af alarmerne. De fleste bør være reelle afvigelser, der er værd at undersøge. Hvis du får over 20 falske alarmer om dagen, er grænserne for følsomme. Hvis du får nul alarmer om måneden, er grænserne for brede. Finjustér grænserne ved at følge, hvilke alarmer der førte til reelle fund, og hvilke der var støj.
Kan registrering af afvigelser fange svindel?
Delvist. Hvis svindel skaber usædvanlige mønstre (stigning i refunderinger, afvigelser i geografi, usædvanlige betalingsmetoder), kan registrering af afvigelser markere det. Men svindelkontrol kræver særlige regler (samme kreditkort brugt flere gange, hastighedstjek, geografiske uoverensstemmelser). Brug registrering af afvigelser til generel mønstergenkendelse. Brug svindelkontrol til mønstre, der er specifikke for svindel.
Hvor mange historiske data skal jeg have, før registrering af afvigelser virker?
De fleste systemer har brug for 2-4 ugers data som basislinje for at begynde at lære mønstre. En måned er bedre. Efter et kvartals data er modellen ret præcis. Efter et år er den meget præcis (den forstår sæsonmønstre). Hvis du sætter registrering af afvigelser op på en helt ny side, så regn med mange falske alarmer den første måned, mens systemet lærer din basislinje.
Skal jeg handle på hver eneste alarm om afvigelser?
Ikke nødvendigvis. Nogle afvigelser er forventede (stor omtale i pressen, en ny konkurrent, sæsoneffekt, en stor marketingkampagne). Når du får en alarm, så spørg først: Ændrede noget udefra sig? Hvis ja, er afvigelsen forventet og ikke et problem. Hvis nej, så undersøg den. Med tiden lærer du, hvilke alarmer der er signal (rigtige problemer), og hvilke der er støj.