Tilskrivning fortæller dig, hvilken kanal der får æren for en konvertering. Men skaber kanalen faktisk konverteringen, eller var den sket alligevel? Inkrementalitetstest giver svaret med et forsøg: vis kanalen til nogle brugere (testgruppen), skjul den for andre (kontrolgruppen), og mål forskellen i konverteringsrate. Forskellen er den reelle, ekstra effekt. Dette kapitel handler om inkrementalitetstest, og hvornår du skal bruge dem.
Tilskrivning mod inkrementalitet
Tilskrivning: af dem, der konverterede, hvilken kanal ramte dem sidst? Let at måle, men det beviser ikke årsagen.
Inkrementalitet: hvis vi fjerner denne kanal helt, hvor meget omsætning mister vi så? Det beviser årsagen og måler den reelle effekt.
Eksempel: 100 personer konverterede. Med sidste klik får Google Ads æren for 60. Men en inkrementalitetstest viser: hvis vi ikke havde kørt Google Ads, ville 50 af de 60 stadig have konverteret (via andre kanaler). Den reelle effekt af Google Ads er 10 konverteringer, ikke 60.
Typer af inkrementalitetstest
Geografisk test
Kør annoncer i nogle områder (testgruppe), men ikke i andre (kontrolgruppe). Sammenlign konverteringsrater. Eksempel: kør Google Ads i København (testgruppe), men ikke i Aarhus (kontrolgruppe). Hvis København har en højere konverteringsrate, har annoncerne en reel effekt.
Fordel: enkel og hurtig. Ulempe: forskelle mellem områderne kan forvride resultatet (København er rigere, så konverteringsraten bliver højere).
Holdout-grupper
Vis annoncer til alle undtagen en tilfældig gruppe på 10 % (kontrolgruppen). Sammenlign konverteringsrater: brugere, der har set annoncen, mod holdout-brugere. Forskellen er inkrementaliteten.
Fordel: præcis og tager højde for forstyrrende faktorer. Ulempe: kræver et stort budget (vi målretter ikke mod 10 % af vores målgruppe for at måle effekten).
Test over tid
Kør annoncer i nogle perioder (testgruppe), men ikke i andre (kontrolgruppe). Eksempel: kør betalt søgning mandag til torsdag, men ikke fredag til søndag. Sammenlign konverteringsrater. Hvis mandag til torsdag er højere, har annoncerne en reel effekt.
Fordel: enkel. Ulempe: ugedage forvrider resultatet (weekender konverterer naturligt lavere).
Sådan kører du en inkrementalitetstest
Trin 1: Formuler en hypotese. "Google Ads skaber ekstra konverteringer ud over det normale niveau."
Trin 2: Vælg testtype. Holdout-grupper er mest præcise. Brug dem, hvis budgettet rækker.
Trin 3: Dimensionér din test. Du skal bruge nok data til at se forskellen. Er din normale konverteringsrate 5 %, og vil du se en stigning på 2 %, skal du bruge cirka 10.000 pr. gruppe. Spørg en statistiker eller brug en styrkeberegner (power calculator).
Trin 4: Kør testen i 2 til 4 uger. Længere tests dæmper udsving fra dag til dag.
Trin 5: Analyser resultaterne. Er forskellen statistisk signifikant? (p < 0,05). Hvis ja, har du bevist inkrementaliteten.
Udfordringer ved inkrementalitetstest
Pris: holdout-grupper betyder, at du med vilje mister omsætning (vi målretter ikke mod 10 % af vores målgruppe). Det er kun værd for kanaler med højt forbrug, hvor indsigten er værdifuld.
Kannibalisering: hvis en bruger ikke ser din annonce, bruger vedkommende måske organisk søgning eller direkte trafik i stedet. Inkrementalitet fanger det (det er med i kontrolgruppens adfærd).
Langsigtede effekter: annoncer kan give en brandeffekt, der først viser sig efter dage eller uger. De fleste tests er kortsigtede og overser de langsigtede effekter.
Hvordan beslutter jeg, om jeg skal køre en inkrementalitetstest?
Inkrementalitet er dyrt (holdout koster penge). Kør tests for kanaler med højt forbrug (Google Ads, Facebook Ads), hvor tilskrivningen er uklar, og hvor du tager store budgetbeslutninger. Test ikke små kanaler, hvor tilskrivningen er klar. Budget: $10k-50k+ pr. test. Gem det til de spørgsmål, der betyder mest.
Hvor stor en stikprøve skal jeg bruge til en inkrementalitetstest?
Det afhænger af din normale konverteringsrate og den stigning, du vil kunne se. Tommelfingerregel: 5.000 til 10.000 pr. gruppe (kontrol og test). Er din normale rate 5 %, og vil du se en stigning på 2 % (ny rate 7 %), skal du bruge cirka 10.000 pr. gruppe. Brug en styrkeberegner (søg efter 'statistical power calculator') for at få det præcise tal i dit tilfælde.
Hvor længe skal jeg køre en inkrementalitetstest?
Mindst 2 til 4 uger (så udsving fra dag til dag jævnes ud). 4 til 8 uger er bedre (så du fanger ugentlige mønstre). Længere tests koster mere, men er mere pålidelige. Har du en salgscyklus på 30 dage, skal testen køre i mindst 30 dage, så den dækker hele cyklussen.
Kan jeg bruge inkrementalitetstest til at måle samspil mellem kanaler (hvordan én kanal hjælper en anden)?
Ja, men det er mere komplekst. Testopsætning: (1) kontrol (ingen kanaler), (2) test A (kun kanal A), (3) test B (kun kanal B), (4) test A+B (begge kanaler). Sammenlign resultaterne. Hvis A+B > A + B, er der synergi. Det kræver større stikprøver og mere kompleks analyse.
Hvad er forskellen på en holdout-gruppe og en kontrolgruppe i en test?
Holdout: en del af din kundebase, der med vilje ikke ser kanalen. Kontrolgruppe: i et forsøg den gruppe, der ikke får behandlingen (til sammenligning). Samme idé, forskellige ord. Holdout er vedvarende (en holdout-gruppe, der løber hele tiden). Kontrolgruppen er til en bestemt testperiode.
Hvordan præsenterer jeg resultaterne af en inkrementalitetstest for ledelsen?
Vis: normal konvertering (5 %), testkonvertering (6 %), stigning (1 procentpoint, 20 % relativ stigning). Vis konfidensintervallet: stigningen er 0,5 til 1,5 procentpoint (vi er sikre på dette interval). Konsekvens for budgettet: hvis inkrementaliteten er 20 % lavere end tilskrivningen påstod, skal du genberegne ROI. Det retfærdiggør testens pris med bedre beslutninger.