Et datavarehus er en central database, hvor al din data (analytics, kunderegister, annoncer, e-mail og salg) løber ind. I stedet for at koble værktøjerne parvis sender alle værktøjer data til varehuset. Varehuset bliver den ene kilde til sandheden. Rapportværktøjer og teams henter fra varehuset, ikke fra de enkelte værktøjer. Det fjerner siloer og gør det muligt at lave komplekse analyser på tværs af værktøjer. Dette kapitel handler om, hvornår og hvordan du bygger et datavarehus.
Hvad et datavarehus er og gør
Et datavarehus består af: (1) en central database (BigQuery eller en tilsvarende tjeneste), (2) datastrømme, der flytter data fra værktøjerne til varehuset, (3) skemaer, der organiserer data ens, og (4) et adgangslag, hvor analytikere og værktøjer stiller spørgsmål til varehuset.
Fordele: én kilde til sandheden, fleksible forespørgsler (du er ikke bundet til et værktøjs faste rapporter), historiske data bliver gemt, billigere i stor skala (billigere end at betale hvert værktøj for lagring) og mulighed for avanceret analyse (maskinlæring, forudsigelser).
Opbygningen af et datavarehus
Rålaget: en præcis kopi af data fra kildesystemerne. Ingen ændringer. Bevarer de oprindelige data, hvis du får brug for at behandle dem igen.
Mellemlaget: data bliver renset, dubletter fjernet og alt valideret. Uens data bliver rettet. Data er nu ens, men endnu ikke klar til analyse.
Analyselaget: data bliver lavet om til tabeller, der er bygget til analyse. Eksempler: faktatabeller (konverteringer med nøgler til andre dimensioner) og dimensionstabeller (kunder, produkter, kampagner). Det er dem, analytikerne stiller spørgsmål til.
Sådan sætter du et datavarehus op
Trin 1: Vælg din platform til varehuset.
BigQuery (Google): enkel og god til de fleste virksomheder. Du betaler pr. GB, du søger i.
Store skytjenester til datavarehuse: kraftfulde og dyre, gode til store virksomheder med komplekse behov.
Skybaserede varehuse hos store cloududbydere: kraftfulde og ofte billigere i meget stor skala.
En gratis, åben relationsdatabase: gratis og egnet til små til mellemstore datamængder.
Trin 2: Hent data ud af dine værktøjer.
Brug ETL-værktøjer (Extract-Transform-Load). De forbinder til dine kildesystemer og kopierer data til varehuset automatisk (dagligt, hver time eller i realtid).
Trin 3: Design dit skema.
Bestem tabeller og relationer: kundetabel, ordretabel, ordrelinjetabel og kampagnetabel. Hvordan hænger de sammen? Det design afgør, hvilke spørgsmål du kan besvare effektivt.
Trin 4: Sæt adgang og regler op.
Hvem må stille spørgsmål til varehuset? Har de adgang til al data eller kun deres egen afdelings data? Sæt rettigheder. Beskriv skemaet, så analytikerne ved, hvad data betyder. Hold øje med forespørgslerne, så det kører hurtigt.
Hvornår du skal bygge et datavarehus
For tidligt: 1-2 værktøjer og et team på 3. Det er for meget besvær.
Det rigtige tidspunkt: 5 eller flere værktøjer, et team på 5 eller flere, og du stiller jævnligt komplekse spørgsmål på tværs af værktøjer. Prisen for varehuset kan forsvares med den tid, du sparer, og den indsigt, du får.
Nødvendigt: 10 eller flere værktøjer, et team på 10 eller flere og en kultur, hvor data styrer beslutningerne. Varehuset er nødvendig infrastruktur.
Udfordringer ved at indføre et datavarehus
Kompleksitet: datavarehuse er teknisk komplicerede. Du skal bruge dataingeniører til at vedligeholde dem. Det er svært at finde dem for små virksomheder.
Datakvalitet: skidt ind giver skidt ud. Dårlig data i varehuset giver dårlig indsigt. Validering og rensning af data er afgørende.
Pris: kan være dyrt (BigQuery kan koste $100-1000 eller mere om måneden i stor skala). Du skal optimere og holde styr på forbruget for at kontrollere udgifterne.
Skal jeg bygge et datavarehus eller bruge de indbyggede koblinger i et BI-værktøj?
Koblinger i et BI-værktøj: enkle og hurtige at sætte op (timer), men med begrænset tilpasning. Datavarehus: mere arbejde at sætte op (uger eller måneder), meget fleksibelt og kan vokse. Til 3-4 værktøjer er koblinger i et BI-værktøj nok. Til 5 eller flere værktøjer eller komplekse analyser er et datavarehus det værd. Start med koblinger, og skift til et datavarehus, når du vokser fra dem.
Hvad koster et datavarehus?
BigQuery: omkring $6.25 pr. TB, du søger i. Andre tjenester: typisk $2-4 pr. brugt regneenhed (afhænger af varehusets størrelse) eller $1-4 i timen. Priserne varierer med datamængde og hvor kompleks forespørgslerne er. For de fleste virksomheder: $500-2000 om måneden i stor skala. Mindre virksomheder: $50-500 om måneden. Afsæt penge til dataingeniørernes tid (den dyreste del).
Hvad er forskellen på et datavarehus og en datasø?
Datavarehus: struktureret, renset og lavet til forespørgsler. Datasø: ustruktureret, rå og gemmer alt (billigere). Datavarehuse bruges til analyse. Datasøer bruges til at gemme rå data. Moderne løsning: datasø + datavarehus (rå data i søen, renset data i varehuset). Start med et datavarehus, og skift til en datasø, hvis udgifterne til lagring løber løbsk.
Hvordan sikrer jeg datakvaliteten i mit datavarehus?
Valideringsregler: tjek for dubletter, tomme værdier og værdier uden for det mulige. Test datastrømmene: stemmer det, der flyder ind, med de forventede summer? Kontrollér jævnligt: sammenlign varehusets summer med kildesystemernes summer. Ret forskellene. Skriv afvigelser ned. Giv én person eller ét team ansvaret for datakvaliteten.
Kan jeg stille spørgsmål til mit datavarehus uden at være dataingeniør?
Ja, hvis skemaet er godt designet og beskrevet. Skriv SQL-forespørgsler for at få svar. For folk uden teknisk baggrund: brug BI-værktøjer med færdige dashboards. Til flere spontane spørgsmål: dataingeniører eller analytics-ingeniører skriver SQL. Ansæt en analytics-ingeniør (bindeleddet mellem dataingeniørarbejde og analyse), så flere får adgang.
Hvor ofte skal data opdateres i mit datavarehus?
Dagligt er standard (kører om natten). Realtid er muligt, men dyrt. Til de fleste analyser er dagligt nok. Til dashboards i den daglige drift (salgspipeline) kan hver time eller realtid være nødvendigt. Start med dagligt, og skift kun til hver time, hvis forretningen har brug for det og kan betale for det.