Data pipelines (ETL/ELT)
En data pipeline henter data fra jeres systemer til ét sted efter en fast plan, renser dem og bevarer sporet tilbage til kilden. Ved ETL bliver data formet, før de indlæses. Ved ELT indlæses de rå data først og formes derefter inde i data warehouset. Vi bygger som regel ELT, så de rå data bliver liggende som dokumentation, og alle senere trin kan genopbygges ud fra dem. Pipelines, data warehouse og kode ligger i jeres egen cloud.
Kender I det?
- Hver uge trækker en medarbejder filer ud af webshoppen, banken og økonomisystemet og sætter dem sammen i hånden.
- Når nogen sætter spørgsmålstegn ved et tal, kan ingen vise, hvilket bilag det kommer fra.
- En kilde ændrede sit udtræk, og I opdagede det først i en forkert rapport.
Det får I
- Resultatet
- Pipelines, der kører af sig selv, i kode, I ejer. De opdaterer jeres data warehouse efter en fast plan i Google Cloud (BigQuery) eller Microsoft Azure og Fabric. Efter hver kørsel står en kontrol mellem data og dem, der læser dem.
- Kun læseadgang
- Pipelines læser fra jeres økonomi-, ERP- og lagersystemer, webshops, kortbetalinger, bank og valutakurser. Koden sikrer, at de aldrig skriver tilbage.
- Rå filer gemmes
- Hvert svar fra kilderne gemmes uændret. Bliver et tal sat i tvivl, kan det spores tilbage til den fil, det kom fra.
- Et data warehouse i lag
- Raw som modtaget, staging renset og typet, intermediate med jeres forretningsregler og afstemninger, og core og marts med de tabeller, økonomi rapporterer og bogfører fra.
Hvad vi gør, hvad I gør
| Vi | I |
|---|---|
| Aftaler et kort, skrevet scope for hver kilde med jer: hvad der skal hentes, hvor tit, og hvilke tal der betyder noget. | Giver læseadgang til hver kilde via en med administratorrettigheder. |
| Bygger pipelines, lagene i data warehouset og kontrollerne for hver tabel i jeres cloud-projekt. | Tjekker de første tal mod en rapport, I stoler på. |
| Sætter alarmerne op, så en fejlet kontrol eller en kilde, der har ændret sig, når frem til en person. | Bestemmer, hvem der får alarmerne, og hvem der må læse hvad. |
| Skriver hver ny pipeline med Gathenas agent ud fra dens scope. Koden udrulles fra jeres Git, først når I har godkendt planen. | Gennemgår hver plan og godkender den, før noget ændres. |
Værd at vide
Pipelines er det tydeligste eksempel på arbejde, der bør køre af sig selv. At hente og kontrollere de samme data hver nat er et fast og veldefineret arbejde, så ingen behøver gøre det i hånden: det kører af sig selv, det bliver overvåget, og I tjekker resultatet. Denne side handler om, hvad pipelines er, og hvordan de bygges. Siden om datafundamentet handler om, hvad I får ud af dem.
Jeres spørgsmål
- ETL eller ELT: betyder det noget for os?
- Mest for sporbarheden. Ved ELT ligger de rå data i data warehouset, som de blev modtaget, så et tal kan spores tilbage til dem. Ændres en forretningsregel, genopbygges tabellerne ud fra det rå lag, og kilderne skal ikke hentes igen.
- Hvilke systemer kan I forbinde?
- Systemer med et API eller et filudtræk. I DuffBeauty-casen læser pipelines et lager- og ERP-system, webshops, økonomisystemet, kortbetalinger, bankens kontoudtog og dagens valutakurser.
- Google Cloud eller Microsoft?
- Begge dele, i et Google Cloud-projekt eller en Microsoft-tenant, som I ejer og styrer adgangen til. Vi bygger på Google Cloud med BigQuery eller på Microsoft Azure og Fabric.
- Hvad sker der, når en kørsel fejler?
- Ingen læser data fra kørslen, før kontrollerne er bestået. Kørslen efterlader en kvittering, og alarmen går til den person, I har valgt. Ændrer en kilde sig, giver pipelinen besked i stedet for at gætte.
- Kan vi ændre en pipeline uden jer?
- Ja. Koden, indstillingerne og den agent, der bygger og vedligeholder pipelines, bliver hos jer. I giver den et kort scope, gennemgår dens plan og godkender den, før noget ændres.