Apache Airflow er et populært open-source rammeverk for ETL prosessering og orkestrering av batchjobber. Kurset gir en innføring i de grunnleggende konsepter i Airflow.
Gjennom mange små øvelser får deltakerne praktisk erfaring, og lærer hvordan man bygger en fullverdig batchjobb, deployer og overvåker den.
Kurset skal innom:
motivasjon for airflow
nøkkelkonsepter som dag runs, task instances, task groups, operators, hooks
schedulering og “dataintervall” konseptet
kjeding av tasker med task-groups og xcoms
jinja-templates
jobbing med database connections
best practices for drift
Kurset ble etablert i mars 2023 og inkluderer også nyere konsepter som TaskFlow API og datasettbasert trigging.
Praktisk informasjon:
Kurset retter seg mot sluttbruker. Litt python kunnskaper er hjelpsome – ellers er ingen forkunnskaper nødvendig. For de praktiske øvelser trenger du kun en laptop med en webbrowser. Vi skal utvikle og kjøre airflow- prosjektet i skyen og kursmaterialet blir gjort tilgjengelig via en webløsning. Kursspråket er norsk eller engelsk.
Dette kurset leveres som bedriftsinternt kurs. Varighet: 6 timer. (Etter forhåndsavtale kan de praktiske øvelser tilpasses til kundens behov).