Modern data engineering¶
In questo percorso di due incontri vedremo insieme a Davide Airaghi e Andrea Guzzo qual e' lo stato dell'arte del data engineering con un excursus sulle architetture e su un tool open source per poter orchestrare flussi di dati: Apache Airflow. Nella seconda parte viene presentato un progetto sviluppato da loro con una architettura completamente open source che replica le caratteristiche di una soluzione moderna di data engineering.
Struttura del percorso¶
- Stato dell'arte e Apache Airflow
- Progetto con Apache Airflow e Straemlit