Airflow + PySpark
Intro¶
Apache Airflow è ormai il tool open source di orchestrazione più utilizzato e apprezzato nel mondo dati. Lo vediamo all'opera insieme a PySpark in un contesto enterprise legato alla realizzazione di soluzioni AI e data product.
Con Luca Soato, lead data engineer in CARDO AI, esploreremo le features più interessanti e quali sono le best practices per ottenere il massimo da questo strumento.
Materiale¶
📚 AirFlow https://airflow.apache.org/