Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Εισαγωγή στο Apache Airflow
- Τι είναι το workflow orchestration
- Βασικές προσδοκίες και πλεονεκτικά του Apache Airflow
- Βελτιώσεις και επισκόπηση του οικοσυστήματος στο Airflow 2.x
Αρχιτεκτονική και βασικά πρωτότυπα
- Scheduler, web server και worker processes
- DAGs (Directed Acyclic Graphs), tasks και operators
- Executors και backends (Local, Celery, Kubernetes)
Εγκατάσταση και ρύθμιση
- Εγκατάσταση του Airflow σε τοπικά και cloud περιβάλλοντα
- Ρύθμιση του Airflow με διάφορους executors
- Ρύθμιση βάσεων μεταδότησης και συνδέσεων
Πλοήγηση στο UI και CLI του Airflow
- Εξερεύνηση του web interface του Airflow
- Παρακολούθηση λειτουργιών DAG, tasks και logs
- Χρήση του CLI του Airflow για διοίκηση
Δημιουργία και διαχείριση DAGs
- Δημιουργία DAGs με το TaskFlow API
- Χρήση operators, sensors και hooks
- Διαχείριση εξαρτήσεων και περιόδων προγραμματισμού
Συμπεριφορά του Airflow με δεδομένα και cloud services
- Σύνδεση με βάσεις δεδομένων, APIs και message queues
- Εκτέλεση ETL pipelines με το Airflow
- Cloud integrations: AWS, GCP, Azure operators
Παρακολούθηση και παρατήρηση
- Task logs και real-time monitoring
- Metrics με Prometheus και Grafana
- Alerting και notifications με email ή Slack
Διασφάλιση του Apache Airflow
- Role-based access control (RBAC)
- Authentication με LDAP, OAuth και SSO
- Secrets management με Vault και cloud secret stores
Εξατομικοποίηση του Apache Airflow
- Parallelism, concurrency και task queues
- Χρήση CeleryExecutor και KubernetesExecutor
- Εφαρμογή του Airflow σε Kubernetes με Helm
Καλές πρακτικές για production
- Version control και CI/CD για DAGs
- Δοκιμασία και debugging των DAGs
- Συντήρηση αξιολογητότητας και επιδόσεως σε μεγάλη κλίμακα
Εξώδυνωση προβλημάτων και βελτιστοποίηση
- Debugging αποτυχημένων DAGs και tasks
- Βελτιστοποίηση επιδόσεως των DAGs
- Κοινά παραποιήματα και πώς να αποφευχθούν
Περίληψη και επόμενα βήματα
Απαιτήσεις
- Έμπειρη εργασία με το πρόγραμμα Python
- Γνωριμία με συνειδητές δεδομένων ή αρχές DevOps
- Κατανόηση του ETL (Extract, Transform, Load) ή χειρισμού προϊόντων
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί συνειδητών δεδομένων
- Μηχανικοί DevOps και υποδομής
- Εφαρμογογράφοι λογισμικού
21 Ώρες
Σχόλια (7)
The training was spot on. Very useful theory and exercices.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
