Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Εισαγωγή στο Apache Airflow
- Τι είναι το workflow orchestration
- Βασικές προσδοκίες και πλεονεκτικά του Apache Airflow
- Βελτιώσεις και επισκόπηση του οικοσυστήματος στο Airflow 2.x
Αρχιτεκτονική και βασικά πρωτότυπα
- Scheduler, web server και worker processes
- DAGs (Directed Acyclic Graphs), tasks και operators
- Executors και backends (Local, Celery, Kubernetes)
Εγκατάσταση και ρύθμιση
- Εγκατάσταση του Airflow σε τοπικά και cloud περιβάλλοντα
- Ρύθμιση του Airflow με διάφορους executors
- Ρύθμιση βάσεων μεταδότησης και συνδέσεων
Πλοήγηση στο UI και CLI του Airflow
- Εξερεύνηση του web interface του Airflow
- Παρακολούθηση λειτουργιών DAG, tasks και logs
- Χρήση του CLI του Airflow για διοίκηση
Δημιουργία και διαχείριση DAGs
- Δημιουργία DAGs με το TaskFlow API
- Χρήση operators, sensors και hooks
- Διαχείριση εξαρτήσεων και περιόδων προγραμματισμού
Συμπεριφορά του Airflow με δεδομένα και cloud services
- Σύνδεση με βάσεις δεδομένων, APIs και message queues
- Εκτέλεση ETL pipelines με το Airflow
- Cloud integrations: AWS, GCP, Azure operators
Παρακολούθηση και παρατήρηση
- Task logs και real-time monitoring
- Metrics με Prometheus και Grafana
- Alerting και notifications με email ή Slack
Διασφάλιση του Apache Airflow
- Role-based access control (RBAC)
- Authentication με LDAP, OAuth και SSO
- Secrets management με Vault και cloud secret stores
Εξατομικοποίηση του Apache Airflow
- Parallelism, concurrency και task queues
- Χρήση CeleryExecutor και KubernetesExecutor
- Εφαρμογή του Airflow σε Kubernetes με Helm
Καλές πρακτικές για production
- Version control και CI/CD για DAGs
- Δοκιμασία και debugging των DAGs
- Συντήρηση αξιολογητότητας και επιδόσεως σε μεγάλη κλίμακα
Εξώδυνωση προβλημάτων και βελτιστοποίηση
- Debugging αποτυχημένων DAGs και tasks
- Βελτιστοποίηση επιδόσεως των DAGs
- Κοινά παραποιήματα και πώς να αποφευχθούν
Περίληψη και επόμενα βήματα
Απαιτήσεις
- Έμπειρη εργασία με το πρόγραμμα Python
- Γνωριμία με συνειδητές δεδομένων ή αρχές DevOps
- Κατανόηση του ETL (Extract, Transform, Load) ή χειρισμού προϊόντων
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί συνειδητών δεδομένων
- Μηχανικοί DevOps και υποδομής
- Εφαρμογογράφοι λογισμικού
21 Ώρες
Σχόλια (7)
Ο εκπαιδευτής προσαρμόστηκε στο επίπεδο των συμμετέχontων και απάντησε σε όλα τα ερωτήματα. Ήταν πολύ επικοινωνιακός και ήταν εύκολο να του αλληλεπιδράσεις. Εκτιμήθηκα πολύ το διατυπωμένο της εκπαίδευσης, το οποίο περιελάμβανε πολλές πρακτικές εξασκήσεις. Γενικά, ήταν μια πολύ συμμετοχική και καλά διοργανωμένη συνεδρία.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Κομμάτι - Apache Airflow: Building and Managing Data Pipelines
Μηχανική Μετάφραση
Η κατάρτιση ήταν ακριβώς όπως θέλαμε. Πολύ χρήσιμη θεωρία και στα διασκεδαστικά.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
Η κατάρτιση ήταν ακριβής σε όλες τις πτυχές. Χρήσιμα θεωρητικά στοιχεία και ασκήσεις.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
Η κατάρτιση ήταν ακριβής σε όλους τους τομείς.Χρήσιμα επιστημονικά στοιχεία και άσκησεις.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
Η εκπαίδευση ήταν ακριβής σε όλες τις πτυχές. Χρήσιμα θεωρητικά στοιχεία και εξασκήσεις.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
Η κατάρτιση ήταν ακριβής σε όλους τους τομείς. Χρήσιμα θεωρητικά στοιχεία και ασκήσεις.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
Η εκπαίδευση ήταν ακριβής σε όλους τους τομείς.Χρήσιμα θεωρητικά στοιχεία και εξασκήσεις.
Vladimir - PUBLIC COURSE
Κομμάτι - Apache Airflow
Μηχανική Μετάφραση
