Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Ανακεφαλαίωση του Apache Airflow Βασικά στοιχεία
- Βασικές έννοιες: DAG, τελεστές και ροή εκτέλεσης
- Αρχιτεκτονική και εξαρτήματα ροής αέρα
- Κατανόηση περιπτώσεων προηγμένης χρήσης και ροών εργασίας
Δημιουργία προσαρμοσμένων χειριστών
- Κατανόηση της ανατομίας ενός χειριστή ροής αέρα
- Ανάπτυξη προσαρμοσμένων χειριστών για συγκεκριμένες εργασίες
- Δοκιμή και εντοπισμός σφαλμάτων προσαρμοσμένων τελεστών
Προσαρμοσμένα άγκιστρα και αισθητήρες
- Εφαρμογή αγκίστρων για ενοποίηση εξωτερικού συστήματος
- Δημιουργία αισθητήρων για την παρακολούθηση εξωτερικών ερεθισμάτων
- Βελτίωση της αλληλεπίδρασης ροής εργασιών με προσαρμοσμένους αισθητήρες
Ανάπτυξη προσθηκών ροής αέρα
- Κατανόηση της αρχιτεκτονικής των πρόσθετων
- Σχεδιασμός πρόσθετων για την επέκταση της λειτουργίας Airflow
- Βέλτιστες πρακτικές για τη διαχείριση και την ανάπτυξη προσθηκών
Ενσωμάτωση ροής αέρα με εξωτερικά συστήματα
- Σύνδεση Airflow με βάσεις δεδομένων, API και υπηρεσίες cloud
- Χρήση Airflow για ροές εργασιών ETL και επεξεργασία δεδομένων σε πραγματικό χρόνο
- Διαχείριση εξαρτήσεων μεταξύ Airflow και εξωτερικών συστημάτων
Προηγμένος εντοπισμός σφαλμάτων και παρακολούθηση
- Χρήση αρχείων καταγραφής και μετρήσεων ροής αέρα για την αντιμετώπιση προβλημάτων
- Διαμόρφωση ειδοποιήσεων και ειδοποιήσεων για ζητήματα ροής εργασιών
- Αξιοποίηση εργαλείων εξωτερικής παρακολούθησης με Airflow
Βελτιστοποίηση απόδοσης και Scalaικανότητας
- Scaling Airflow with Celery and Kubernetes Executors
- Βελτιστοποίηση της χρήσης πόρων σε πολύπλοκες ροές εργασίας
- Στρατηγικές για υψηλή διαθεσιμότητα και ανοχή σφαλμάτων
Μελέτες περιπτώσεων και εφαρμογές πραγματικού κόσμου
- Διερεύνηση περιπτώσεων προηγμένης χρήσης στη μηχανική δεδομένων και DevOps
- Μελέτη περίπτωσης: Εφαρμογή προσαρμοσμένου χειριστή για ETL μεγάλης κλίμακας
- Βέλτιστες πρακτικές για τη διαχείριση ροών εργασιών σε επίπεδο επιχείρησης
Περίληψη και Επόμενα Βήματα
Requirements
- Ισχυρή κατανόηση των βασικών Apache Airflow, συμπεριλαμβανομένων των DAG, των τελεστών και της αρχιτεκτονικής εκτέλεσης
- Ικανότητα στον προγραμματισμό Python
- Εμπειρία στην ενοποίηση συστημάτων δεδομένων και ενορχήστρωσης ροής εργασιών
Ακροατήριο
- Μηχανικοί δεδομένων
- DevOps μηχανικοί
- Αρχιτέκτονες λογισμικού
21 Hours