Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Ανασκόπηση των Βασικών του Apache Airflow
- Βασικές έννοιες: DAGs, τελεστές και ροή εκτέλεσης
- Αρχιτεκτονική και συστατικά του Airflow
- Κατανόηση προχωρημένων περιπτώσεων χρήσης και ροών εργασίας
Δημιουργία Προσαρμοσμένων Τελεστών
- Κατανόηση της δομής ενός τελεστή Airflow
- Ανάπτυξη προσαρμοσμένων τελεστών για συγκεκριμένες εργασίες
- Δοκιμή και αποσφαλμάτωση προσαρμοσμένων τελεστών
Προσαρμοσμένα Hooks και Αισθητήρες
- Υλοποίηση hooks για ενσωμάτωση εξωτερικών συστημάτων
- Δημιουργία αισθητήρων για παρακολούθηση εξωτερικών ερεθισμάτων
- Ενίσχυση της διαδραστικότητας των ροών εργασίας με προσαρμοσμένους αισθητήρες
Ανάπτυξη Πρόσθετων του Airflow
- Κατανόηση της αρχιτεκτονικής των πρόσθετων
- Σχεδίαση πρόσθετων για επέκταση της λειτουργικότητας του Airflow
- Βέλτιστες πρακτικές για τη διαχείριση και την ανάπτυξη πρόσθετων
Ενσωμάτωση του Airflow με Εξωτερικά Συστήματα
- Σύνδεση του Airflow με βάσεις δεδομένων, APIs και υπηρεσίες cloud
- Χρήση του Airflow για ροές εργασίας ETL και επεξεργασία δεδομένων σε πραγματικό χρόνο
- Διαχείριση εξαρτήσεων μεταξύ του Airflow και εξωτερικών συστημάτων
Προηγμένη Αποσφαλμάτωση και Παρακολούθηση
- Χρήση καταγραφών και μετρικών του Airflow για αντιμετώπιση προβλημάτων
- Διαμόρφωση ειδοποιήσεων και γνωστοποιήσεων για ζητήματα ροών εργασίας
- Αξιοποίηση εξωτερικών εργαλείων παρακολούθησης με το Airflow
Βελτιστοποίηση Απόδοσης και Κλιμακωσιμότητας
- Κλιμάκωση του Airflow με Celery και Kubernetes Executors
- Βελτιστοποίηση της χρήσης πόρων σε πολύπλοκες ροές εργασίας
- Στρατηγικές για υψηλή διαθεσιμότητα και ανοχή σε σφάλματα
Μελέτες Περιπτώσεων και Πρακτικές Εφαρμογές
- Εξερεύνηση προχωρημένων περιπτώσεων χρήσης στη μηχανική δεδομένων και το DevOps
- Μελέτη περίπτωσης: Υλοποίηση προσαρμοσμένου τελεστή για ETL μεγάλης κλίμακας
- Βέλτιστες πρακτικές για τη διαχείριση ροών εργασίας σε επίπεδο επιχείρησης
Σύνοψη και Επόμενα Βήματα
Απαιτήσεις
- Ισχυρή κατανόηση των βασικών του Apache Airflow, συμπεριλαμβανομένων των DAGs, των τελεστών και της αρχιτεκτονικής εκτέλεσης
- Επάρκεια στον προγραμματισμό Python
- Εμπειρία με την ενσωμάτωση συστημάτων δεδομένων και την ενορχήστρωση ροών εργασίας
Κοινό
- Μηχανικοί δεδομένων
- Μηχανικοί DevOps
- Αρχιτέκτονες λογισμικού
21 Ώρες
Σχόλια (1)
Ο εκπαιδευτής προσαρμόστηκε στο επίπεδο των συμμετέχontων και απάντησε σε όλα τα ερωτήματα. Ήταν πολύ επικοινωνιακός και ήταν εύκολο να του αλληλεπιδράσεις. Εκτιμήθηκα πολύ το διατυπωμένο της εκπαίδευσης, το οποίο περιελάμβανε πολλές πρακτικές εξασκήσεις. Γενικά, ήταν μια πολύ συμμετοχική και καλά διοργανωμένη συνεδρία.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Κομμάτι - Apache Airflow: Building and Managing Data Pipelines
Μηχανική Μετάφραση
