Course Outline

Ανακεφαλαίωση του Apache Airflow Βασικά στοιχεία

  • Βασικές έννοιες: DAG, τελεστές και ροή εκτέλεσης
  • Αρχιτεκτονική και εξαρτήματα ροής αέρα
  • Κατανόηση περιπτώσεων προηγμένης χρήσης και ροών εργασίας

Δημιουργία προσαρμοσμένων χειριστών

  • Κατανόηση της ανατομίας ενός χειριστή ροής αέρα
  • Ανάπτυξη προσαρμοσμένων χειριστών για συγκεκριμένες εργασίες
  • Δοκιμή και εντοπισμός σφαλμάτων προσαρμοσμένων τελεστών

Προσαρμοσμένα άγκιστρα και αισθητήρες

  • Εφαρμογή αγκίστρων για ενοποίηση εξωτερικού συστήματος
  • Δημιουργία αισθητήρων για την παρακολούθηση εξωτερικών ερεθισμάτων
  • Βελτίωση της αλληλεπίδρασης ροής εργασιών με προσαρμοσμένους αισθητήρες

Ανάπτυξη προσθηκών ροής αέρα

  • Κατανόηση της αρχιτεκτονικής των πρόσθετων
  • Σχεδιασμός πρόσθετων για την επέκταση της λειτουργίας Airflow
  • Βέλτιστες πρακτικές για τη διαχείριση και την ανάπτυξη προσθηκών

Ενσωμάτωση ροής αέρα με εξωτερικά συστήματα

  • Σύνδεση Airflow με βάσεις δεδομένων, API και υπηρεσίες cloud
  • Χρήση Airflow για ροές εργασιών ETL και επεξεργασία δεδομένων σε πραγματικό χρόνο
  • Διαχείριση εξαρτήσεων μεταξύ Airflow και εξωτερικών συστημάτων

Προηγμένος εντοπισμός σφαλμάτων και παρακολούθηση

  • Χρήση αρχείων καταγραφής και μετρήσεων ροής αέρα για την αντιμετώπιση προβλημάτων
  • Διαμόρφωση ειδοποιήσεων και ειδοποιήσεων για ζητήματα ροής εργασιών
  • Αξιοποίηση εργαλείων εξωτερικής παρακολούθησης με Airflow

Βελτιστοποίηση απόδοσης και Scalaικανότητας

  • Scaling Airflow with Celery and Kubernetes Executors
  • Βελτιστοποίηση της χρήσης πόρων σε πολύπλοκες ροές εργασίας
  • Στρατηγικές για υψηλή διαθεσιμότητα και ανοχή σφαλμάτων

Μελέτες περιπτώσεων και εφαρμογές πραγματικού κόσμου

  • Διερεύνηση περιπτώσεων προηγμένης χρήσης στη μηχανική δεδομένων και DevOps
  • Μελέτη περίπτωσης: Εφαρμογή προσαρμοσμένου χειριστή για ETL μεγάλης κλίμακας
  • Βέλτιστες πρακτικές για τη διαχείριση ροών εργασιών σε επίπεδο επιχείρησης

Περίληψη και Επόμενα Βήματα

Requirements

  • Ισχυρή κατανόηση των βασικών Apache Airflow, συμπεριλαμβανομένων των DAG, των τελεστών και της αρχιτεκτονικής εκτέλεσης
  • Ικανότητα στον προγραμματισμό Python
  • Εμπειρία στην ενοποίηση συστημάτων δεδομένων και ενορχήστρωσης ροής εργασιών

Ακροατήριο

  • Μηχανικοί δεδομένων
  • DevOps μηχανικοί
  • Αρχιτέκτονες λογισμικού
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories