Εξέλιξη Κομματιού
Εισαγωγή, Στόχοι και Στρατηγική Μεταφοράς
- Στόχοι του μαθήματος, σύνδεση προφίλ συμμετέχοντων και κριτήρια επιτυχίας
- Υψηλόβαθμη προσεγγίσεις μεταφοράς και υποθέσεις για τα κινδύνους
- Ρυθμισμός εργαστηρίων, αποθετηρίων και δειγματικών συνόλων δεδομένων
Ημέρα 1 — Βασικά της Μεταφοράς και Αρχιτεκτονική
- Εξατμιστικές εννοίες, Δεδομένων Delta Lake και αρχιτεκτονική Databricks
- Εξατμιστικές προσεγγίσεις SMP vs MPP και επιπλέον υποθέσεις για τη μεταφορά
- Σχεδιασμός Medallion (Bronze→Silver→Gold) και εξατμιστική ανατολή Unity Catalog
Ημέρα 1 Εργαστήριο — Μεταφορά ενός κειμένου παρασκευής
- Πρακτική μεταφορά δείγματος κειμένου παρασκευής σε διαζύνεια
- Αντιστοιχία προσωρινών πινάκων και κάρσων με μετασχηματισμούς DataFrame
- Επαλήθευση και σύγκριση με την αρχική εξόδου
Ημέρα 2 — Διατυπωμένο Delta Lake & Αυξητική Εισαγωγή
- Συναλλαγές ACID, καταχώρηση εφερμοσμένης λογικής, αριθμητική και ταξινόμηση χρόνου
- Αυτόματες εισαγωγές, προσωρινές σχέσεις MERGE INTO, upserts και εξέλιξη συνδυασμών
- Εξοικονόμηση OPTIMIZE, VACUUM, Z-ORDER, προσαρμογή και επεξεργασία αποθέτη
Ημέρα 2 Εργαστήριο — Αυξητική Εισαγωγή & Εξοικονόμηση
- Πρακτική εφαρμογής αυτόματης εισαγωγής και προσωρινών σχέσεις MERGE
- Εφαρμογή OPTIMIZE, Z-ORDER και VACUUM; επαλήθευση αποτελεσμάτων
- Μέτρηση βελτιώσεων απόδοσης και γραφίσης εισόδου/έξοδου
Ημέρα 3 — SQL στο Databricks, Αποδοτικότητα και Διαφήμιση
- Αναλυτικές χαρακτηριστικές SQL: παράθυρα, εξοχές, χειρισμός JSON/πίνακα
- Ανάγνωση του Spark UI, DAGs, αντιγράφεις, στάδια, εργασίες και διάγνωση παροχής
- Μοτίβα προσαρμογής ερωτήματος: broadcast joins, hints, caching και μείωση spill
Ημέρα 3 Εργαστήριο — Μετακλίση SQL & Προσαρμογή Αποδοτικότητας
- Εξοικονόμηση εξελιχθέντων SQL διαδικασιών σε αποδοτικό Spark SQL
- Χρήση τράξεων Spark UI για πρόσθετη αναφέρειν μεγέθους και σκολίας
- Μέτρηση πριν/μετά και καταχώρηση βήματος εξοικονόμησης
Ημέρα 4 — Εξελιστικό PySpark: Αντικατάσταση Διαδοχικής Λογικής
- Μοντέλο εξεργασίας Spark: κυβερνήτης, εκτελεστές, αναβολή εκτέλεσης και στρατηγικές παρασκευής
- Μετατροπή βρόχων και κάρσων σε διατυπωμένες εφαρμογές DataFrame
- Προσδιορισμός, UDFs/pandas UDFs, widgets και αξιοπρεπή βιβλιοθήκες
Ημέρα 4 Εργαστήριο — Μετακλίση Διαδοχικών Σεναρίων
- Εξοικονόμηση διαδοχικής προσδοκίας ETL σε αποδοτικές Διαζύνειες PySpark
- Εισαγωγή παραμετρικότητας, μοναδικών τεστ και αξιοπρεπών συναρτήσεων
- Εξέταση κώδικα και εφαρμογή λίστας αξιοπρεπών πρακτικών
Ημέρα 5 — Συμβολοδόση, Πλήρης Αυτόματη Συνέχεια & Καλύτερες Πρακτικές
- Databricks Workflows: σχεδιασμός εργασίας, ανάθεση καθηκόντων, κατασπασμοί και χειρισμός λάθους
- Σχεδιασμός αυξητικών Medallion συνέχειων με κανόνες ποιότητας και επιβεβαίωση σχήματος
- Συμβολοδόση με Git (GitHub/Azure DevOps), CI, και στρατηγικές τεστ για PySpark λογική
Ημέρα 5 Εργαστήριο — Δημιουργία Πλήρους Αυτόματης Συνέχεια
- Κατασκευή συνέχειας Bronze→Silver→Gold που διοργάνωνεται με Workflows
- Εφαρμογή καταγραφής, επιθεώρησης, αναδρομών και αυτόματων ελέγχων
- Εκτέλεση πλήρους συνέχεια, επαλήθευση αποτελεσμάτων και ετοιμασία σημειώσεων διαμόρφωσης
Εφαρμογή, Διακυβέρνηση και Ετοιμότητα για Την Παραγωγή
- Καλύτερες πρακτικές διακυβέρνησης Unity Catalog, γραμμολογία και ελεγχός πρόσβασης
- Κόστος, μεγέθη συστήματος, αυτόματη επέκταση και προσωρινά μοτίβα εργασίας
- Λίστες διαμόρφωσης, στρατηγικές αναδρομής και δημιουργία runbook
Τελική Εξέταση, Μεταφορά Γνώσεων και Ακόλουθα Βήματα
- Παρουσιάσεις συμμετεχόντων για τη μεταφορά δουλειάς και εμπειρίες
- Ανάλυση χάσματος, προτεινόμενες ακόλουθες δραστηριότητες και χειροποίηση υλικών εκπαίδευσης
- Αναφορές, πρόσθετες μορφές μάθησης και επιλογές υποστήριξης
Απαιτήσεις
- Σύνεση για κατασκευαστικές ιδέες δεδομένων
- Εμπειρία με SQL και κείμενα παρασκευής (Synapse / SQL Server)
- Γνώση των εννοιών χορήγησης ETL (ADF ή παρόμοιες)
Δημόσιο
- Τεχνολογικοί διαχειριστές με παράσχεση εξατμιστικής υποδομής
- Κατασκευαστικοί διαχειριστές που μετάβληναν από διαδοχική λογική OLAP σε εξατμιστικά πρότυπα
- Μηχανικοί πλατφόρμας υπεύθυνοι για την ανάληψη Databricks