Εξέλιξη Κομματιού

Εισαγωγή, Στόχοι και Στρατηγική Μεταφοράς

  • Στόχοι του μαθήματος, σύνδεση προφίλ συμμετέχοντων και κριτήρια επιτυχίας
  • Υψηλόβαθμη προσεγγίσεις μεταφοράς και υποθέσεις για τα κινδύνους
  • Ρυθμισμός εργαστηρίων, αποθετηρίων και δειγματικών συνόλων δεδομένων

Ημέρα 1 — Βασικά της Μεταφοράς και Αρχιτεκτονική

  • Εξατμιστικές εννοίες, Δεδομένων Delta Lake και αρχιτεκτονική Databricks
  • Εξατμιστικές προσεγγίσεις SMP vs MPP και επιπλέον υποθέσεις για τη μεταφορά
  • Σχεδιασμός Medallion (Bronze→Silver→Gold) και εξατμιστική ανατολή Unity Catalog

Ημέρα 1 Εργαστήριο — Μεταφορά ενός κειμένου παρασκευής

  • Πρακτική μεταφορά δείγματος κειμένου παρασκευής σε διαζύνεια
  • Αντιστοιχία προσωρινών πινάκων και κάρσων με μετασχηματισμούς DataFrame
  • Επαλήθευση και σύγκριση με την αρχική εξόδου

Ημέρα 2 — Διατυπωμένο Delta Lake & Αυξητική Εισαγωγή

  • Συναλλαγές ACID, καταχώρηση εφερμοσμένης λογικής, αριθμητική και ταξινόμηση χρόνου
  • Αυτόματες εισαγωγές, προσωρινές σχέσεις MERGE INTO, upserts και εξέλιξη συνδυασμών
  • Εξοικονόμηση OPTIMIZE, VACUUM, Z-ORDER, προσαρμογή και επεξεργασία αποθέτη

Ημέρα 2 Εργαστήριο — Αυξητική Εισαγωγή & Εξοικονόμηση

  • Πρακτική εφαρμογής αυτόματης εισαγωγής και προσωρινών σχέσεις MERGE
  • Εφαρμογή OPTIMIZE, Z-ORDER και VACUUM; επαλήθευση αποτελεσμάτων
  • Μέτρηση βελτιώσεων απόδοσης και γραφίσης εισόδου/έξοδου

Ημέρα 3 — SQL στο Databricks, Αποδοτικότητα και Διαφήμιση

  • Αναλυτικές χαρακτηριστικές SQL: παράθυρα, εξοχές, χειρισμός JSON/πίνακα
  • Ανάγνωση του Spark UI, DAGs, αντιγράφεις, στάδια, εργασίες και διάγνωση παροχής
  • Μοτίβα προσαρμογής ερωτήματος: broadcast joins, hints, caching και μείωση spill

Ημέρα 3 Εργαστήριο — Μετακλίση SQL & Προσαρμογή Αποδοτικότητας

  • Εξοικονόμηση εξελιχθέντων SQL διαδικασιών σε αποδοτικό Spark SQL
  • Χρήση τράξεων Spark UI για πρόσθετη αναφέρειν μεγέθους και σκολίας
  • Μέτρηση πριν/μετά και καταχώρηση βήματος εξοικονόμησης

Ημέρα 4 — Εξελιστικό PySpark: Αντικατάσταση Διαδοχικής Λογικής

  • Μοντέλο εξεργασίας Spark: κυβερνήτης, εκτελεστές, αναβολή εκτέλεσης και στρατηγικές παρασκευής
  • Μετατροπή βρόχων και κάρσων σε διατυπωμένες εφαρμογές DataFrame
  • Προσδιορισμός, UDFs/pandas UDFs, widgets και αξιοπρεπή βιβλιοθήκες

Ημέρα 4 Εργαστήριο — Μετακλίση Διαδοχικών Σεναρίων

  • Εξοικονόμηση διαδοχικής προσδοκίας ETL σε αποδοτικές Διαζύνειες PySpark
  • Εισαγωγή παραμετρικότητας, μοναδικών τεστ και αξιοπρεπών συναρτήσεων
  • Εξέταση κώδικα και εφαρμογή λίστας αξιοπρεπών πρακτικών

Ημέρα 5 — Συμβολοδόση, Πλήρης Αυτόματη Συνέχεια & Καλύτερες Πρακτικές

  • Databricks Workflows: σχεδιασμός εργασίας, ανάθεση καθηκόντων, κατασπασμοί και χειρισμός λάθους
  • Σχεδιασμός αυξητικών Medallion συνέχειων με κανόνες ποιότητας και επιβεβαίωση σχήματος
  • Συμβολοδόση με Git (GitHub/Azure DevOps), CI, και στρατηγικές τεστ για PySpark λογική

Ημέρα 5 Εργαστήριο — Δημιουργία Πλήρους Αυτόματης Συνέχεια

  • Κατασκευή συνέχειας Bronze→Silver→Gold που διοργάνωνεται με Workflows
  • Εφαρμογή καταγραφής, επιθεώρησης, αναδρομών και αυτόματων ελέγχων
  • Εκτέλεση πλήρους συνέχεια, επαλήθευση αποτελεσμάτων και ετοιμασία σημειώσεων διαμόρφωσης

Εφαρμογή, Διακυβέρνηση και Ετοιμότητα για Την Παραγωγή

  • Καλύτερες πρακτικές διακυβέρνησης Unity Catalog, γραμμολογία και ελεγχός πρόσβασης
  • Κόστος, μεγέθη συστήματος, αυτόματη επέκταση και προσωρινά μοτίβα εργασίας
  • Λίστες διαμόρφωσης, στρατηγικές αναδρομής και δημιουργία runbook

Τελική Εξέταση, Μεταφορά Γνώσεων και Ακόλουθα Βήματα

  • Παρουσιάσεις συμμετεχόντων για τη μεταφορά δουλειάς και εμπειρίες
  • Ανάλυση χάσματος, προτεινόμενες ακόλουθες δραστηριότητες και χειροποίηση υλικών εκπαίδευσης
  • Αναφορές, πρόσθετες μορφές μάθησης και επιλογές υποστήριξης

Απαιτήσεις

  • Σύνεση για κατασκευαστικές ιδέες δεδομένων
  • Εμπειρία με SQL και κείμενα παρασκευής (Synapse / SQL Server)
  • Γνώση των εννοιών χορήγησης ETL (ADF ή παρόμοιες)

Δημόσιο

  • Τεχνολογικοί διαχειριστές με παράσχεση εξατμιστικής υποδομής
  • Κατασκευαστικοί διαχειριστές που μετάβληναν από διαδοχική λογική OLAP σε εξατμιστικά πρότυπα
  • Μηχανικοί πλατφόρμας υπεύθυνοι για την ανάληψη Databricks
 35 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετοχαστή

Εφεξής Μαθήματα

Σχετικές Κατηγορίες