Εξέλιξη Κομματιού

Βασικά Ελέγχια του NiFi και Ροή Δεδομένων

  • Δεδομένα σε κίνηση vs δεδομένα σε ακίνητη κατάσταση: εννοιές και προκλήσεις
  • Αρχιτεκτονική του NiFi: cores, διαχειριστής ροών, απόδειξη προέλευσης και διαφημίσεις
  • Βασικά συστατικά: processors, συνδέσεις, controllers και απόδειξη προέλευσης

Σύγχρονο Περιβάλλον Big Data και Ένταξη

  • Ρόλος του NiFi στα περιβάλλοντα Big Data (Hadoop, Kafka, υπολογιστική αποθήκευση)
  • Επισκόπηση του HDFS, MapReduce και σύγχρονων εναλλακτικών
  • Χρήσεις: ροή δεδομένων, αποστολή αρχείων και γραμμές επιγράμματος

Εγκατάσταση, Διαμόρφωση & Κατάσταση Συστήματος

  • Εγκατάσταση του NiFi σε μοναδικό κόμβο και σε ομάδα λειτουργίας
  • Διαμόρφωση ομάδας: ρόλοι κόμβων, zookeeper και ισορροπική φόρτωση
  • Οργάνωση εφαρμογών NiFi: χρησιμοποίηση Ansible, Docker ή Helm

Σχεδιασμός και Διαχείριση Ροών Δεδομένων

  • Προσαρμογή, φίλτρο, διάσπαση και συνένωση ροών
  • Διαμόρφωση processors (InvokeHTTP, QueryRecord, PutDatabaseRecord, κλπ.)
  • Χειρισμός σχημάτων, εκσυγχρονισμών και μετασχηματισμών
  • Διαχείριση λαθών, παλινδρόμηση σχέσεων και επιστροφή ροής

Σενάρια Ένταξης

  • Σύνδεση με βάσεις δεδομένων, συστήματα μελαγχολίας, REST APIs
  • Ροή από αναλυτικά συστήματα: Kafka, Elasticsearch ή υπολογιστική αποθήκευση
  • Ένταξη με Splunk, Prometheus ή γραμμές καταγραφής

Παρακολούθηση, Αποκατάσταση & Απόδειξη Προέλευσης

  • Χρήση UI του NiFi, μετρήσεων και εργαλείου απόδειξης προέλευσης
  • Σχεδιασμός αυτόνομης αποκατάστασης και ευγενικής διαχείρισης αποτυχιών
  • Αντιγραφή, διαχείριση πληθυντικού πλάνου και διαχείριση αλλαγών

Προσαρμογή Επίδοσης & Βελτιστοποίηση

  • Ρύθμιση JVM, heap, thread pools και παραμέτρων συστήματος
  • Βελτιστοποίηση σχεδιασμού ροών για μείωση περιορισμών
  • Απομόνωση πόρων, προτεραιότητα ροών και ελεγχτική διάβαση

Καλύτερες Πρακτικές & Διαχείριση

  • Δοκιμένη ροή, πρότυπα ονομαζόμενα, μοναδική σχεδίαση
  • Ασφάλεια: TLS, επιγνώριση, έλεγχος πρόσβασης και κρυπτογράφηση δεδομένων
  • Έλεγχος αλλαγών, έκδοση, ρόλου-βασισμένο πρόσβαση και επίπεδα διακοπής

Ανακατασκευή & Απάντηση σε Περιστατικά

  • Συνηθισμένα προβλήματα: κλείδωμα, μνήμη leaks, λάθη processors
  • Ανάλυση αρχείων καταγραφής, διάγνωση λαθών και έρευνα για το ρίζι
  • Στρатегικές αποκατάστασης και επαναφορά ροής

Εργασίες Εργαστηρίου: Πραγματική Υλοποίηση Ροής Δεδομένων

  • Κατασκευή μιας πλήρους ροής: εισαγωγή, μετασχηματισμός και αποδοχή
  • Υλοποίηση διαχείρισης λαθών, επιστροφή ροής και μετακίνηση σε ένδοξη κλίμακα
  • Δοκιμή πληρότητας και βελτιστοποίηση της γραμμής εργασίας

Περίληψη και Επόμενα Βήματα

Απαιτήσεις

  • Εμπειρία με τη γραμμή εντολών Linux
  • Βασική κατανόηση των δικτυακών και δεδομένων συστημάτων
  • Εξοικείωση με τα προσαγωγικά ρεύματα δεδομένων ή τους θεωρητικούς ETL

Συμβάλλοντες

  • Διαχειριστές συστημάτων
  • Μηχανικοί δεδομένων
  • Αναπτυξευτές
  • Επαγγελματίες DevOps
 21 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετοχαστή

Σχόλια (7)

Εφεξής Μαθήματα

Σχετικές Κατηγορίες