Επεξεργασία ροής με τα ρέματα Kafka Training Course

Confluent Apache Kafka είναι μια διανημένη πλataforma συνεχούς ροής γεγονότων, σχεδιασμένη για ακραίους ροές δεδομένων και πραγματικά χρονικά αναλυτικά.

Αυτή η εξέλιξη με διδάσκων (διαδικτύου ή σε πρόσθετο χώρο) στοχεύει σε αναπτυγμένους επαγγελματίες διαχειριστών συστημάτων και DevOps οι οποίοι επιθυμούν να εγκαταστήσουν, ρυθμίσουν, διαχειριστούν και παρακολουθήσουν clusters Confluent Apache Kafka.

Στο τέλος αυτής της εξέλιξης, οι συμμετέχοντες θα μπορούν να:

• Συνεισφέρουν στους συνιστώτες και τη δομή του Confluent Kafka.
• Αποδίδουν και διαχειρίζονται Kafka brokers, Zookeeper quorums και βασικά υπηρεσίες.
• Ρυθμίζουν προόντωστα χαρακτηριστικά συμπεριλαμβανομένων της ασφάλειας, της αντιγραφής και του tuning παραγωγικότητας.
• Χρησιμοποιούν εργαλεία διαχείρισης για την παρακολούθηση και διαμόρφωση Kafka clusters.

Στοιχεία Κατασκευής

• Διαδοχική ομιλία και συζήτηση.
• Πολλά ασκήσεις και πράξη.
• Ανάπτυξη χειρόν τα διαθέσιμου ενδιαιμονείου.

Πλήρωμα Τύπου Διαδικασίας

• Για να απαιτήσετε προσαρμογένεια εξέλιξης για αυτό το δάσκαλο, παρακαλώ συνδεθείτε μαζί μας για να καταμαρτύρησε.

Το Apache Beam είναι ένα μοντέλο ανοιχτού κώδικα, ενοποιημένου προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Extract, Transform, and Load), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτή τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να εφαρμόζουν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητη, παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Beam.
• Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία κατά παρτίδες και ροή μέσα από την εφαρμογή τους Java ή Python.
• Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Confluent Apache Kafka είναι ένα πλατφόρμα διακοσμητικής κυκλοφορίας γεγονέων με υποστήριξη επιχειρηματικών επιπέδων που βασίζεται στο Apache Kafka. Υποστηρίζει κύλιση δεδομένων με υψηλή θετικότητα, αντοχή σε λάθους και εφαρμογές πραγματικής ώρας.

Αυτό το εξειδικευμένο διδασκαλία (online ή σε υπόθεση) στοχεύει σε μεσαίου επιπέδου μηχανικούς και διαχειριστές που επιθυμούν να εγκαταστήσουν, ρυθμίσουν και οικοδομήσουν Confluent Kafka συμπεριφορές σε παραγωγικά περιβάλλοντα.

Στο τέλος αυτής της εκπαιδεύσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν, ρυθμίσουν και λειτουργήσουν Confluent Kafka συμπεριφορές με πολλά οδηγούς.
• Εκτυπώσουν διαθέσιμες αρχιτεκτονικές υψηλής αξιοπιστίας χρησιμοποιώντας Zookeeper και τεχνικές αντιγραφής.
• Τουνάζουν την παραγωγικότητα, ελέγχουν τα μετρήματα και εφαρμόζουν στρατηγικές αποκάμψης.
• Εγκαθιδρύσουν, μεγαλώνουν και διευρύνουν το Kafka με επιχειρηματικά περιβάλλοντα.

Σχήμα της Κατεύθυνσης

• Εργασία και συζήτηση.
• Πολλά ασκήσεις και πρακτική οικοδομή.
• Η έργου μέσα σε ζωντανό-πείρα περιβάλλον.

Πιθανές τροποποιήσεις της Εκπαιδεύσεως

• Για να αίτησε μια προσαρμοσμένη εκπαίδευση για αυτή την κατεύθυνση, καλέστε μας να σχεδιάσουμε.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσετε και ρυθμίσετε το Confluent Platform.
• Χρησιμοποιήστε τους διαχειριστές εργαλεία και υπηρεσίες του Confluent για να λειτουργήσετε πιο εύκολα το Kafka.
• Αποθηκεύστε και επεξεργάστε εισερχόμενα συνεχή δεδομένα.
• Οργανώστε και διαχειρίστε τους κλάστερς Kafka.
• Ασφαλίστε τις ροές δεδομένων.

μορφή του μαθήματος

• Επικοινωνητικός διάλογος και συζήτηση.
• Πολλές ασκήσεις και πρακτική εμπειρία.
• Εφαρμογή με χειρόνομα σε ένα περιβάλλον live-lab.

επιλογές προσαρμογής μαθημάτων

• Αυτό το μάθημα βασίζεται στην ανοιχτή πηγή έκδοση του Confluent: Confluent Open Source.
• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσουμε.

Apache Kafka είναι μια κατανεμημένη πλατφόρμα ροής. Πρόκειται για de facto πρότυπο για την κατασκευή αγωγών δεδομένων και επιλύει πολλές διαφορετικές περιπτώσεις χρήσης γύρω από την επεξεργασία δεδομένων: μπορεί να χρησιμοποιηθεί ως ουρά μηνυμάτων, κατανεμημένο αρχείο καταγραφής, επεξεργαστής ροής κλπ.

Θα ξεκινήσουμε με κάποια θεωρία πίσω από τους αγωγούς δεδομένων γενικά, και στη συνέχεια θα συνεχίσουμε με βασικές έννοιες πίσω από τον Kafka. Θα ανακαλύψουμε επίσης σημαντικά στοιχεία όπως το Kafka Streams και το Kafka Connect.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων.
• Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly).
• Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα.
• Διαχειριστείτε διαφορετικούς φόρτους εργασίας.
• Εκτελέστε προηγμένες αναλύσεις.
• Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων.
• Μετρήστε και βελτιστοποιήστε την απόδοση.
• Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα.
• Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτό το μάθημα απευθύνεται σε αρχιτέκτονες επιχειρήσεων, προγραμματιστές, διαχειριστές συστημάτων και σε οποιονδήποτε θέλει να κατανοήσει και να χρησιμοποιήσει ένα σύστημα κατανεμημένων μηνυμάτων υψηλής απόδοσης. Αν έχετε πιο συγκεκριμένες απαιτήσεις (π.χ. μόνο πλευρά διαχείρισης συστήματος), αυτό το μάθημα μπορεί να προσαρμοστεί ώστε να ταιριάζει καλύτερα στις ανάγκες σας.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν Apache Kafka επεξεργασία ροής χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε έναν αγωγό επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (όχι κωδικοποίηση Java ή Python).
• Πραγματοποιήστε το φιλτράρισμα δεδομένων, τους μετασχηματισμούς, τις συναθροίσεις, τις συνδέσεις, τα παράθυρα και τη συνεδρία εξ ολοκλήρου στο SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.