Building Data Pipelines with Apache Kafka Training Course

Αυτό το μάθημα απευθύνεται σε αρχιτέκτονες επιχειρήσεων, προγραμματιστές, διαχειριστές συστημάτων και σε οποιονδήποτε θέλει να κατανοήσει και να χρησιμοποιήσει ένα σύστημα κατανεμημένων μηνυμάτων υψηλής απόδοσης. Αν έχετε πιο συγκεκριμένες απαιτήσεις (π.χ. μόνο πλευρά διαχείρισης συστήματος), αυτό το μάθημα μπορεί να προσαρμοστεί ώστε να ταιριάζει καλύτερα στις ανάγκες σας.

Το Apache Samza είναι ένα ασύγχρονο υπολογιστικό πλαίσιο σχεδόν ανοικτού κώδικα για την επεξεργασία ροής. Χρησιμοποιεί το Apache Kafka για ανταλλαγή μηνυμάτων και το Apache Hadoop YARN για ανοχή σφάλματος, απομόνωση επεξεργαστή, ασφάλεια και διαχείριση πόρων.

Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση εισάγει τις αρχές πίσω από τα συστήματα ανταλλαγής μηνυμάτων και την επεξεργασία κατανεμημένων ροών, ενώ περπατούν οι συμμετέχοντες μέσω της δημιουργίας ενός δείγματος βασισμένου σε Samza έργου και εκτέλεσης εργασιών.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Χρησιμοποιήστε τη Samza για να απλοποιήσετε τον κώδικα που απαιτείται για την παραγωγή και κατανάλωση μηνυμάτων.
• Αποσυνδέστε το χειρισμό μηνυμάτων από μια εφαρμογή.
• Χρησιμοποιήστε τη Samza για την υλοποίηση ασύγχρονων υπολογισμών σχεδόν σε πραγματικό χρόνο.
• Χρησιμοποιήστε επεξεργασία ροής για να παρέχετε υψηλότερο επίπεδο αφαίρεσης από τα συστήματα μηνυμάτων.

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να μετατρέψουν την παραδοσιακή αρχιτεκτονική σε μια εξαιρετικά ταυτόχρονη αρχιτεκτονική βασισμένη σε μικροϋπηρεσίες χρησιμοποιώντας Spring Cloud, Kafka, Docker, Kubernetes και Redis.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για την κατασκευή μικροϋπηρεσιών.
• Σχεδιάστε και εφαρμόστε ένα εξαιρετικά ταυτόχρονο οικοσύστημα μικροϋπηρεσιών χρησιμοποιώντας Spring Cloud, Kafka, Redis, Docker και Kubernetes.
• Μετατρέψτε τις μονολιθικές υπηρεσίες και τις υπηρεσίες SOA σε αρχιτεκτονική βασισμένη σε μικροϋπηρεσίες.
• Υιοθετήστε μια προσέγγιση DevOps για την ανάπτυξη, τη δοκιμή και την κυκλοφορία λογισμικού.
• Εξασφάλιση υψηλής ταυτότητος μεταξύ των μικροϋπηρεσιών στην παραγωγή.
• Παρακολουθήστε τις μικροϋπηρεσίες και εφαρμόστε στρατηγικές ανάκτησης.
• Πραγματοποιήστε συντονισμό απόδοσης.
• Μάθετε για τις μελλοντικές τάσεις στην αρχιτεκτονική των μικροϋπηρεσιών.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να ενσωματώσουν το Apache Kafka με υπάρχουσες βάσεις δεδομένων και εφαρμογές για επεξεργασία, ανάλυση κ.λπ.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Kafka Connect για να απορροφήσετε μεγάλες ποσότητες δεδομένων από μια βάση δεδομένων σε θέματα Kafka.
• Εισάγετε δεδομένα καταγραφής που δημιουργούνται από διακομιστές εφαρμογής σε θέματα Kafka.
• Διαθέστε τυχόν δεδομένα που συλλέγονται για επεξεργασία ροής.
• Εξαγωγή δεδομένων από θέματα του Κάφκα σε δευτερεύοντα συστήματα για αποθήκευση και ανάλυση.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν επεξεργασία ροής Apache Kafka χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε μια διοχέτευση επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (χωρίς κωδικοποίηση Java ή Python).
• Πραγματοποιήστε φιλτράρισμα δεδομένων, μετασχηματισμούς, συναθροίσεις, συνδέσεις, παράθυρα και συνεδριάσεις εξ ολοκλήρου σε SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακά ή επιτόπου) απευθύνεται σε sysadmin που επιθυμούν να δημιουργήσουν, να αναπτύξουν, να διαχειριστούν και να βελτιστοποιήσουν ένα εταιρικό σύμπλεγμα Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Δημιουργήστε και διαχειριστείτε ένα σύμπλεγμα Kafka.
• Αξιολογήστε τα οφέλη και τα μειονεκτήματα της ανάπτυξης του Kafka on-premise έναντι του cloud.
• Αναπτύξτε και παρακολουθήστε το Kafka χρησιμοποιώντας διάφορα εργαλεία εσωτερικής εγκατάστασης και περιβάλλοντος cloud.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε δοκιμαστές λογισμικού που επιθυμούν να εφαρμόσουν μέτρα ασφαλείας δικτύου σε μια εφαρμογή Apache Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αναπτύξτε το Apache Kafka σε έναν διακομιστή που βασίζεται στο cloud.
• Εφαρμόστε κρυπτογράφηση SSL για την αποφυγή επιθέσεων.
• Προσθέστε έλεγχο ταυτότητας ACL για παρακολούθηση και έλεγχο της πρόσβασης των χρηστών.
• Βεβαιωθείτε ότι αξιόπιστοι πελάτες έχουν πρόσβαση σε συμπλέγματα Kafka με έλεγχο ταυτότητας SSL και SASL.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν τη στοίβα SMACK για να δημιουργήσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εφαρμόστε μια αρχιτεκτονική αγωγών δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξτε μια υποδομή συμπλέγματος με το Apache Mesos και το Docker.
• Αναλύστε δεδομένα με Spark και Scala.
• Διαχειριστείτε μη δομημένα δεδομένα με το Apache Cassandra.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες του Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου που επιθυμούν να αναπτύξουν εφαρμογές μεγάλων δεδομένων με Apache Kafka.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Αναπτύξτε παραγωγούς και καταναλωτές Kafka για να στέλνουν και να διαβάζουν δεδομένα από τον Kafka. Ενσωματώστε το Kafka με εξωτερικά συστήματα χρησιμοποιώντας το Kafka Connect. Γράψτε εφαρμογές ροής με τα Kafka Streams & ksqlDB. Ενσωματώστε μια εφαρμογή πελάτη Kafka με το Confluent Cloud για αναπτύξεις Kafka που βασίζονται σε σύννεφο. Αποκτήστε πρακτική εμπειρία μέσω πρακτικών ασκήσεων και πραγματικών περιπτώσεων χρήσης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου που επιθυμούν να μάθουν τις βασικές αρχές του Kafka και να το ενσωματώσουν με το Spring Boot.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Κατανοήστε τον Κάφκα και την αρχιτεκτονική του. Μάθετε πώς να εγκαταστήσετε, να ρυθμίσετε και να ρυθμίσετε ένα βασικό περιβάλλον Kafka. Ενσωματώστε τον Κάφκα με το Spring Boot.