Building Data Pipelines with Apache Kafka Κομμάτι εκπαίδευσης

Αυτή η εκπαίδευση με εγχειρίζοντα, διαγωνισμένη σε Ελλάδα (online ή onsite), απευθύνεται σε πρόγραμμα-αναπτυξιακούς που επιθυμούν να ολοκληρώσουν την ένταξη του Apache Kafka με υφιστάμενες βάσεις δεδομένων και εφαρμογές για περαιτέρω επεξεργασία, ανάλυση, κλπ.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Χρησιμοποιήσουν το Kafka Connect για την εισαγωγή μεγάλων ποσοτήτων δεδομένων από μια βάση δεδομένων σε θέματα Kafka.
• Εισάγουν καταγραφικά δεδομένα που παράγονται από εξυπηρετητές εφαρμογών σε θέματα Kafka.
• Καθιστούν κάθε συλλεχθέν δεδομένο διαθέσιμο για τη ροή επεξεργασίας.
• Εξάγουν δεδομένα από θέματα Kafka σε δευτερεύουσες συστήματα για αποθήκευση και ανάλυση.

Αυτή η εκπαίδευση με οδηγό (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να χρησιμοποιήσουν το Confluent (έναν κατανεμημένο Kafka) για να κατασκευάσουν και διαχειριστούν μια πλατφόρμα επεξεργασίας πραγματικών δεδομένων σε πραγματικό χρόνο για τις εφαρμογές τους.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν και ρύθμισουν το Confluent Platform.
• Χρησιμοποιήσουν τα εργαλεία διαχείρισης και υπηρεσίες του Confluent για να λειτουργήσει ο Kafka με απλότερο τρόπο.
• Αποθηκεύσουν και επεξεργάσουν τα εισερχόμενα δεδομένα ροών.
• Βελτιώσουν και να διαχειριστούν συνόλως τα clusters του Kafka.
• Να ασφαλίσουν τις ροές δεδομένων.

Μορφή της Εκπαίδευσης

• Αλληλεπίδραση, διάλεξη και συζήτηση.
• Εκτενές ασκηματολόγιο και πρακτική εφαρμογή.
• Χειρονομία σε ζωντανό lab περιβάλλον.

Επιλογές Προσαρμογής της Εκπαίδευσης

• Αυτή η εκπαίδευση βασίζεται στην ανοιχτό κώδικα εκδοχή του Confluent: Confluent Open Source.
• Για να παραγάγετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για οργάνωση.

Σε αυτή την καθοδήγηση υπό διεύθυνση εκπαιδευτή Ελλάδα (προσωπικά ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να ρυθμίζουν και να ενσωματώνουν διάφορα πλαίσια Ροής Δεδομένων σε υπάρχουσες συστήματα αποθήκης μεγάλων δεδομένων και σχετικές λογισμικές εφαρμογές και μικρουσλογισμικά.

Στο τέλος αυτής της καθοδήγησης, οι συμμετέχοντες θα είναι σε θέση να:

• Να εγκαθιστούν και να ρυθμίζουν διάφορα πλαίσια Ροής Δεδομένων, όπως το Spark Streaming και Kafka Streaming.
• Να καταλαβαίνουν και να επιλέγουν το πιο κατάλληλο πλαίσιο για τη συγκεκριμένη εργασία.
• Να επεξεργάζονται δεδομένα συνεχώς, παράλληλα και ένα-από-ένα.
• Να ενσωματώνουν λύσεις Ροής Δεδομένων σε υπάρχουσες βάσεις δεδομένων, data warehouses, data lakes, κλπ.
• Να ενσωματώνουν την πιο κατάλληλη βιβλιοθήκη ροής δεδομένων σε επιχειρηματικές εφαρμογές και μικρουσλογισμικά.

To εκπαιδευτικό πρόγραμμα απευθύνεται σε επιχειρηματικούς αρχιτέκτονες, διευθυντές ανάπτυξης, διαχειριστές συστημάτων και οποιονδήποτε επιθυμεί να καταλάβει και να χρησιμοποιήσει μια σύστημα διανομένων μηνυμάτων υψηλής διέγερσης. Εάν έχετε πιο συγκεκριμένες απαιτήσεις (για παράδειγμα, μόνο την πλευρά διαχείρισης συστήματος), αυτό το εκπαιδευτικό πρόγραμμα μπορεί να προσαρμοστεί καλύτερα για να ικανοποιήσει τις ανάγκες σας.

Αυτή η εκπαιδευτική συνεργασία με εξηγητή, σε ζωντανό (online ή on-site) απευθύνεται σε διοικητές συστημάτων που θέλουν να ρυθμίσουν, να εφαρμόσουν, να διαχειρίζονται και να βελτιώσουν έναν Kafka cluster πρωταθλητικού επιπέδου.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να ρυθμίσουν και να διαχειρίζονται ένα Kafka cluster.
• Να αξιολογήσουν τις πλευρές και τους μειονισμούς της εφαρμογής του Kafka σε ιδιωτικό χώρο (on-premise) ή στο cloud.
• Να εφαρμόσουν και να παρακολουθήσουν το Kafka χρησιμοποιώντας διάφορες εργαλεία για ιδιωτικό (on-premise) και cloud περιβάλλον.

Αυτή η εκπαίδευση με καθηγητική υποστήριξη (online ή on-site) απευθύνεται σε διαμεσοβάθμιου επιπέδου προγραμματιστές που επιθυμούν να αναπτύξουν εφαρμογές μεγάλων δεδομένων (big data) με τη χρήση Apache Kafka.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Αναπτύξουν παραγωγούς (producers) και χρήστες (consumers) Kafka για αποστολή και διάβασμα δεδομένων από τη Kafka.
• Να ολοκληρώσουν την ενσωμάτωση του Kafka με εξωτερικά συστήματα χρησιμοποιώντας το Kafka Connect.
• Να γράψουν πληροφοριακές εφαρμογές με το Kafka Streams & ksqlDB.
• Να ολοκληρώσουν την ενσωμάτωση μιας κλίντ εφαρμογής Kafka με τη Confluent Cloud για υποδοχή στην έναν κλωνίδα.
• Να αποκτήσουν πρακτική εμπειρία μέσω εξασκήσεων χειρονομίας και πραγματικών περιπτώσεων χρήσης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Αυτή η εκπαίδευση με καθηγητή (online ή on-site) απευθύνεται σε διαμεσολαβητές Java προγραμματιστές που επιθυμούν να ολοκληρώσουν το Apache Kafka στις εφαρμογές τους για αξιόπιστη, μεγεθοσκοπήσιμη και υψηλής παραγωγότητας νοημάτων.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν την αρχιτεκτονική και τα βασικά συστατικά της Kafka.
• Προσδιορίσουν και ρυθμίσουν ένα cluster της Kafka.
• Δημιουργήσουν και κατανέμουν μηνύματα χρησιμοποιώντας Java.
• Εφαρμόσουν το Kafka Streams για πραγματική επεξεργασία δεδομένων.
• Εξασφαλίσουν τη συνεχή λειτουργία και τη μεγεθοσκοπία σε εφαρμογές Kafka.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακή ή επιτόπου) απευθύνεται σε διαχειριστές συστήματος μεσαίου επιπέδου που επιθυμούν να αξιοποιήσουν αποτελεσματικά τις δυνατότητες ουράς μηνυμάτων του Κάφκα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις δυνατότητες και την αρχιτεκτονική της ουράς μηνυμάτων του Κάφκα.
• Διαμόρφωση θεμάτων Kafka για σενάρια ουράς μηνυμάτων.
• Δημιουργήστε και καταναλώστε μηνύματα χρησιμοποιώντας τον Κάφκα.
• Παρακολούθηση και διαχείριση του Κάφκα ως ουρά μηνυμάτων.

Αυτή η εκπαίδευση με εγχώριο δάσκαλο (online ή on-site) απευθύνεται σε διαμορφωτές λογισμικού που επιθυμούν να εφαρμόσουν μέτρα δικτυακής ασφάλειας σε μια εφαρμογή Apache Kafka.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν το Apache Kafka σε διακομιστή βασισμένο στον cloud.
• Εφαρμόσουν κρυπτογράφηση SSL για να προλάβουν επιθέσεις.
• Προσθέσουν αυθεντικοποίηση ACL για την καταγραφή και έλεγχο της πρόσβασης χρηστών.
• Εξασφαλίσουν ότι αξιόπιστοι εκδότες έχουν πρόσβαση σε κλωβούς Kafka με κρυπτογράφηση SSL και SASL.

Αυτή η εποπτευόμενη από δάσκαλους, ζωντανή εκπαίδευση στη Ελλάδα (online ή on-site) στρέφεται προς τους διάφορους επίπεδα ανάπτυξης που θέλουν να μάθουν τα βασικά του Kafka και να το ενσωματώσουν στο Spring Boot.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν το Kafka και την αρχιτεκτονική του.
• Μάθουν πώς να εγκαταστήσουν, ρυθμίσουν και να δημιουργήσουν ένα βασικό περιβάλλον Kafka.
• Ενσωματώσουν το Kafka στο Spring Boot.

Kafka Streams είναι μια βιβλιοθήκη που λειτουργεί από την πλευρά του πελάτη για τη δημιουργία εφαρμογών και μικρο-υπηρεσιών, οι δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα μηνυμάτων Kafka. Παραδοσιακά, το Apache Kafka βασίζονταν σε συστήματα όπως το Apache Spark ή το Apache Storm για την επεξεργασία δεδομένων μεταξύ παραγόντων και καταναλωτών μηνυμάτων. Με τη χρήση της API του Kafka Streams εκτός από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργάζονται άμεσα κατά μήκος του Kafka, αποφεύγοντας την ανάγκη αποστολής των δεδομένων σε ξεχωριστό cluster για επεξεργασία.

Σε αυτή την καθοδήγηση με εκπαιδευτικό, οι συμμετέχοντες θα μάθουν πώς να ολοκληρώσουν το Kafka Streams σε ένα σύνολο δειγματικών εφαρμογών Java που αποστέλλουν και λαμβάνουν δεδομένα από το Apache Kafka για stream processing.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν τις λειτουργίες και τα πλεονεκτήματα των Kafka Streams σε σχέση με άλλα πλαίσια stream processing
• Επεξεργαστούν δεδομένα stream εντός κάποιου cluster του Kafka
• Να γράψουν μια Java ή Scala εφαρμογή ή μικρο-υπηρεσία που συνδέεται με το Kafka και τα Kafka Streams
• Να γράψουν σύντομο κώδικα που μετατρέπει τα είσοδο topics του Kafka σε εξόδου topics του Kafka
• Να δημιουργήσουν, να πακετάρουν και να αναδημιουργήσουν την εφαρμογή

Ακροατήριο

• Προγραμματιστές

Μορφή της εκπαίδευσης

• Τμήμα ομιλία, τμήμα συζήτηση, ασκήσεις και πολύ χέρι-πάνω εξάσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για οργάνωση

Αυτή η ζωντανή εκπαίδευση στο Ελλάδα (διαδικτυακό ή επιτόπου) από εκπαιδευτές απευθύνεται σε διαχειριστές συστημάτων αρχαρίου έως μεσαίου επιπέδου που επιθυμούν να μάθουν πώς να διαχειρίζονται αποτελεσματικά θέματα Kafka για αποτελεσματική ροή και επεξεργασία δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις θεμελιώδεις αρχές και την αρχιτεκτονική του θέματος του Κάφκα.
• Δημιουργήστε, διαμορφώστε και διαχειριστείτε θέματα Kafka.
• Παρακολουθήστε θέματα Kafka για υγεία, απόδοση και διαθεσιμότητα.
• Εφαρμογή μέτρων ασφαλείας για θέματα Κάφκα.

Αυτή η εκπαίδευση με εξηγητή, ζωντανά σε Ελλάδα (online ή on-site), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το στακ SMACK για να κατασκευάσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εφαρμόσουν μια αρχιτεκτονική διαδίκτυου δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξουν υποδομή κλαστηρικής τόπου με Apache Mesos και Docker.
• Ανάλυση δεδομένων με Spark και Scala.
• Διαχείριση ανοργανωμένων δεδομένων με Apache Cassandra.

Αυτή η εκπαιδευτική σειρά, υπό την καθοδήγηση αξιοφιλοτίμου εκπαιδευτή (online ή onsite), είναι απευθειωμένη σε διαμορφώτες που θέλουν να μετατρέψουν την παραδοσιακή αρχιτεκτονική σε μια υποδοχή πολύ καλά παραλληλίστων μικρούπηρεσιών με τη χρήση Spring Cloud, Kafka, Docker, Kubernetes και Redis.

Εκ του σύμπαντος αυτής της εκπαίδευσης, οι διαμορφωτές θα μπορούν να:

• Ρυθμίσουν το απαραίτητο περιβάλλον ανάπτυξης για τη δημιουργία μικρούπηρεσιών.
• Σχεδιάσουν και υλοποιήσουν ένα πολύ παράλληλο περιβάλλον μικρούπηρεσιών χρησιμοποιώντας Spring Cloud, Kafka, Redis, Docker και Kubernetes.
• Μετατρέψουν τις μονολιθικές και SOA υπηρεσίες σε αρχιτεκτονική μικρούπηρεσιών.
• Εφαρμόσουν ένα DevOps προσέγγιση στην ανάπτυξη, δοκιμασία και εκδοχή λογισμικού.
• Εξασφαλίζουν υψηλό παράλληλο λειτουργικό μεταξύ των μικρούπηρεσιών στην παραγωγή.
• Παρακολουθούν τις μικρούπηρεσίες και εφαρμόζουν στρατηγικές ανάκαμψης.
• Εκτελούν προσαυξητική ρύθμιση επιδόσεως.
• Μαθαίνουν για μέλλοντας τάσεις στην αρχιτεκτονική μικρούπηρεσιών.