Apache Kafka for Python Programmers Training Course

Το Apache Beam είναι ένα μοντέλο ανοιχτού κώδικα, ενοποιημένου προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Extract, Transform, and Load), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτή τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να εφαρμόζουν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητη, παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Beam.
• Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία κατά παρτίδες και ροή μέσα από την εφαρμογή τους Java ή Python.
• Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσετε και ρυθμίσετε το Confluent Platform.
• Χρησιμοποιήστε τους διαχειριστές εργαλεία και υπηρεσίες του Confluent για να λειτουργήσετε πιο εύκολα το Kafka.
• Αποθηκεύστε και επεξεργάστε εισερχόμενα συνεχή δεδομένα.
• Οργανώστε και διαχειρίστε τους κλάστερς Kafka.
• Ασφαλίστε τις ροές δεδομένων.

μορφή του μαθήματος

• Επικοινωνητικός διάλογος και συζήτηση.
• Πολλές ασκήσεις και πρακτική εμπειρία.
• Εφαρμογή με χειρόνομα σε ένα περιβάλλον live-lab.

επιλογές προσαρμογής μαθημάτων

• Αυτό το μάθημα βασίζεται στην ανοιχτή πηγή έκδοση του Confluent: Confluent Open Source.
• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσουμε.

Apache Kafka είναι μια κατανεμημένη πλατφόρμα ροής. Πρόκειται για de facto πρότυπο για την κατασκευή αγωγών δεδομένων και επιλύει πολλές διαφορετικές περιπτώσεις χρήσης γύρω από την επεξεργασία δεδομένων: μπορεί να χρησιμοποιηθεί ως ουρά μηνυμάτων, κατανεμημένο αρχείο καταγραφής, επεξεργαστής ροής κλπ.

Θα ξεκινήσουμε με κάποια θεωρία πίσω από τους αγωγούς δεδομένων γενικά, και στη συνέχεια θα συνεχίσουμε με βασικές έννοιες πίσω από τον Kafka. Θα ανακαλύψουμε επίσης σημαντικά στοιχεία όπως το Kafka Streams και το Kafka Connect.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων.
• Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly).
• Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα.
• Διαχειριστείτε διαφορετικούς φόρτους εργασίας.
• Εκτελέστε προηγμένες αναλύσεις.
• Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων.
• Μετρήστε και βελτιστοποιήστε την απόδοση.
• Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα.
• Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτό το μάθημα απευθύνεται σε αρχιτέκτονες επιχειρήσεων, προγραμματιστές, διαχειριστές συστημάτων και σε οποιονδήποτε θέλει να κατανοήσει και να χρησιμοποιήσει ένα σύστημα κατανεμημένων μηνυμάτων υψηλής απόδοσης. Αν έχετε πιο συγκεκριμένες απαιτήσεις (π.χ. μόνο πλευρά διαχείρισης συστήματος), αυτό το μάθημα μπορεί να προσαρμοστεί ώστε να ταιριάζει καλύτερα στις ανάγκες σας.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να καταλάβουν τις χαρισματικότητες και τις πλεονεξίες των Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Να επεξεργάζονται δεδομένα ρεύματος άμεσα μέσα σε ένα κλάστερ Kafka
• Να γράφουν μια εφαρμογή Java ή Scala ή μικρό υπηρεσία που συνδέεται με το Kafka και το Kafka Streams
• Να γράφουν σύντομο κώδικα που μετατρέπει εισερχόμενα θέματα Kafka σε έξοδα θέματα Kafka
• Να δημιουργήσουν, πακέτωσαν και εγκατέστησαν την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή της εκπαίδευσης

• Διάλεξη, συζήτηση, ασκήσεις και έμφανη πρακτική

Σημειώσεις

• Για να απαιτήσετε μια προσανατολισμένη εκπαίδευση για αυτό το κουρσέ, παρακαλώ επικοινωνήστε μαζί μας για να συμφωνήσετε

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν Apache Kafka επεξεργασία ροής χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε έναν αγωγό επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (όχι κωδικοποίηση Java ή Python).
• Πραγματοποιήστε το φιλτράρισμα δεδομένων, τους μετασχηματισμούς, τις συναθροίσεις, τις συνδέσεις, τα παράθυρα και τη συνεδρία εξ ολοκλήρου στο SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να μετατρέψουν την παραδοσιακή αρχιτεκτονική σε μια εξαιρετικά ταυτόχρονη αρχιτεκτονική βασισμένη σε μικροϋπηρεσίες χρησιμοποιώντας Spring Cloud, Kafka, Docker, Kubernetes και Redis.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για την κατασκευή μικροϋπηρεσιών.
• Σχεδιάστε και εφαρμόστε ένα εξαιρετικά ταυτόχρονο οικοσύστημα μικροϋπηρεσιών χρησιμοποιώντας Spring Cloud, Kafka, Redis, Docker και Kubernetes.
• Μετατρέψτε τις μονολιθικές υπηρεσίες και τις υπηρεσίες SOA σε αρχιτεκτονική βασισμένη σε μικροϋπηρεσίες.
• Υιοθετήστε μια προσέγγιση DevOps για την ανάπτυξη, τη δοκιμή και την κυκλοφορία λογισμικού.
• Εξασφάλιση υψηλής ταυτότητος μεταξύ των μικροϋπηρεσιών στην παραγωγή.
• Παρακολουθήστε τις μικροϋπηρεσίες και εφαρμόστε στρατηγικές ανάκτησης.
• Πραγματοποιήστε συντονισμό απόδοσης.
• Μάθετε για τις μελλοντικές τάσεις στην αρχιτεκτονική των μικροϋπηρεσιών.