Πρακτική Εισαγωγή στην Ροή Δεδομένων Κομμάτι εκπαίδευσης
Η Ροή Δεδομένων αναφέρεται στην πραγματικό χρόνο επεξεργασία των «δεδομένων σε κίνηση», δηλαδή, η εκτέλεση υπολογισμών σε δεδομένα καθώς αυτά λαμβάνονται. Τέτοια δεδομένα διαβάζονται ως συνεχείς ροές από πηγές δεδομένων όπως γεγονότα αισθητήρων, δραστηριότητα χρηστών σε ιστότοπους, χρηματιστηριακές συναλλαγές, εγγραφή πιστωτικών καρτών, ροές κλίκ, κλπ. Τα πλαίσια Ροής Δεδομένων μπορούν να διαβάζουν μεγάλα τόμες εισερχόμενων δεδομένων και να παρέχουν αξιόλογες εισβλέψεις σχεδόν άμεσα.
Σε αυτή την καθοδήγηση υπό διεύθυνση εκπαιδευτή (προσωπικά ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να ρυθμίζουν και να ενσωματώνουν διάφορα πλαίσια Ροής Δεδομένων σε υπάρχουσες συστήματα αποθήκης μεγάλων δεδομένων και σχετικές λογισμικές εφαρμογές και μικρουσλογισμικά.
Στο τέλος αυτής της καθοδήγησης, οι συμμετέχοντες θα είναι σε θέση να:
- Να εγκαθιστούν και να ρυθμίζουν διάφορα πλαίσια Ροής Δεδομένων, όπως το Spark Streaming και Kafka Streaming.
- Να καταλαβαίνουν και να επιλέγουν το πιο κατάλληλο πλαίσιο για τη συγκεκριμένη εργασία.
- Να επεξεργάζονται δεδομένα συνεχώς, παράλληλα και ένα-από-ένα.
- Να ενσωματώνουν λύσεις Ροής Δεδομένων σε υπάρχουσες βάσεις δεδομένων, data warehouses, data lakes, κλπ.
- Να ενσωματώνουν την πιο κατάλληλη βιβλιοθήκη ροής δεδομένων σε επιχειρηματικές εφαρμογές και μικρουσλογισμικά.
Απευθύνεται σε:
- Προγραμματιστές
- Σχεδιαστές λογισμικού
Μορφή του μαθήματος:
- Μέρος ημερίδα, μέρος συζήτηση, ασκήσεις και πλούσιες εργασίες χειρονομίας
Εξέλιξη Κομματιού
Εισαγωγή
- Ροή δεδομένων από τη σύρρευση δεδομένων
- Ανάλυση-κεντρική ροή δεδομένων
Περίληψη των πλαισίων και γλωσσών προγραμματισμού
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Σύγκριση των χαρακτηριστικών και των πλεονεκτιών κάθε πλαισίου
Περίληψη των πηγών δεδομένων
- Ζωντανά δεδομένα ως σειρά γεγονότων με την πάροδο του χρόνου
- Ιστορικές πηγές δεδομένων
Επιλογές χαλίβαρκα
- Στον νεφέλη (AWS, κλπ.)
- Στο υποδοχείο (ιδιωτική νεφέλη, κλπ.)
Έναρξη
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση και ρύθμιση
- Αξιολόγηση των αναγκών ανάλυσης δεδομένων σας
Επιχείρημα ενός πλαισίου ροής
- Ενσωμάτωση του πλαισίου ροής με εργαλεία μεγάλων δεδομένων
- Επεξεργασία γεγονότων (ESP) vs Σύνθετη επεξεργασία γεγονότων (CEP)
- Μετατροπή των δεδομένων εισόδου
- Έλεγχος των δεδομένων εξόδου
- Ενσωμάτωση του πλαισίου ροής με υπάρχουσες εφαρμογές και μικρουσλογισμικά
Εντόπιση προβλημάτων
Περίληψη και συμπέρασμα
Απαιτήσεις
- Πείρα προγραμματισμού σε οποιαδήποτε γλώσσα
- Κατανόηση των εννοιών μεγάλων δεδομένων (Hadoop, κλπ.)
Κομμάτια Εκπαίδευσης χρειάζονται 5+ συμμετέχοντες.
Πρακτική Εισαγωγή στην Ροή Δεδομένων Κομμάτι εκπαίδευσης - Κράτηση
Πρακτική Εισαγωγή στην Ροή Δεδομένων Κομμάτι εκπαίδευσης - Ζήτημα Συμβουλευτικής
Πρακτική Εισαγωγή στην Ροή Δεδομένων - Συμβουλευτική Αίτημα
Σχόλια (1)
Αρκετή πρακτική, ο εκπαιδευτής είναι γνωσιακά κατάλληλος
Chris Tan
Κομμάτι - A Practical Introduction to Stream Processing
Μηχανική Μετάφραση
Εφεξής Μαθήματα
Σχετικά Μαθήματα
Γενική Διαχείρηση του Confluent Apache Kafka
21 ΏρεςConfluent Apache Kafka είναι μια διανημένη πλataforma συνεχούς ροής γεγονότων, σχεδιασμένη για ακραίους ροές δεδομένων και πραγματικά χρονικά αναλυτικά.
Αυτή η εξέλιξη με διδάσκων (διαδικτύου ή σε πρόσθετο χώρο) στοχεύει σε αναπτυγμένους επαγγελματίες διαχειριστών συστημάτων και DevOps οι οποίοι επιθυμούν να εγκαταστήσουν, ρυθμίσουν, διαχειριστούν και παρακολουθήσουν clusters Confluent Apache Kafka.
Στο τέλος αυτής της εξέλιξης, οι συμμετέχοντες θα μπορούν να:
- Συνεισφέρουν στους συνιστώτες και τη δομή του Confluent Kafka.
- Αποδίδουν και διαχειρίζονται Kafka brokers, Zookeeper quorums και βασικά υπηρεσίες.
- Ρυθμίζουν προόντωστα χαρακτηριστικά συμπεριλαμβανομένων της ασφάλειας, της αντιγραφής και του tuning παραγωγικότητας.
- Χρησιμοποιούν εργαλεία διαχείρισης για την παρακολούθηση και διαμόρφωση Kafka clusters.
Στοιχεία Κατασκευής
- Διαδοχική ομιλία και συζήτηση.
- Πολλά ασκήσεις και πράξη.
- Ανάπτυξη χειρόν τα διαθέσιμου ενδιαιμονείου.
Πλήρωμα Τύπου Διαδικασίας
- Για να απαιτήσετε προσαρμογένεια εξέλιξης για αυτό το δάσκαλο, παρακαλώ συνδεθείτε μαζί μας για να καταμαρτύρησε.
Apache Kafka Connect
7 ΏρεςΑυτή η εκπαίδευση με εγχειρίζοντα, διαγωνισμένη σε Ελλάδα (online ή onsite), απευθύνεται σε πρόγραμμα-αναπτυξιακούς που επιθυμούν να ολοκληρώσουν την ένταξη του Apache Kafka με υφιστάμενες βάσεις δεδομένων και εφαρμογές για περαιτέρω επεξεργασία, ανάλυση, κλπ.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Χρησιμοποιήσουν το Kafka Connect για την εισαγωγή μεγάλων ποσοτήτων δεδομένων από μια βάση δεδομένων σε θέματα Kafka.
- Εισάγουν καταγραφικά δεδομένα που παράγονται από εξυπηρετητές εφαρμογών σε θέματα Kafka.
- Καθιστούν κάθε συλλεχθέν δεδομένο διαθέσιμο για τη ροή επεξεργασίας.
- Εξάγουν δεδομένα από θέματα Kafka σε δευτερεύουσες συστήματα για αποθήκευση και ανάλυση.
Confluent Apache Kafka: Επιχειρήσεις και Κατάρτιση Συνδέσμου
16 ΏρεςConfluent Apache Kafka είναι ένα πλατφόρμα διακοσμητικής κυκλοφορίας γεγονέων με υποστήριξη επιχειρηματικών επιπέδων που βασίζεται στο Apache Kafka. Υποστηρίζει κύλιση δεδομένων με υψηλή θετικότητα, αντοχή σε λάθους και εφαρμογές πραγματικής ώρας.
Αυτό το εξειδικευμένο διδασκαλία (online ή σε υπόθεση) στοχεύει σε μεσαίου επιπέδου μηχανικούς και διαχειριστές που επιθυμούν να εγκαταστήσουν, ρυθμίσουν και οικοδομήσουν Confluent Kafka συμπεριφορές σε παραγωγικά περιβάλλοντα.
Στο τέλος αυτής της εκπαιδεύσης, οι συμμετέχοντες θα μπορούν να:
- Εγκαταστήσουν, ρυθμίσουν και λειτουργήσουν Confluent Kafka συμπεριφορές με πολλά οδηγούς.
- Εκτυπώσουν διαθέσιμες αρχιτεκτονικές υψηλής αξιοπιστίας χρησιμοποιώντας Zookeeper και τεχνικές αντιγραφής.
- Τουνάζουν την παραγωγικότητα, ελέγχουν τα μετρήματα και εφαρμόζουν στρατηγικές αποκάμψης.
- Εγκαθιδρύσουν, μεγαλώνουν και διευρύνουν το Kafka με επιχειρηματικά περιβάλλοντα.
Σχήμα της Κατεύθυνσης
- Εργασία και συζήτηση.
- Πολλά ασκήσεις και πρακτική οικοδομή.
- Η έργου μέσα σε ζωντανό-πείρα περιβάλλον.
Πιθανές τροποποιήσεις της Εκπαιδεύσεως
- Για να αίτησε μια προσαρμοσμένη εκπαίδευση για αυτή την κατεύθυνση, καλέστε μας να σχεδιάσουμε.
Building Kafka Solutions with Confluent
14 ΏρεςΑυτή η εκπαίδευση με οδηγό (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να χρησιμοποιήσουν το Confluent (έναν κατανεμημένο Kafka) για να κατασκευάσουν και διαχειριστούν μια πλατφόρμα επεξεργασίας πραγματικών δεδομένων σε πραγματικό χρόνο για τις εφαρμογές τους.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Εγκαταστήσουν και ρύθμισουν το Confluent Platform.
- Χρησιμοποιήσουν τα εργαλεία διαχείρισης και υπηρεσίες του Confluent για να λειτουργήσει ο Kafka με απλότερο τρόπο.
- Αποθηκεύσουν και επεξεργάσουν τα εισερχόμενα δεδομένα ροών.
- Βελτιώσουν και να διαχειριστούν συνόλως τα clusters του Kafka.
- Να ασφαλίσουν τις ροές δεδομένων.
Μορφή της Εκπαίδευσης
- Αλληλεπίδραση, διάλεξη και συζήτηση.
- Εκτενές ασκηματολόγιο και πρακτική εφαρμογή.
- Χειρονομία σε ζωντανό lab περιβάλλον.
Επιλογές Προσαρμογής της Εκπαίδευσης
- Αυτή η εκπαίδευση βασίζεται στην ανοιχτό κώδικα εκδοχή του Confluent: Confluent Open Source.
- Για να παραγάγετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για οργάνωση.
Building Data Pipelines with Apache Kafka
7 ΏρεςO Apache Kafka είναι ένα κατανεμημένο πρότυπο ροών. Είναι αποδεκτός ως πρότυπο για τη δημιουργία data pipelines και εξυπηρετεί πολλές διάφορες εφαρμογές σχετικά με την επεξεργασία δεδομένων: μπορεί να χρησιμοποιηθεί ως ουρά μηνυμάτων, κατανεμημένος κλόγκος (log), προεστημένος για την επεξεργασία ροών, κλπ.
Θα ξεκινήσουμε με κάποια θεωρία πίσω από τα data pipelines σε γενικές γραμμές, στη συνέχεια θα συνεχίσουμε με βασικά όρια και εννοιών πίσω από το Kafka. Θα δούμε επίσης σημαντικά συστατικά, όπως τα Kafka Streams και το Kafka Connect.
Distributed Messaging with Apache Kafka
14 ΏρεςTo εκπαιδευτικό πρόγραμμα απευθύνεται σε επιχειρηματικούς αρχιτέκτονες, διευθυντές ανάπτυξης, διαχειριστές συστημάτων και οποιονδήποτε επιθυμεί να καταλάβει και να χρησιμοποιήσει μια σύστημα διανομένων μηνυμάτων υψηλής διέγερσης. Εάν έχετε πιο συγκεκριμένες απαιτήσεις (για παράδειγμα, μόνο την πλευρά διαχείρισης συστήματος), αυτό το εκπαιδευτικό πρόγραμμα μπορεί να προσαρμοστεί καλύτερα για να ικανοποιήσει τις ανάγκες σας.
Kafka για Διαχειριστές
21 ΏρεςΑυτή η διαδραστική, ζωντανή εκπαίδευση υποδοχής από εκπαιδευτικό σε Ελλάδα (online ή on-site) απευθύνεται σε νέους/μεσαίου βαθμού/προχωρημένους διαχειριστές και μηχανικούς λειτουργίας που επιθυμούν να χρησιμοποιήσουν το Apache Kafka για την εγκατάσταση, διασφάλιση ασφάλειας, παρακολούθηση και λύση προβλημάτων συστημάτων Kafka.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να: εξηγήσουν την αρχιτεκτονική Kafka και το κλάδημα KRaft, να διαχειρίζονται και να διασφαλίζουν την ασφάλεια συστημάτων Kafka, να παρακολουθούν την απόδοση και την έγκυρη λειτουργία, καθώς και να επιλύουν κοινά προβλήματα παραγωγής.
Apache Kafka για Προγραμματιστές
21 ΏρεςΑυτή η εκπαίδευση με καθηγητική υποστήριξη (online ή on-site) απευθύνεται σε διαμεσοβάθμιου επιπέδου προγραμματιστές που επιθυμούν να αναπτύξουν εφαρμογές μεγάλων δεδομένων (big data) με τη χρήση Apache Kafka.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Αναπτύξουν παραγωγούς (producers) και χρήστες (consumers) Kafka για αποστολή και διάβασμα δεδομένων από τη Kafka.
- Να ολοκληρώσουν την ενσωμάτωση του Kafka με εξωτερικά συστήματα χρησιμοποιώντας το Kafka Connect.
- Να γράψουν πληροφοριακές εφαρμογές με το Kafka Streams & ksqlDB.
- Να ολοκληρώσουν την ενσωμάτωση μιας κλίντ εφαρμογής Kafka με τη Confluent Cloud για υποδοχή στην έναν κλωνίδα.
- Να αποκτήσουν πρακτική εμπειρία μέσω εξασκήσεων χειρονομίας και πραγματικών περιπτώσεων χρήσης.
Apache Kafka για Προγραμματιστές Python
7 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.
Βασικά Προσανατολισμένα στο Kafka για Java Διευθυντές
14 ΏρεςΑυτή η εκπαίδευση με καθηγητή (online ή on-site) απευθύνεται σε διαμεσολαβητές Java προγραμματιστές που επιθυμούν να ολοκληρώσουν το Apache Kafka στις εφαρμογές τους για αξιόπιστη, μεγεθοσκοπήσιμη και υψηλής παραγωγότητας νοημάτων.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Κατανοήσουν την αρχιτεκτονική και τα βασικά συστατικά της Kafka.
- Προσδιορίσουν και ρυθμίσουν ένα cluster της Kafka.
- Δημιουργήσουν και κατανέμουν μηνύματα χρησιμοποιώντας Java.
- Εφαρμόσουν το Kafka Streams για πραγματική επεξεργασία δεδομένων.
- Εξασφαλίσουν τη συνεχή λειτουργία και τη μεγεθοσκοπία σε εφαρμογές Kafka.
Administration of Kafka Message Queue
14 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακή ή επιτόπου) απευθύνεται σε διαχειριστές συστήματος μεσαίου επιπέδου που επιθυμούν να αξιοποιήσουν αποτελεσματικά τις δυνατότητες ουράς μηνυμάτων του Κάφκα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις δυνατότητες και την αρχιτεκτονική της ουράς μηνυμάτων του Κάφκα.
- Διαμόρφωση θεμάτων Kafka για σενάρια ουράς μηνυμάτων.
- Δημιουργήστε και καταναλώστε μηνύματα χρησιμοποιώντας τον Κάφκα.
- Παρακολούθηση και διαχείριση του Κάφκα ως ουρά μηνυμάτων.
Ασφάλεια για το Apache Kafka
7 ΏρεςΑυτή η κατεύθυνση υπό οδηγία εκπαιδευτικού, ζωντανή στο Ελλάδα (online ή on-site), απευθύνεται σε λογισμικούς δοκιμαστές που επιθυμούν να εφαρμόσουν μέτρα ασφάλειας του δικτύου σε μια εφαρμογή Apache Kafka.
Μέχρι το τέλος αυτής της κατεύθυνσης, οι συμμετέχοντες θα μπορούν να:
- Εγκαταστήσουν το Apache Kafka σε διακομιστή που βασίζεται στο ράκη.
- Υλοποιήσουν κρυπτογράφηση SSL για να αποτρέψουν επιθέσεις.
- Προσθέσουν πίστωση ACL για την καταγραφή και έλεγχο της πρόσβασης χρηστών.
- Εξασφαλίσουν ότι οι αξιόπιστες πελάτες έχουν πρόσβαση σε κλωστές Kafka με κρυπτογράφηση SSL και SASL.
Apache Kafka και Spring Boot
7 ΏρεςΑυτή η εποπτευόμενη από δάσκαλους, ζωντανή εκπαίδευση στη Ελλάδα (online ή on-site) στρέφεται προς τους διάφορους επίπεδα ανάπτυξης που θέλουν να μάθουν τα βασικά του Kafka και να το ενσωματώσουν στο Spring Boot.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Κατανοήσουν το Kafka και την αρχιτεκτονική του.
- Μάθουν πώς να εγκαταστήσουν, ρυθμίσουν και να δημιουργήσουν ένα βασικό περιβάλλον Kafka.
- Ενσωματώσουν το Kafka στο Spring Boot.
Python και Spark για Μεγάλα Δεδομένα (PySpark)
21 ΏρεςΣε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
- Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
- Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.
Stratio: Ροκέτ και Δυναμικά Μόδουλα με PySpark
14 ΏρεςStratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.
Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
- Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
- Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
- Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.
Μορφή της Εκπαίδευσης
- Διεξοδική εισαγωγή και συζήτηση.
- Πολλά ασκήσεις και πρακτική.
- Αλληλεπίδραση σε μια live-lab περιβάλλον.
Επιλογές Διεξαγωγής Προσαρμοστικών
- Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.