Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Εισαγωγή
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm και Flink
Εγκατάσταση και διαμόρφωση Apache Beam
Επισκόπηση Apache Beam Χαρακτηριστικά και Αρχιτεκτονική
- Beam Model, SDK, Beam Pipeline Runners Κατανεμημένα back-ends επεξεργασίας
Κατανόηση του μοντέλου Apache Beam Programming
- Πώς εκτελείται ένας αγωγός
Εκτέλεση ενός αγωγού δείγματος
- Προετοιμασία διοχέτευσης WordCount Εκτέλεση του Pipeline τοπικά
Σχεδιασμός αγωγού
- Σχεδιασμός της δομής, επιλογή των μετασχηματισμών και προσδιορισμός των μεθόδων εισόδου και εξόδου
Δημιουργία του αγωγού
- Σύνταξη του προγράμματος προγράμματος οδήγησης και καθορισμός του αγωγού Χρήση κλάσεων Apache Beam Σύνολα δεδομένων, μετασχηματισμοί, I/O, κωδικοποίηση δεδομένων κ.λπ.
Εκτέλεση του αγωγού
- Εκτέλεση του αγωγού τοπικά, σε απομακρυσμένα μηχανήματα και σε δημόσιο σύννεφο Επιλογή δρομέα Διαμορφώσεις ειδικών για Runner
Δοκιμή και εντοπισμός σφαλμάτων Apache Beam
- Χρήση υποδείξεων τύπου για εξομοίωση στατικής πληκτρολόγησης Διαχείριση Python Εξαρτήσεων αγωγών
Επεξεργασία δεσμευμένων και απεριόριστων συνόλων δεδομένων
- Παράθυρα και σκανδάλες
Κάνοντας τους αγωγούς σας επαναχρησιμοποιήσιμους και συντηρήσιμους
Δημιουργήστε νέες πηγές δεδομένων και καταβόθρες
- Apache Beam Source and Sink API
Ενσωμάτωση Apache Beam με άλλα Big Data συστήματα
- Απάτσι Hadoop, Απάτσι Σπαρκ, Απάτσι Κάφκα
Αντιμετώπιση προβλημάτων
Περίληψη και Συμπέρασμα
Requirements
- Εμπειρία στον προγραμματισμό Python.
- Εμπειρία με τη γραμμή εντολών Linux.
Ακροατήριο
- προγραμματιστές
14 Hours
Testimonials (1)
Sufficient hands on, trainer is knowledgable