Unified Batch and Stream Processing with Apache Beam Training Course

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες του Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Το Apache Samza είναι ένα ασύγχρονο υπολογιστικό πλαίσιο σχεδόν ανοικτού κώδικα για την επεξεργασία ροής. Χρησιμοποιεί το Apache Kafka για ανταλλαγή μηνυμάτων και το Apache Hadoop YARN για ανοχή σφάλματος, απομόνωση επεξεργαστή, ασφάλεια και διαχείριση πόρων.

Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση εισάγει τις αρχές πίσω από τα συστήματα ανταλλαγής μηνυμάτων και την επεξεργασία κατανεμημένων ροών, ενώ περπατούν οι συμμετέχοντες μέσω της δημιουργίας ενός δείγματος βασισμένου σε Samza έργου και εκτέλεσης εργασιών.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Χρησιμοποιήστε τη Samza για να απλοποιήσετε τον κώδικα που απαιτείται για την παραγωγή και κατανάλωση μηνυμάτων.
• Αποσυνδέστε το χειρισμό μηνυμάτων από μια εφαρμογή.
• Χρησιμοποιήστε τη Samza για την υλοποίηση ασύγχρονων υπολογισμών σχεδόν σε πραγματικό χρόνο.
• Χρησιμοποιήστε επεξεργασία ροής για να παρέχετε υψηλότερο επίπεδο αφαίρεσης από τα συστήματα μηνυμάτων.

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων. Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly). Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα. Διαχειριστείτε διαφορετικούς φόρτους εργασίας. Εκτελέστε προηγμένες αναλύσεις. Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων. Μετρήστε και βελτιστοποιήστε την απόδοση. Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα. Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτήν τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν μια σειρά από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Apache Storm είναι μια διανεμημένη μηχανή υπολογισμού σε πραγματικό χρόνο που χρησιμοποιείται για την παροχή επιχειρηματικής νοημοσύνης σε πραγματικό χρόνο. Το κάνει αυτό επιτρέποντας στις εφαρμογές να επεξεργάζονται αξιόπιστα απεριόριστα ρεύματα δεδομένων (π.χ. Διαχείριση ρεύματος).

"Storm είναι για επεξεργασία σε πραγματικό χρόνο τι Hadoop είναι για επεξεργασία συσκευών!"

Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να ρυθμίσουν Apache Storm και στη συνέχεια να αναπτύξουν και να αναπτύξουν μια Apache Storm εφαρμογή για την επεξεργασία μεγάλων δεδομένων σε πραγματικό χρόνο.

Μερικά από τα θέματα που περιλαμβάνονται σε αυτή την εκπαίδευση περιλαμβάνουν:

• Apache Storm στο πλαίσιο του Hadoop
• Εργασία με απεριόριστα δεδομένα
• Συνεχείς υπολογισμοί
• Ανάλυση σε πραγματικό χρόνο
• Διανεμημένη επεξεργασία RPC και ETL

Ζητήστε αυτή την πορεία τώρα!

Δημοσιογράφος

• Προγραμματιστές λογισμικού και ETL
• Επαγγελματίες Mainframe
• Επιστήμονες δεδομένων
• Big Data αναλυτές
• Hadoop Επαγγελματίες

Η μορφή της πορείας

• Μερική διάλεξη, Μερική συζήτηση, ασκήσεις και βαριά πρακτική

Το Apache Apex είναι μια εγγενής πλατφόρμα του YARN που ενοποιεί την επεξεργασία ροής και παρτίδας. Επεξεργάζεται μεγάλα δεδομένα σε κίνηση με τρόπο που είναι επεκτάσιμο, αποδοτικό, ανεκτικό σε σφάλματα, κατάσταση, ασφαλές, κατανεμημένο και εύκολα λειτουργικό.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει την ενοποιημένη αρχιτεκτονική επεξεργασίας ροής του Apache Apex και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας κατανεμημένης εφαρμογής χρησιμοποιώντας το Apex στο Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Κατανοήστε έννοιες αγωγών επεξεργασίας δεδομένων, όπως συνδέσεις για πηγές και καταβόθρες, συνήθεις μετασχηματισμούς δεδομένων, κ.λπ. Δημιουργήστε, κλιμακώστε και βελτιστοποιήστε μια εφαρμογή Apex Επεξεργαστείτε ροές δεδομένων σε πραγματικό χρόνο με αξιοπιστία και με ελάχιστο λανθάνοντα χρόνο Χρησιμοποιήστε το Apex Core και τη βιβλιοθήκη Apex Malhar για να ενεργοποιήσετε την ταχεία εφαρμογή ανάπτυξη Χρησιμοποιήστε το API Apex για να γράψετε και να επαναχρησιμοποιήσετε τον υπάρχοντα κώδικα Java Ενσωματώστε το Apex σε άλλες εφαρμογές ως μηχανή επεξεργασίας Συντονίστε, δοκιμάστε και κλιμακώστε τις εφαρμογές Apex

Μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και εξάσκηση. Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν επεξεργασία ροής Apache Kafka χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε μια διοχέτευση επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (χωρίς κωδικοποίηση Java ή Python).
• Πραγματοποιήστε φιλτράρισμα δεδομένων, μετασχηματισμούς, συναθροίσεις, συνδέσεις, παράθυρα και συνεδριάσεις εξ ολοκλήρου σε SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.