Real-Time Stream Processing with MapR Training Course

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν επεξεργασία ροής Apache Kafka χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε μια διοχέτευση επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (χωρίς κωδικοποίηση Java ή Python).
• Πραγματοποιήστε φιλτράρισμα δεδομένων, μετασχηματισμούς, συναθροίσεις, συνδέσεις, παράθυρα και συνεδριάσεις εξ ολοκλήρου σε SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Το Apache Beam είναι ένα ανοιχτού κώδικα, ενοποιημένο μοντέλο προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Εξαγωγή, Μεταμόρφωση και Φόρτωση), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτήν τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να υλοποιούν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητες παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Εγκαταστήστε και διαμορφώστε το Apache Beam. Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία δέσμης και ροής από την εφαρμογή Java ή Python. Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωση

Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Το Apache Apex είναι μια εγγενής πλατφόρμα του YARN που ενοποιεί την επεξεργασία ροής και παρτίδας. Επεξεργάζεται μεγάλα δεδομένα σε κίνηση με τρόπο που είναι επεκτάσιμο, αποδοτικό, ανεκτικό σε σφάλματα, κατάσταση, ασφαλές, κατανεμημένο και εύκολα λειτουργικό.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει την ενοποιημένη αρχιτεκτονική επεξεργασίας ροής του Apache Apex και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας κατανεμημένης εφαρμογής χρησιμοποιώντας το Apex στο Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Κατανοήστε έννοιες αγωγών επεξεργασίας δεδομένων, όπως συνδέσεις για πηγές και καταβόθρες, συνήθεις μετασχηματισμούς δεδομένων, κ.λπ. Δημιουργήστε, κλιμακώστε και βελτιστοποιήστε μια εφαρμογή Apex Επεξεργαστείτε ροές δεδομένων σε πραγματικό χρόνο με αξιοπιστία και με ελάχιστο λανθάνοντα χρόνο Χρησιμοποιήστε το Apex Core και τη βιβλιοθήκη Apex Malhar για να ενεργοποιήσετε την ταχεία εφαρμογή ανάπτυξη Χρησιμοποιήστε το API Apex για να γράψετε και να επαναχρησιμοποιήσετε τον υπάρχοντα κώδικα Java Ενσωματώστε το Apex σε άλλες εφαρμογές ως μηχανή επεξεργασίας Συντονίστε, δοκιμάστε και κλιμακώστε τις εφαρμογές Apex

Μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και εξάσκηση. Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Storm είναι μια διανεμημένη μηχανή υπολογισμού σε πραγματικό χρόνο που χρησιμοποιείται για την παροχή επιχειρηματικής νοημοσύνης σε πραγματικό χρόνο. Το κάνει αυτό επιτρέποντας στις εφαρμογές να επεξεργάζονται αξιόπιστα απεριόριστα ρεύματα δεδομένων (π.χ. Διαχείριση ρεύματος).

"Storm είναι για επεξεργασία σε πραγματικό χρόνο τι Hadoop είναι για επεξεργασία συσκευών!"

Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να ρυθμίσουν Apache Storm και στη συνέχεια να αναπτύξουν και να αναπτύξουν μια Apache Storm εφαρμογή για την επεξεργασία μεγάλων δεδομένων σε πραγματικό χρόνο.

Μερικά από τα θέματα που περιλαμβάνονται σε αυτή την εκπαίδευση περιλαμβάνουν:

• Apache Storm στο πλαίσιο του Hadoop
• Εργασία με απεριόριστα δεδομένα
• Συνεχείς υπολογισμοί
• Ανάλυση σε πραγματικό χρόνο
• Διανεμημένη επεξεργασία RPC και ETL

Ζητήστε αυτή την πορεία τώρα!

Δημοσιογράφος

• Προγραμματιστές λογισμικού και ETL
• Επαγγελματίες Mainframe
• Επιστήμονες δεδομένων
• Big Data αναλυτές
• Hadoop Επαγγελματίες

Η μορφή της πορείας

• Μερική διάλεξη, Μερική συζήτηση, ασκήσεις και βαριά πρακτική

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτήν τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν μια σειρά από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων. Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly). Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα. Διαχειριστείτε διαφορετικούς φόρτους εργασίας. Εκτελέστε προηγμένες αναλύσεις. Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων. Μετρήστε και βελτιστοποιήστε την απόδοση. Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα. Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Το Apache Samza είναι ένα ασύγχρονο υπολογιστικό πλαίσιο σχεδόν ανοικτού κώδικα για την επεξεργασία ροής. Χρησιμοποιεί το Apache Kafka για ανταλλαγή μηνυμάτων και το Apache Hadoop YARN για ανοχή σφάλματος, απομόνωση επεξεργαστή, ασφάλεια και διαχείριση πόρων.

Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση εισάγει τις αρχές πίσω από τα συστήματα ανταλλαγής μηνυμάτων και την επεξεργασία κατανεμημένων ροών, ενώ περπατούν οι συμμετέχοντες μέσω της δημιουργίας ενός δείγματος βασισμένου σε Samza έργου και εκτέλεσης εργασιών.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Χρησιμοποιήστε τη Samza για να απλοποιήσετε τον κώδικα που απαιτείται για την παραγωγή και κατανάλωση μηνυμάτων.
• Αποσυνδέστε το χειρισμό μηνυμάτων από μια εφαρμογή.
• Χρησιμοποιήστε τη Samza για την υλοποίηση ασύγχρονων υπολογισμών σχεδόν σε πραγματικό χρόνο.
• Χρησιμοποιήστε επεξεργασία ροής για να παρέχετε υψηλότερο επίπεδο αφαίρεσης από τα συστήματα μηνυμάτων.

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες του Apache Kafka στη ροή δεδομένων με το Python.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

To meet compliance of the regulators, CSPs (Communication service providers) can tap into Big Data Analytics which not only help them to meet compliance but within the scope of same project they can increase customer satisfaction and thus reduce the churn. In fact since compliance is related to Quality of service tied to a contract, any initiative towards meeting the compliance, will improve the “competitive edge” of the CSPs. Therefore, it is important that Regulators should be able to advise/guide a set of Big Data analytic practice for CSPs that will be of mutual benefit between the regulators and CSPs.

The course consists of 8 modules (4 on day 1, and 4 on day 2)