Stream Processing Training Courses

Το Apache Samza είναι ένα ασύγχρονο υπολογιστικό πλαίσιο σχεδόν ανοικτού κώδικα για την επεξεργασία ροής. Χρησιμοποιεί το Apache Kafka για ανταλλαγή μηνυμάτων και το Apache Hadoop YARN για ανοχή σφάλματος, απομόνωση επεξεργαστή, ασφάλεια και διαχείριση πόρων. Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση εισάγει τις αρχές πίσω από τα συστήματα ανταλλαγής μηνυμάτων και την επεξεργασία κατανεμημένων ροών, ενώ περπατούν οι συμμετέχοντες μέσω της δημιουργίας ενός δείγματος βασισμένου σε Samza έργου και εκτέλεσης εργασιών. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Χρησιμοποιήστε τη Samza για να απλοποιήσετε τον κώδικα που απαιτείται για την παραγωγή και κατανάλωση μηνυμάτων.
• Αποσυνδέστε το χειρισμό μηνυμάτων από μια εφαρμογή.
• Χρησιμοποιήστε τη Samza για την υλοποίηση ασύγχρονων υπολογισμών σχεδόν σε πραγματικό χρόνο.
• Χρησιμοποιήστε επεξεργασία ροής για να παρέχετε υψηλότερο επίπεδο αφαίρεσης από τα συστήματα μηνυμάτων.

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Tigon is an open-source, real-time, low-latency, high-throughput, native YARN, stream processing framework that sits on top of HDFS and HBase for persistence. Tigon applications address use cases such as network intrusion detection and analytics, social media market analysis, location analytics, and real-time recommendations to users. This instructor-led, live training introduces Tigon's approach to blending real-time and batch processing as it walks participants through the creation a sample application. By the end of this training, participants will be able to:

• Create powerful, stream processing applications for handling large volumes of data
• Process stream sources such as Twitter and Webserver Logs
• Use Tigon for rapid joining, filtering, and aggregating of streams

Audience

• Developers

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Σε αυτόν τον οδηγό, με ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν τις βασικές έννοιες πίσω από την MapR Stream Architecture καθώς αναπτύσσουν μια εφαρμογή ροής σε πραγματικό χρόνο. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να δημιουργήσουν εφαρμογές παραγωγών και καταναλωτών για επεξεργασία δεδομένων ροής σε πραγματικό χρόνο. Κοινό

• Προγραμματιστές
• Διαχειριστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία. Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Stream Processing αναφέρεται στην Stream Processing σε πραγματικό χρόνο των "δεδομένων σε κίνηση", δηλαδή στην εκτέλεση υπολογισμών στα δεδομένα καθώς αυτά λαμβάνονται. Αυτά τα δεδομένα διαβάζονται ως συνεχείς ροές από πηγές δεδομένων όπως συμβάντα αισθητήρων, δραστηριότητα χρηστών ιστοτόπων, οικονομικά συναλλαγές, swipes πιστωτικών καρτών, ροές κλικ κλπ. Stream Processing πλαίσια Stream Processing είναι σε θέση να διαβάζουν μεγάλους όγκους εισερχόμενων δεδομένων και να παρέχουν πολύτιμες πληροφορίες σχεδόν στιγμιαία. Σε αυτόν τον εκπαιδευτή, ζωντανή εκπαίδευση (onsite ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να δημιουργήσουν και να ενσωματώσουν διαφορετικά πλαίσια Stream Processing με υπάρχοντα μεγάλα συστήματα αποθήκευσης δεδομένων και συναφείς εφαρμογές λογισμικού και μικροεπιχειρήσεις. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing , όπως Spark Streaming και Streaming Kafka.
• Κατανοήστε και επιλέξτε το καταλληλότερο πλαίσιο για την εργασία.
• Διαδικασία δεδομένων συνεχώς, ταυτόχρονα, και με τρόπο ρεκόρ ανά εγγραφή.
• Ενσωματώστε τις λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κλπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με επιχειρηματικές εφαρμογές και μικροεπιχειρήσεις.

Κοινό

• Προγραμματιστές
• Αρχιτέκτονες λογισμικού

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους. μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Kafka είναι μια πλατφόρμα επεξεργασίας ροής ανοικτού κώδικα που παρέχει μια γρήγορη, αξιόπιστη και χαμηλής ταχύτητας πλατφόρμα για την επεξεργασία ανάλυσης δεδομένων σε πραγματικό χρόνο. Apache Kafka μπορεί να ενσωματωθεί με διαθέσιμες γλώσσες προγραμματισμού όπως Python. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή online) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Apache Kafka χαρακτηριστικά σε ροή δεδομένων με Python. Μετά το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να χρησιμοποιούν Apache Kafka για την παρακολούθηση και τη διαχείριση των συνθηκών σε συνεχείς ροές δεδομένων χρησιμοποιώντας Python προγραμματισμό. Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

This instructor-led, live training in Ελλάδα introduces the principles and approaches behind distributed stream and batch data processing, and walks participants through the creation of a real-time, data streaming application in Apache Flink.

Apache NiFi (Hortonworks DataFlow) είναι μια ολοκληρωμένη πλατφόρμα επεξεργασίας δεδομένων σε πραγματικό χρόνο και απλή πλατφόρμα επεξεργασίας συμβάντων που επιτρέπει τη μετακίνηση, την παρακολούθηση και την αυτοματοποίηση δεδομένων μεταξύ συστημάτων. Γράφεται με προγραμματισμό βάσει ροής και παρέχει μια διεπαφή χρήστη που βασίζεται στον ιστό για τη διαχείριση ροών δεδομένων σε πραγματικό χρόνο. Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (επιτόπια ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να αναπτύξουν και να διαχειριστούν το Apache NiFi σε περιβάλλον εργαστηρίου. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε το Apachi NiFi.
• Πηγή, μετασχηματίζει και διαχειρίζεται δεδομένα από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων των βάσεων δεδομένων και των μεγάλων λιμνών δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποιήστε τα αναλυτικά ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την κατάποση δεδομένων.
• Μετασχηματισμός Big Data και επιχειρηματικές γνώσεις.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Apache NiFi (Hortonworks DataFlow) είναι μια ολοκληρωμένη πλατφόρμα επεξεργασίας δεδομένων σε πραγματικό χρόνο και απλή πλατφόρμα επεξεργασίας συμβάντων που επιτρέπει τη μετακίνηση, την παρακολούθηση και την αυτοματοποίηση δεδομένων μεταξύ συστημάτων. Γράφεται με προγραμματισμό βάσει ροής και παρέχει μια διεπαφή χρήστη που βασίζεται στον ιστό για τη διαχείριση ροών δεδομένων σε πραγματικό χρόνο. Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν τα βασικά στοιχεία του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν μια σειρά επεκτάσεων επίδειξης, εξαρτημάτων και επεξεργαστών που χρησιμοποιούν το Apache NiFi . Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε την αρχιτεκτονική και τις έννοιες ροής δεδομένων της NiFi.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας το API και τα API τρίτου μέρους.
• Προσαρμόστε το δικό του επεξεργαστή Apache Nifi.
• Κατανοήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Apache Storm είναι μια διανεμημένη μηχανή υπολογισμού σε πραγματικό χρόνο που χρησιμοποιείται για την παροχή επιχειρηματικής νοημοσύνης σε πραγματικό χρόνο. Το κάνει αυτό επιτρέποντας στις εφαρμογές να επεξεργάζονται αξιόπιστα απεριόριστα ρεύματα δεδομένων (π.χ. Διαχείριση ρεύματος). "Storm είναι για επεξεργασία σε πραγματικό χρόνο τι Hadoop είναι για επεξεργασία συσκευών!" Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να ρυθμίσουν Apache Storm και στη συνέχεια να αναπτύξουν και να αναπτύξουν μια Apache Storm εφαρμογή για την επεξεργασία μεγάλων δεδομένων σε πραγματικό χρόνο. Μερικά από τα θέματα που περιλαμβάνονται σε αυτή την εκπαίδευση περιλαμβάνουν:

Apache Storm στο πλαίσιο του Hadoop Εργασία με απεριόριστα δεδομένα Συνεχείς υπολογισμοί Ανάλυση σε πραγματικό χρόνο Διανεμημένη επεξεργασία RPC και ETL

Ζητήστε αυτή την πορεία τώρα! Δημοσιογράφος

Προγραμματιστές λογισμικού και ETL Επαγγελματίες Mainframe Επιστήμονες δεδομένων Big Data αναλυτές Hadoop Επαγγελματίες

Η μορφή της πορείας

    Μερική διάλεξη, Μερική συζήτηση, ασκήσεις και βαριά πρακτική

Apache Apex is a YARN-native platform that unifies stream and batch processing. It processes big data-in-motion in a way that is scalable, performant, fault-tolerant, stateful, secure, distributed, and easily operable. This instructor-led, live training introduces Apache Apex's unified stream processing architecture, and walks participants through the creation of a distributed application using Apex on Hadoop. By the end of this training, participants will be able to:

• Understand data processing pipeline concepts such as connectors for sources and sinks, common data transformations, etc.
• Build, scale and optimize an Apex application
• Process real-time data streams reliably and with minimum latency
• Use Apex Core and the Apex Malhar library to enable rapid application development
• Use the Apex API to write and re-use existing Java code
• Integrate Apex into other applications as a processing engine
• Tune, test and scale Apex applications

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam is an open source, unified programming model for defining and executing parallel data processing pipelines. It's power lies in its ability to run both batch and streaming pipelines, with execution being carried out by one of Beam's supported distributed processing back-ends: Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow. Apache Beam is useful for ETL (Extract, Transform, and Load) tasks such as moving data between different storage media and data sources, transforming data into a more desirable format, and loading data onto a new system. In this instructor-led, live training (onsite or remote), participants will learn how to implement the Apache Beam SDKs in a Java or Python application that defines a data processing pipeline for decomposing a big data set into smaller chunks for independent, parallel processing. By the end of this training, participants will be able to:

• Install and configure Apache Beam.
• Use a single programming model to carry out both batch and stream processing from withing their Java or Python application.
• Execute pipelines across multiple environments.

Format of the Course

• Part lecture, part discussion, exercises and heavy hands-on practice

Note

• This course will be available Scala in the future. Please contact us to arrange.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability. In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project. By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

This instructor-led, live training in Ελλάδα (online or onsite) is aimed at developers who wish to implement Apache Kafka stream processing without writing code. By the end of this training, participants will be able to:

• Install and configure Confluent KSQL.
• Set up a stream processing pipeline using only SQL commands (no Java or Python coding).
• Carry out data filtering, transformations, aggregations, joins, windowing, and sessionization entirely in SQL.
• Design and deploy interactive, continuous queries for streaming ETL and real-time analytics.

Apache Spark Streaming είναι ένα κλίμακας, open source σύστημα επεξεργασίας ροής που επιτρέπει στους χρήστες να επεξεργάζονται δεδομένα σε πραγματικό χρόνο από υποστηριζόμενες πηγές. Spark Streaming επιτρέπει την επεξεργασία ελαττωματικών ροών δεδομένων. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή online) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν χαρακτηριστικά Spark Streaming στη επεξεργασία και ανάλυση δεδομένων σε πραγματικό χρόνο. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να χρησιμοποιήσουν Spark Streaming για την επεξεργασία ζωντανών ροών δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και live dashboards. Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.