Stream Processing Training Courses

Apache ανάφλεξη είναι μια πλατφόρμα πληροφορικής στη μνήμη που βρίσκεται μεταξύ της εφαρμογής και του επιπέδου δεδομένων για να βελτιώσει την ταχύτητα, την κλίμακα και τη διαθεσιμότητα 。

σε αυτή την εκπαιδευτική, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν τις αρχές πίσω από την επίμονη και καθαρή Αποθήκευση στη μνήμη, καθώς περνούν μέσα από τη δημιουργία ενός δείγματος πληροφορικής στη μνήμη.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

- Use ανάφλεξη για τη μνήμη, την επιμονή στο δίσκο, καθώς και μια καθαρά κατανεμημένη βάση δεδομένων στη μνήμη.
- επίτευξη επιμονή χωρίς συγχρονισμό δεδομένων πίσω σε μια σχεσιακή βάση δεδομένων.
- Use ανάφλεξη για την εκτέλεση SQL και κατανεμημένων συνδέσμων.
- Βελτιώστε την απόδοση μετακινώντας τα δεδομένα πιο κοντά στη CPU, χρησιμοποιώντας τη μνήμη RAM ως αποθηκευτικό χώρο.
- αναπτύγματος σύνολα δεδομένων σε ένα σύμπλεγμα για την επίτευξη οριζόντιας κλιμάκωσης.
- Ενσωματώστε την ανάφλεξη με RDBMS, NoSQL, Hada και επεξεργαστές μηχανικής μάθησης.

μορφή του μαθήματος

- διαδραστική διάλεξη και συζήτηση.
- πολλές ασκήσεις και εξάσκηση.
- εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

επιλογές προσαρμογής μαθήματος

- για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσετε.

Apache Apex is a YARN-native platform that unifies stream and batch processing. It processes big data-in-motion in a way that is scalable, performant, fault-tolerant, stateful, secure, distributed, and easily operable.

This instructor-led, live training introduces Apache Apex's unified stream processing architecture, and walks participants through the creation of a distributed application using Apex on Hadoop.

By the end of this training, participants will be able to:

- Understand data processing pipeline concepts such as connectors for sources and sinks, common data transformations, etc.
- Build, scale and optimize an Apex application
- Process real-time data streams reliably and with minimum latency
- Use Apex Core and the Apex Malhar library to enable rapid application development
- Use the Apex API to write and re-use existing Java code
- Integrate Apex into other applications as a processing engine
- Tune, test and scale Apex applications

Audience

- Developers
- Enterprise architects

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Beam is an open source, unified programming model for defining and executing parallel data processing pipelines. It's power lies in its ability to run both batch and streaming pipelines, with execution being carried out by one of Beam's supported distributed processing back-ends: Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow. Apache Beam is useful for ETL (Extract, Transform, and Load) tasks such as moving data between different storage media and data sources, transforming data into a more desirable format, and loading data onto a new system.

In this instructor-led, live training (onsite or remote), participants will learn how to implement the Apache Beam SDKs in a Java or Python application that defines a data processing pipeline for decomposing a big data set into smaller chunks for independent, parallel processing.

By the end of this training, participants will be able to:

- Install and configure Apache Beam.
- Use a single programming model to carry out both batch and stream processing from withing their Java or Python application.
- Execute pipelines across multiple environments.

Audience

- Developers

Format of the Course

- Part lecture, part discussion, exercises and heavy hands-on practice

Note

- This course will be available Scala in the future. Please contact us to arrange.

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

- εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
- χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
- Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
- βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
- ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

- διαΔραστική διάλεξη και συζήτηση.
- πολλές ασκήσεις και εξάσκηση.
- hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

- αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
- να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

το

Apache Flink είναι ένα πλαίσιο ανοικτού κώδικα για την επεξεργασία δεδομένων ροής και παρτίδας με δυνατότητα κλιμάκωσης.

αυτή η καθοδηγούμενη από εκπαιδευτικούς, ζωντανή εκπαίδευση εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη ροή και την επεξεργασία δεδομένων παρτίδας, και βαδίζει προς τους συμμετέχοντες μέσω της δημιουργίας μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

- Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων.
- πακέτο, εκτέλεση και παρακολούθηση εφαρμογών με βάση το Flink, ανοχή σε σφάλματα, ροή δεδομένων.
- διαχείριση διαφορετικών φόρτων εργασίας.
- εκτέλεση προηγμένων αναλύσεων με χρήση του Flink ML.
- Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων.
- μετρο και βελτιστοποίηση των επιδόσεων.
- Ενσωματώστε το Flink με διαφορετικά συστήματα μαζικών δεδομένων.
- συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων μεγάλων πλαισίων επεξεργασίας δεδομένων.

Format του μαθήματος

- PART διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Stream Processing refers to the real-time processing of "data in motion", that is, performing computations on data as it is being received. Such data is read as continuous streams from data sources such as sensor events, website user activity, financial trades, credit card swipes, click streams, etc. Stream Processing frameworks are able to read large volumes of incoming data and provide valuable insights almost instantaneously.

In this instructor-led, live training (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

- Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming
- Understand and select the most appropriate framework for the job
- Process of data continuously, concurrently, and in a record-by-record fashion
- Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
- Integrating the most appropriate stream processing library with enterprise applications and microservices

Audience

- Developers
- Software architects

Format of the Course

- Part lecture, part discussion, exercises and heavy hands-on practice

Notes

- To request a customized training for this course, please contact us to arrange.

Kafka Streams is a client-side library for building applications and microservices whose data is passed to and from a Kafka messaging system. Traditionally, Apache Kafka has relied on Apache Spark or Apache Storm to process data between message producers and consumers. By calling the Kafka Streams API from within an application, data can be processed directly within Kafka, bypassing the need for sending the data to a separate cluster for processing.

In this instructor-led, live training, participants will learn how to integrate Kafka Streams into a set of sample Java applications that pass data to and from Apache Kafka for stream processing.

By the end of this training, participants will be able to:

- Understand Kafka Streams features and advantages over other stream processing frameworks
- Process stream data directly within a Kafka cluster
- Write a Java or Scala application or microservice that integrates with Kafka and Kafka Streams
- Write concise code that transforms input Kafka topics into output Kafka topics
- Build, package and deploy the application

Audience

- Developers

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Notes

- To request a customized training for this course, please contact us to arrange

In this instructor-led, live training, participants will learn the core concepts behind MapR Stream Architecture as they develop a real-time streaming application.

By the end of this training, participants will be able to build producer and consumer applications for real-time stream data procesing.

Audience

- Developers
- Administrators

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Note

- To request a customized training for this course, please contact us to arrange.

Apache NiFi (Hortonworks DataFlow) is a real-time integrated data logistics and simple event processing platform that enables the moving, tracking and automation of data between systems. It is written using flow-based programming and provides a web-based user interface to manage dataflows in real time.

In this instructor-led, live training (onsite or remote), participants will learn how to deploy and manage Apache NiFi in a live lab environment.

By the end of this training, participants will be able to:

- Install and configure Apachi NiFi.
- Source, transform and manage data from disparate, distributed data sources, including databases and big data lakes.
- Automate dataflows.
- Enable streaming analytics.
- Apply various approaches for data ingestion.
- Transform Big Data and into business insights.

Format of the Course

- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.

Course Customization Options

- To request a customized training for this course, please contact us to arrange.

το

Apache NiFi (Hortonworks DataFlow) είναι μια ολοκληρωμένη εφοδιαστική δεδομένων σε πραγματικό χρόνο και μια απλή πλατφόρμα επεξεργασίας συμβάντων που επιτρέπει τη μετακίνηση, την παρακολούθηση και την αυτοματοποίηση των δεδομένων μεταξύ των συστημάτων. Είναι γραμμένο με βάση τον προγραμματισμό που βασίζεται σε ροές και παρέχει ένα περιβάλλον εργασίας χρήστη που βασίζεται στο Web για τη διαχείριση των δεδομένων σε πραγματικό χρόνο.

σε αυτό το εκπαιδευτή, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού με βάση τη ροή, καθώς αναπτύσσουν μια σειρά από επεκτάσεις demo, στοιχεία και επεξεργαστές χρησιμοποιώντας Apache NiFi.

μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

- Κατανοήστε τις έννοιες του NiFi & #39; s και της αρχιτεκτονικής δεδομένων.
- Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων κατασκευαστών.
- Custom αναπτύξουν τον δικό τους επεξεργαστή Apache Nifi.
- καταπιεί και να επεξεργαστεί δεδομένα σε πραγματικό χρόνο από ανόμοιες και ασυνήθιστες μορφές αρχείων και προελεύσεις δεδομένων.

μορφή του μαθήματος

- διαδραστική διάλεξη και συζήτηση.
- πολλές ασκήσεις και εξάσκηση.
- εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

επιλογές προσαρμογής μαθήματος

- για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσετε.

Apache Samza is an open-source near-realtime, asynchronous computational framework for stream processing. It uses Apache Kafka for messaging, and Apache Hadoop YARN for fault tolerance, processor isolation, security, and resource management.

This instructor-led, live training introduces the principles behind messaging systems and distributed stream processing, while walking participants through the creation of a sample Samza-based project and job execution.

By the end of this training, participants will be able to:

- Use Samza to simplify the code needed to produce and consume messages.
- Decouple the handling of messages from an application.
- Use Samza to implement near-realtime asynchronous computation.
- Use stream processing to provide a higher level of abstraction over messaging systems.

Audience

- Developers

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Storm is a distributed, real-time computation engine used for enabling real-time business intelligence. It does so by enabling applications to reliably process unbounded streams of data (a.k.a. stream processing).

"Storm is for real-time processing what Hadoop is for batch processing!"

In this instructor-led live training, participants will learn how to install and configure Apache Storm, then develop and deploy an Apache Storm application for processing big data in real-time.

Some of the topics included in this training include:

- Apache Storm in the context of Hadoop
- Working with unbounded data
- Continuous computation
- Real-time analytics
- Distributed RPC and ETL processing

Request this course now!

Audience

- Software and ETL developers
- Mainframe professionals
- Data scientists
- Big data analysts
- Hadoop professionals

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Tigon is an open-source, real-time, low-latency, high-throughput, native YARN, stream processing framework that sits on top of HDFS and HBase for persistence. Tigon applications address use cases such as network intrusion detection and analytics, social media market analysis, location analytics, and real-time recommendations to users.

This instructor-led, live training introduces Tigon's approach to blending real-time and batch processing as it walks participants through the creation a sample application.

By the end of this training, participants will be able to:

- Create powerful, stream processing applications for handling large volumes of data
- Process stream sources such as Twitter and Webserver Logs
- Use Tigon for rapid joining, filtering, and aggregating of streams

Audience

- Developers

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice