Samza for Stream Processing Training Course

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν επεξεργασία ροής Apache Kafka χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε μια διοχέτευση επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (χωρίς κωδικοποίηση Java ή Python).
• Πραγματοποιήστε φιλτράρισμα δεδομένων, μετασχηματισμούς, συναθροίσεις, συνδέσεις, παράθυρα και συνεδριάσεις εξ ολοκλήρου σε SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Το Apache Beam είναι ένα ανοιχτού κώδικα, ενοποιημένο μοντέλο προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Εξαγωγή, Μεταμόρφωση και Φόρτωση), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτήν τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να υλοποιούν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητες παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Εγκαταστήστε και διαμορφώστε το Apache Beam. Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία δέσμης και ροής από την εφαρμογή Java ή Python. Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωση

Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Το Apache Apex είναι μια εγγενής πλατφόρμα του YARN που ενοποιεί την επεξεργασία ροής και παρτίδας. Επεξεργάζεται μεγάλα δεδομένα σε κίνηση με τρόπο που είναι επεκτάσιμο, αποδοτικό, ανεκτικό σε σφάλματα, κατάσταση, ασφαλές, κατανεμημένο και εύκολα λειτουργικό.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει την ενοποιημένη αρχιτεκτονική επεξεργασίας ροής του Apache Apex και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας κατανεμημένης εφαρμογής χρησιμοποιώντας το Apex στο Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Κατανοήστε έννοιες αγωγών επεξεργασίας δεδομένων, όπως συνδέσεις για πηγές και καταβόθρες, συνήθεις μετασχηματισμούς δεδομένων, κ.λπ. Δημιουργήστε, κλιμακώστε και βελτιστοποιήστε μια εφαρμογή Apex Επεξεργαστείτε ροές δεδομένων σε πραγματικό χρόνο με αξιοπιστία και με ελάχιστο λανθάνοντα χρόνο Χρησιμοποιήστε το Apex Core και τη βιβλιοθήκη Apex Malhar για να ενεργοποιήσετε την ταχεία εφαρμογή ανάπτυξη Χρησιμοποιήστε το API Apex για να γράψετε και να επαναχρησιμοποιήσετε τον υπάρχοντα κώδικα Java Ενσωματώστε το Apex σε άλλες εφαρμογές ως μηχανή επεξεργασίας Συντονίστε, δοκιμάστε και κλιμακώστε τις εφαρμογές Apex

Μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και εξάσκηση. Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Storm είναι μια διανεμημένη μηχανή υπολογισμού σε πραγματικό χρόνο που χρησιμοποιείται για την παροχή επιχειρηματικής νοημοσύνης σε πραγματικό χρόνο. Το κάνει αυτό επιτρέποντας στις εφαρμογές να επεξεργάζονται αξιόπιστα απεριόριστα ρεύματα δεδομένων (π.χ. Διαχείριση ρεύματος).

"Storm είναι για επεξεργασία σε πραγματικό χρόνο τι Hadoop είναι για επεξεργασία συσκευών!"

Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να ρυθμίσουν Apache Storm και στη συνέχεια να αναπτύξουν και να αναπτύξουν μια Apache Storm εφαρμογή για την επεξεργασία μεγάλων δεδομένων σε πραγματικό χρόνο.

Μερικά από τα θέματα που περιλαμβάνονται σε αυτή την εκπαίδευση περιλαμβάνουν:

• Apache Storm στο πλαίσιο του Hadoop
• Εργασία με απεριόριστα δεδομένα
• Συνεχείς υπολογισμοί
• Ανάλυση σε πραγματικό χρόνο
• Διανεμημένη επεξεργασία RPC και ETL

Ζητήστε αυτή την πορεία τώρα!

Δημοσιογράφος

• Προγραμματιστές λογισμικού και ETL
• Επαγγελματίες Mainframe
• Επιστήμονες δεδομένων
• Big Data αναλυτές
• Hadoop Επαγγελματίες

Η μορφή της πορείας

• Μερική διάλεξη, Μερική συζήτηση, ασκήσεις και βαριά πρακτική

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτήν τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν μια σειρά από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων. Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly). Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα. Διαχειριστείτε διαφορετικούς φόρτους εργασίας. Εκτελέστε προηγμένες αναλύσεις. Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων. Μετρήστε και βελτιστοποιήστε την απόδοση. Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα. Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα. Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark. Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark. Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Apache Ambari είναι μια πλατφόρμα διαχείρισης ανοιχτού κώδικα για την παροχή, τη διαχείριση, την παρακολούθηση και τη διασφάλιση συμπλεγμάτων του Apache Hadoop .

Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν τα εργαλεία και τις πρακτικές διαχείρισης που παρέχει η Ambari για να διαχειριστούν με επιτυχία τα clusters του Hadoop .

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Ρυθμίστε ένα ζωντανό σύμπλεγμα Big Data χρησιμοποιώντας το Ambari
• Εφαρμόστε τις προηγμένες δυνατότητες και λειτουργίες του Ambari σε διάφορες περιπτώσεις χρήσης
• Προσθέστε και αφαιρέστε τους κόμβους αν χρειάζεται
• Βελτιώστε την απόδοση του συμπλέγματος του Hadoop μέσω του συντονισμού και του μικροαλλαγές

Κοινό

• DevOps
• Διαχειριστές συστήματος
• DBAs
• Hadoop δοκιμές επαγγελματίες

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.