Apache Kafka for Python Programmers Training Course

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν επεξεργασία ροής Apache Kafka χωρίς να γράφουν κώδικα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε μια διοχέτευση επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (χωρίς κωδικοποίηση Java ή Python).
• Πραγματοποιήστε φιλτράρισμα δεδομένων, μετασχηματισμούς, συναθροίσεις, συνδέσεις, παράθυρα και συνεδριάσεις εξ ολοκλήρου σε SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Το Apache Beam είναι ένα ανοιχτού κώδικα, ενοποιημένο μοντέλο προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Εξαγωγή, Μεταμόρφωση και Φόρτωση), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα.

Σε αυτήν τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να υλοποιούν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητες παράλληλη επεξεργασία.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Εγκαταστήστε και διαμορφώστε το Apache Beam. Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία δέσμης και ροής από την εφαρμογή Java ή Python. Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωση

Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Το Apache Apex είναι μια εγγενής πλατφόρμα του YARN που ενοποιεί την επεξεργασία ροής και παρτίδας. Επεξεργάζεται μεγάλα δεδομένα σε κίνηση με τρόπο που είναι επεκτάσιμο, αποδοτικό, ανεκτικό σε σφάλματα, κατάσταση, ασφαλές, κατανεμημένο και εύκολα λειτουργικό.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει την ενοποιημένη αρχιτεκτονική επεξεργασίας ροής του Apache Apex και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας κατανεμημένης εφαρμογής χρησιμοποιώντας το Apex στο Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Κατανοήστε έννοιες αγωγών επεξεργασίας δεδομένων, όπως συνδέσεις για πηγές και καταβόθρες, συνήθεις μετασχηματισμούς δεδομένων, κ.λπ. Δημιουργήστε, κλιμακώστε και βελτιστοποιήστε μια εφαρμογή Apex Επεξεργαστείτε ροές δεδομένων σε πραγματικό χρόνο με αξιοπιστία και με ελάχιστο λανθάνοντα χρόνο Χρησιμοποιήστε το Apex Core και τη βιβλιοθήκη Apex Malhar για να ενεργοποιήσετε την ταχεία εφαρμογή ανάπτυξη Χρησιμοποιήστε το API Apex για να γράψετε και να επαναχρησιμοποιήσετε τον υπάρχοντα κώδικα Java Ενσωματώστε το Apex σε άλλες εφαρμογές ως μηχανή επεξεργασίας Συντονίστε, δοκιμάστε και κλιμακώστε τις εφαρμογές Apex

Μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και εξάσκηση. Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache Storm είναι μια διανεμημένη μηχανή υπολογισμού σε πραγματικό χρόνο που χρησιμοποιείται για την παροχή επιχειρηματικής νοημοσύνης σε πραγματικό χρόνο. Το κάνει αυτό επιτρέποντας στις εφαρμογές να επεξεργάζονται αξιόπιστα απεριόριστα ρεύματα δεδομένων (π.χ. Διαχείριση ρεύματος).

"Storm είναι για επεξεργασία σε πραγματικό χρόνο τι Hadoop είναι για επεξεργασία συσκευών!"

Σε αυτή την εκπαιδευτική άσκηση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν και να ρυθμίσουν Apache Storm και στη συνέχεια να αναπτύξουν και να αναπτύξουν μια Apache Storm εφαρμογή για την επεξεργασία μεγάλων δεδομένων σε πραγματικό χρόνο.

Μερικά από τα θέματα που περιλαμβάνονται σε αυτή την εκπαίδευση περιλαμβάνουν:

• Apache Storm στο πλαίσιο του Hadoop
• Εργασία με απεριόριστα δεδομένα
• Συνεχείς υπολογισμοί
• Ανάλυση σε πραγματικό χρόνο
• Διανεμημένη επεξεργασία RPC και ETL

Ζητήστε αυτή την πορεία τώρα!

Δημοσιογράφος

• Προγραμματιστές λογισμικού και ETL
• Επαγγελματίες Mainframe
• Επιστήμονες δεδομένων
• Big Data αναλυτές
• Hadoop Επαγγελματίες

Η μορφή της πορείας

• Μερική διάλεξη, Μερική συζήτηση, ασκήσεις και βαριά πρακτική

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτήν τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν μια σειρά από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων. Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly). Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα. Διαχειριστείτε διαφορετικούς φόρτους εργασίας. Εκτελέστε προηγμένες αναλύσεις. Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων. Μετρήστε και βελτιστοποιήστε την απόδοση. Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα. Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Το Pandas είναι ένα πακέτο Python που παρέχει δομές δεδομένων για εργασία με δομημένα (πίνακες, πολυδιάστατα, δυνητικά ετερογενή) και δεδομένα χρονοσειρών.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το Pandas για να προκατασκευάσουν την προγνωστική ανάλυση με μηχανική μάθηση.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εκτελέστε αντιπαράθεση δεδομένων στο Python.
• Διεξαγωγή λειτουργιών ETL για μηχανική μάθηση.
• Δημιουργήστε οπτικοποιήσεις δεδομένων με τα Pandas

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Modin για να δημιουργήσουν και να εφαρμόσουν παράλληλους υπολογισμούς με το Pandas για ταχύτερη ανάλυση δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την ανάπτυξη Pandas ροών εργασίας σε κλίμακα με το Modin.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα πλεονεκτήματα του Modin.
• Γνωρίστε τις διαφορές μεταξύ Modin, Dask και Ray.
• Εκτελέστε λειτουργίες Pandas πιο γρήγορα με το Modin.
• Εφαρμόστε ολόκληρο το Pandas API και τις λειτουργίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και μηχανικούς λογισμικού που επιθυμούν να χρησιμοποιήσουν το Dask με το οικοσύστημα Python για να δημιουργήσουν, να κλιμακώσουν και να αναλύσουν μεγάλα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το περιβάλλον για να ξεκινήσετε τη δημιουργία επεξεργασίας μεγάλων δεδομένων με το Dask και την Python.
• Εξερευνήστε τις δυνατότητες, τις βιβλιοθήκες, τα εργαλεία και τα API που είναι διαθέσιμα στο Dask.
• Κατανοήστε πώς το Dask επιταχύνει τον παράλληλο υπολογισμό στην Python.
• Μάθετε πώς να κλιμακώνετε το οικοσύστημα της Python (Numpy, SciPy και Pandas) χρησιμοποιώντας το Dask.
• Βελτιστοποιήστε το περιβάλλον Dask για να διατηρήσετε υψηλή απόδοση στο χειρισμό μεγάλων συνόλων δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το FastAPI με Python για να δημιουργήσουν, να δοκιμάσουν και να αναπτύξουν RESTful API ευκολότερα και πιο γρήγορα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για την ανάπτυξη API με Python και FastAPI.
• Δημιουργήστε API πιο γρήγορα και πιο εύκολα χρησιμοποιώντας τη βιβλιοθήκη FastAPI.
• Μάθετε πώς να δημιουργείτε μοντέλα δεδομένων και σχήματα με βάση το Pydantic και το OpenAPI.
• Συνδέστε τα API σε μια βάση δεδομένων χρησιμοποιώντας το SQLAlchemy.
• Εφαρμόστε ασφάλεια και έλεγχο ταυτότητας στα API χρησιμοποιώντας τα εργαλεία FastAPI.
• Δημιουργήστε εικόνες κοντέινερ και αναπτύξτε API Ιστού σε έναν διακομιστή cloud.

Αυτή η ζωντανή εκπαίδευση μέσω εκπαιδευτών (διαδικτυακή ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τη στοίβα FARM (FastAPI, React και MongoDB) για να δημιουργήσουν δυναμικές, υψηλής απόδοσης και επεκτάσιμες εφαρμογές ιστού.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης που ενσωματώνει το FastAPI, React και το MongoDB. Κατανοήστε τις βασικές έννοιες, τα χαρακτηριστικά και τα οφέλη της στοίβας FARM. Μάθετε πώς να δημιουργείτε REST API με το FastAPI. Μάθετε πώς να σχεδιάζετε διαδραστικές εφαρμογές με το React. Αναπτύξτε, δοκιμάστε και αναπτύξτε εφαρμογές (μπροστινό και πίσω άκρο) χρησιμοποιώντας τη στοίβα FARM.