Εκπαίδευση Apache Spark στην Πάτρα

Αυτή η εκπαιδευτική διάλεξη σε ζωντανό μέρος (σε πρόσωπο πρόσωπου ή διαδικτύου) είναι στοχευμένη για μεσαίου επιπέδου ειδικές στατιστικά επιστήμονες και μηχανικούς που θέλουν να χρησιμοποιήσουν Google Colab και Apache Spark για την επεξεργασία και ανάλυση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαιδευτικής διαλέξεως, οι μεταφράστες θα μπορούν να:

• Εγκαταστήσουν περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστούν και αναλύσουν μεγάλα σημεία δεδομένων εξικανώς με το Apache Spark.
• Δημιουργήστε προβολές για μεγάλα σημεία δεδομένων σε ενόπλη υπεύθυνη ομάδα.
• Συνδυάστε Apache Spark με αστικά εργαλεία.

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Πάτρα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Πάτρα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Σε αυτήν τη ζωντανή εκπαίδευση στο Πάτρα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις.

Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Πάτρα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές συστημάτων που επιθυμούν να μάθουν πώς να δημιουργούν, να αναπτύσσουν και να διαχειρίζονται Hadoop συμπλέγματα εντός του οργανισμού τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Hadoop.
• Κατανοήστε τα τέσσερα κύρια στοιχεία στο οικοσύστημα Hadoop: HDFS, MapReduce, YARN και Hadoop Common.
• Χρησιμοποιήστε το Hadoop Distributed File System (HDFS) για να κλιμακώσετε ένα σύμπλεγμα σε εκατοντάδες ή χιλιάδες κόμβους.
• Ρυθμίστε το HDFS ώστε να λειτουργεί ως μηχανή αποθήκευσης για επιτόπιες αναπτύξεις Spark.
• Ρυθμίστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως συστήματα βάσεων δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike κ.λπ.
• Εκτελέστε διοικητικές εργασίες όπως η παροχή, η διαχείριση, η παρακολούθηση και η ασφάλιση ενός συμπλέγματος Apache Hadoop.

Σε αυτή την εκπαίδευση με οδηγό (ζωντανή, χώρος καθώς και από απόσταση), οι συμμετέχοντες θα μάθουν πώς να ρύθμισουν και να ενσωματώσουν διάφορους πλαίσια Επεξεργασίας Ροών σε υπάρχουσες συστήματα αποθήκευσης μεγάλων δεδομένων και συναφείς εφαρμογές λογισμικού και μικρουπηρετικά.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν και ρυθμίσουν διάφορα πλαίσια Επεξεργασίας Ροών, όπως το Spark Streaming και Kafka Streaming.
• Κατανοήσουν και να επιλέξουν το πιο κατάλληλο πλαίσιο για την εργασία.
• Επεξεργάζονται δεδομένα συνεχώς, παράλληλα και αναγραφή-πάνω.
• Ενσωματώνουν λύσεις Επεξεργασίας Ροών σε υπάρχουσες βάσεις δεδομένων, data warehouses, data lakes, κλπ.
• Ενσωματώνουν την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροών με επιχειρηματικές εφαρμογές και μικρουπηρετικά.

Αυτή η εκπαίδευση με εξηγητή, ζωντανά σε Πάτρα (online ή on-site), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το στακ SMACK για να κατασκευάσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εφαρμόσουν μια αρχιτεκτονική διαδίκτυου δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξουν υποδομή κλαστηρικής τόπου με Apache Mesos και Docker.
• Ανάλυση δεδομένων με Spark και Scala.
• Διαχείριση ανοργανωμένων δεδομένων με Apache Cassandra.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Πάτρα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς που επιθυμούν να δημιουργήσουν και να αναπτύξουν σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανοήστε τη διαφορά μεταξύ του Apache Spark και του Hadoop MapReduce και πότε να χρησιμοποιήσετε ποιο.
• Ενσωματώστε το Apache Spark με άλλα εργαλεία μηχανικής εκμάθησης.

Η καμπύλη μάθηση του Apache Spark αρχικά είναι ξεκούραση, χρειάζεται πολλή προσπάθεια για να πάρει κανείς το πρώτο αποδότημα. Αυτό το μάθημα στοχεύει να διέλθει τον πρώτο δύσκολο τομέα. Μετά από τη συμμετοχή σε αυτό το μάθημα, οι συμμετέχοντες θα καταλάβουν τις βασικές εννοιές του Apache Spark, θα διακρίνουν με ακρίβεια το RDD από το DataFrame, θα μάθουν τη Python και Scala API, θα καταλάβουν εκτελεστές και εργασίες, κ.α. Επιπλέον, ακολουθώντας τις καλύτερες πρακτικές, αυτό το μάθημα εστιάζει ιδιαίτερα στην υπολογιστική στην Σύνθεση, Databricks και AWS. Οι φοιτητές θα καταλάβουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μία από τις πιο πρόσφατες υπηρεσίες Spark του AWS.

ΔΙΕΥΘΥΝΤΗΣ:

Data Engineer, DevOps, Data Scientist

ΣΚΟΠΟΣ:

Αυτό το μάθημα θα εισαγάγει το Apache Spark . Οι μαθητές θα μάθουν πώς το Spark εντάσσεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσει το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το κέλυφος Spark για διαδραστική ανάλυση δεδομένων, εσωτερικά Spark, API Spark, Spark SQL , Spark streaming και μηχανική μάθηση και graphX.

ΚΟΙΝΟ :

Προγραμματιστές / αναλυτές δεδομένων

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Πάτρα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Spark NLP, που βασίζεται στο Apache Spark, για να αναπτύξουν, να εφαρμόσουν και να κλιμακώσουν την επεξεργασία κειμένου σε φυσική γλώσσα μοντέλα και αγωγούς.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την κατασκευή αγωγών NLP με το Spark NLP.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα οφέλη από τη χρήση του Spark NLP.
• Χρησιμοποιήστε τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο Spark NLP για να εφαρμόσετε την επεξεργασία κειμένου.
• Μάθετε πώς να κατασκευάζετε, εκπαιδεύετε και κλιμακώνετε μοντέλα Spark NLP για έργα παραγωγής.
• Εφαρμογή ταξινόμησης, συμπερασμάτων και ανάλυσης συναισθήματος σε περιπτώσεις χρήσης πραγματικού κόσμου (κλινικά δεδομένα, πληροφορίες συμπεριφοράς πελατών, κ.λπ.).

Το Spark SQL είναι η ενότητα του Apache Spark για την εργασία με δομημένα και αδόμητα δεδομένα. Το Spark SQL παρέχει πληροφορίες σχετικά με τη δομή των δεδομένων καθώς και τον υπολογισμό που εκτελείται. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για την εκτέλεση βελτιστοποιήσεων. Δύο κοινές χρήσεις για το SQL Spark είναι:
- για εκτέλεση ερωτημάτων SQL .
- για ανάγνωση δεδομένων από υπάρχουσα εγκατάσταση Hive .

Σε αυτόν τον εκπαιδευτή, ζωντανή προπόνηση (onsite ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL .

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και ρυθμίστε τον SQL Spark.
• Εκτελέστε ανάλυση δεδομένων χρησιμοποιώντας Spark SQL .
• Αναζητήστε σύνολα δεδομένων σε διαφορετικές μορφές.
• Οπτικοποιήστε τα δεδομένα και τα αποτελέσματα των ερωτημάτων.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.