Apache Spark MLlib Training Course

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και εξάσκηση.
• Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

• Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις.

Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές συστημάτων που επιθυμούν να μάθουν πώς να δημιουργούν, να αναπτύσσουν και να διαχειρίζονται Hadoop συμπλέγματα εντός του οργανισμού τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Hadoop.
• Κατανοήστε τα τέσσερα κύρια στοιχεία στο οικοσύστημα Hadoop: HDFS, MapReduce, YARN και Hadoop Common.
• Χρησιμοποιήστε το Hadoop Distributed File System (HDFS) για να κλιμακώσετε ένα σύμπλεγμα σε εκατοντάδες ή χιλιάδες κόμβους.
• Ρυθμίστε το HDFS ώστε να λειτουργεί ως μηχανή αποθήκευσης για επιτόπιες αναπτύξεις Spark.
• Ρυθμίστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως συστήματα βάσεων δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike κ.λπ.
• Εκτελέστε διοικητικές εργασίες όπως η παροχή, η διαχείριση, η παρακολούθηση και η ασφάλιση ενός συμπλέγματος Apache Hadoop.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα. Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark. Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark. Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Το Magellan είναι ένας διανεμημένος κινητήρας εκτέλεσης ανοικτού κώδικα για τη γεωδιαστημική ανάλυση των μεγάλων δεδομένων. Εφαρμόζεται πάνω από Apache Spark, επεκτείνει το Spark SQL και παρέχει μια σχετική αποσύνθεση για τη γεωδιαστημική ανάλυση.

Αυτή η εκπαιδευτική, ζωντανή κατάρτιση εισάγει τις έννοιες και τις προσεγγίσεις για την εφαρμογή γεωσωματικής ανάλυσης και περπατά τους συμμετέχοντες μέσω της δημιουργίας μιας προβλέψιμης εφαρμογής ανάλυσης χρησιμοποιώντας το Magellan στο Spark.

Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

• Αποτελεσματικά να αναζητήσετε, να συγκεντρώσετε και να συνδέσετε γεωδιαστημικά σύνολα δεδομένων σε κλίμακα
• Εφαρμογή γεωδιαστημικών δεδομένων σε εφαρμογές επιχειρηματικής νοημοσύνης και προβλέψιμης ανάλυσης
• Χρησιμοποιήστε το διαστημικό πλαίσιο για να επεκτείνετε τις δυνατότητες των κινητών συσκευών, των αισθητήρων, των ημερολογίων και των φορητών

Η μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτικές.
• Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να πραγματοποιήσουν ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το Apache Spark στις εφαρμογές τους .NET.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε τις παραμέτρους του Apache Spark.
• Κατανοήστε πώς το .NET εφαρμόζει τα Spark API ώστε να είναι προσβάσιμα από μια εφαρμογή .NET.
• Αναπτύξτε εφαρμογές επεξεργασίας δεδομένων χρησιμοποιώντας C# ή F#, ικανές να χειρίζονται σύνολα δεδομένων των οποίων το μέγεθος μετράται σε terabyte και pedabyte.
• Αναπτύξτε λειτουργίες μηχανικής εκμάθησης για μια εφαρμογή .NET χρησιμοποιώντας τις δυνατότητες του Apache Spark.
• Πραγματοποιήστε διερευνητική ανάλυση χρησιμοποιώντας SQL ερωτήματα σε σύνολα μεγάλων δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν τη στοίβα SMACK για να δημιουργήσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εφαρμόστε μια αρχιτεκτονική αγωγών δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξτε μια υποδομή συμπλέγματος με το Apache Mesos και το Docker.
• Αναλύστε δεδομένα με Spark και Scala.
• Διαχειριστείτε μη δομημένα δεδομένα με το Apache Cassandra.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς που επιθυμούν να δημιουργήσουν και να αναπτύξουν σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανοήστε τη διαφορά μεταξύ του Apache Spark και του Hadoop MapReduce και πότε να χρησιμοποιήσετε ποιο.
• Ενσωματώστε το Apache Spark με άλλα εργαλεία μηχανικής εκμάθησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Apache Spark καμπύλη μάθησης Apache Spark αυξάνεται σιγά-σιγά στην αρχή, χρειάζεται πολύ μεγάλη προσπάθεια για να πάρει την πρώτη επιστροφή. Αυτό το μάθημα στοχεύει να περάσει από το πρώτο σκληρό μέρος. Μετά την ολοκλήρωση αυτού του μαθήματος οι συμμετέχοντες θα κατανοήσουν τα βασικά στοιχεία του Apache Spark , θα διαφοροποιήσουν ξεκάθαρα το RDD από το DataFrame, θα μάθουν Python και Scala API, θα καταλάβουν τους εκτελεστές και τα καθήκοντα κλπ. Επίσης ακολουθώντας τις βέλτιστες πρακτικές, ανάπτυξη νέφους, Databricks και AWS. Οι μαθητές θα κατανοήσουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μιας από τις πιο πρόσφατες υπηρεσίες Spark της AWS.

ΚΟΙΝΟ:

Μηχανικός δεδομένων, DevOps , Data Scientist

ΣΚΟΠΟΣ:

Αυτό το μάθημα θα εισαγάγει το Apache Spark . Οι μαθητές θα μάθουν πώς το Spark εντάσσεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσει το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το κέλυφος Spark για διαδραστική ανάλυση δεδομένων, εσωτερικά Spark, API Spark, Spark SQL , Spark streaming και μηχανική μάθηση και graphX.

ΚΟΙΝΟ :

Προγραμματιστές / αναλυτές δεδομένων

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Spark NLP, που βασίζεται στο Apache Spark, για να αναπτύξουν, να εφαρμόσουν και να κλιμακώσουν μοντέλα επεξεργασίας κειμένου σε φυσική γλώσσα και αγωγών.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την κατασκευή αγωγών NLP με το Spark NLP.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα οφέλη από τη χρήση του Spark NLP.
• Χρησιμοποιήστε τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο Spark NLP για να εφαρμόσετε την επεξεργασία κειμένου.
• Μάθετε πώς να κατασκευάζετε, εκπαιδεύετε και κλιμακώνετε μοντέλα Spark NLP για έργα παραγωγής.
• Εφαρμογή ταξινόμησης, συμπερασμάτων και ανάλυσης συναισθήματος σε περιπτώσεις χρήσης πραγματικού κόσμου (κλινικά δεδομένα, πληροφορίες συμπεριφοράς πελατών, κ.λπ.).

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν τα Spark, Hadoop και Python για την επεξεργασία, την ανάλυση και τη μετατροπή μεγάλων και πολύπλοκων συνόλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και του Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, το Hadoop και το Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με τα Netflix, YouTube, Amazon, Spotify και Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς λογισμικού που επιθυμούν να μεταδώσουν μεγάλα δεδομένα με το Spark Streaming και το Scala.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Δημιουργήστε εφαρμογές Spark με τη γλώσσα προγραμματισμού Scala.
• Χρησιμοποιήστε το Spark Streaming για την επεξεργασία συνεχών ροών δεδομένων.
• Επεξεργαστείτε ροές δεδομένων σε πραγματικό χρόνο με το Spark Streaming.