Apache Spark Training Courses

Python είναι μια εκτεταμένη, ευέλικτη και ευρέως χρησιμοποιούμενη γλώσσα προγραμματισμού για την επιστήμη των δεδομένων και τη μηχανική μάθηση. Η Spark είναι μια μηχανή επεξεργασίας δεδομένων που χρησιμοποιείται για την αναζήτηση, την ανάλυση και τη μετατροπή μεγάλων δεδομένων, ενώ Hadoop είναι ένα πλαίσιο βιβλιοθήκης λογισμικού για την αποθήκευση και επεξεργασία δεδομένων μεγάλης κλίμακας. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop, και Python για να επεξεργαστούν, να αναλύσουν και να μεταμορφώσουν μεγάλα και πολύπλοκα σύνολα δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Δημιουργήστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία των μεγάλων δεδομένων με το Spark, Hadoop, και Python. Κατανοήστε τα χαρακτηριστικά, τα βασικά συστατικά και την αρχιτεκτονική του Spark και Hadoop. Μάθετε πώς να ενσωματώσετε το Spark, Hadoop, και Python για την επεξεργασία μεγάλων δεδομένων. Εξερευνήστε τα εργαλεία στο οικοσύστημα του Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, και Flume). Δημιουργήστε συλλογικά συστήματα συστάσεων φιλτραρίσματος παρόμοια με Netflix, YouTube, Amazon, Spotify και Google. Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

In this instructor-led, live training in Ελλάδα, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises. By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

ΣΚΟΠΟΣ: Αυτό το μάθημα θα εισαγάγει το Apache Spark . Οι μαθητές θα μάθουν πώς το Spark εντάσσεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσει το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το κέλυφος Spark για διαδραστική ανάλυση δεδομένων, εσωτερικά Spark, API Spark, Spark SQL , Spark streaming και μηχανική μάθηση και graphX. ΚΟΙΝΟ : Προγραμματιστές / αναλυτές δεδομένων

Hortonworks Data Platform (HDP) είναι μια πλατφόρμα υποστήριξης Apache Hadoop ανοικτής πηγής που παρέχει μια σταθερή βάση για την ανάπτυξη μεγάλων λύσεων δεδομένων στο οικοσύστημα Apache Hadoop . Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή προπόνηση (onsite ή απομακρυσμένη) εισάγει Hortonworks Data Platform (HDP) και περπατά τους συμμετέχοντες μέσω της ανάπτυξης της λύσης Spark + Hadoop . Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Χρησιμοποιήστε το Hortonworks για να εκτελέσετε αξιόπιστα τον Hadoop σε μεγάλη κλίμακα.
• Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας της Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark.
• Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε κάθε ένα από τα στοιχεία ενός έργου Spark.
• Επεξεργαστείτε διάφορους τύπους δεδομένων, συμπεριλαμβανομένων δομημένων, αδόμητων, σε κίνηση και σε ξεκούραση.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Το Magellan είναι ένας διανεμημένος κινητήρας εκτέλεσης ανοικτού κώδικα για τη γεωδιαστημική ανάλυση των μεγάλων δεδομένων. Εφαρμόζεται πάνω από Apache Spark, επεκτείνει το Spark SQL και παρέχει μια σχετική αποσύνθεση για τη γεωδιαστημική ανάλυση. Αυτή η εκπαιδευτική, ζωντανή κατάρτιση εισάγει τις έννοιες και τις προσεγγίσεις για την εφαρμογή γεωσωματικής ανάλυσης και περπατά τους συμμετέχοντες μέσω της δημιουργίας μιας προβλέψιμης εφαρμογής ανάλυσης χρησιμοποιώντας το Magellan στο Spark. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Αποτελεσματικά να αναζητήσετε, να συγκεντρώσετε και να συνδέσετε γεωδιαστημικά σύνολα δεδομένων σε κλίμακα Εφαρμογή γεωδιαστημικών δεδομένων σε εφαρμογές επιχειρηματικής νοημοσύνης και προβλέψιμης ανάλυσης Χρησιμοποιήστε το διαστημικό πλαίσιο για να επεκτείνετε τις δυνατότητες των κινητών συσκευών, των αισθητήρων, των ημερολογίων και των φορητών

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Alluxio είναι ένα εικονικό διανεμημένο σύστημα αποθήκευσης ανοιχτού κώδικα που ενώνει διαφορετικά συστήματα αποθήκευσης και επιτρέπει στις εφαρμογές να αλληλεπιδρούν με δεδομένα με ταχύτητα μνήμης. Χρησιμοποιείται από εταιρείες όπως η Intel, η Baidu και η Alibaba. Σε αυτή την εκπαιδευτική, ζωντανή κατάρτιση, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν Alluxio για να συσσωρεύουν διαφορετικά πλαίσια υπολογισμού με συστήματα αποθήκευσης και να διαχειρίζονται αποτελεσματικά τα δεδομένα πολλαπλής κλίμακας με την πάροδο της δημιουργίας μιας εφαρμογής με Alluxio. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Αναπτύξτε μια εφαρμογή με Alluxio Συνδέστε μεγάλα συστήματα δεδομένων και εφαρμογές διατηρώντας ταυτόχρονα ένα όνομα χώρο Αποτελεσματικά εξάγει αξία από τα μεγάλα δεδομένα σε οποιαδήποτε μορφή αποθήκευσης Βελτίωση της απόδοσης εργασιακού φορτίου Επεξεργασία και διαχείριση Alluxio ξεχωριστά ή συσσωρευμένα

Δημοσιογράφος

Επιστήμονας Δεδομένων Αναπτυξιακός Διαχειριστής συστήματος

Η μορφή της πορείας

Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

Το Spark SQL είναι η ενότητα του Apache Spark για την εργασία με δομημένα και αδόμητα δεδομένα. Το Spark SQL παρέχει πληροφορίες σχετικά με τη δομή των δεδομένων καθώς και τον υπολογισμό που εκτελείται. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για την εκτέλεση βελτιστοποιήσεων. Δύο κοινές χρήσεις για το SQL Spark είναι:
- για εκτέλεση ερωτημάτων SQL .
- για ανάγνωση δεδομένων από υπάρχουσα εγκατάσταση Hive . Σε αυτόν τον εκπαιδευτή, ζωντανή προπόνηση (onsite ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL . Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και ρυθμίστε τον SQL Spark.
• Εκτελέστε ανάλυση δεδομένων χρησιμοποιώντας Spark SQL .
• Αναζητήστε σύνολα δεδομένων σε διαφορετικές μορφές.
• Οπτικοποιήστε τα δεδομένα και τα αποτελέσματα των ερωτημάτων.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Stream Processing αναφέρεται στην Stream Processing σε πραγματικό χρόνο των "δεδομένων σε κίνηση", δηλαδή στην εκτέλεση υπολογισμών στα δεδομένα καθώς αυτά λαμβάνονται. Αυτά τα δεδομένα διαβάζονται ως συνεχείς ροές από πηγές δεδομένων όπως συμβάντα αισθητήρων, δραστηριότητα χρηστών ιστοτόπων, οικονομικά συναλλαγές, swipes πιστωτικών καρτών, ροές κλικ κλπ. Stream Processing πλαίσια Stream Processing είναι σε θέση να διαβάζουν μεγάλους όγκους εισερχόμενων δεδομένων και να παρέχουν πολύτιμες πληροφορίες σχεδόν στιγμιαία. Σε αυτόν τον εκπαιδευτή, ζωντανή εκπαίδευση (onsite ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να δημιουργήσουν και να ενσωματώσουν διαφορετικά πλαίσια Stream Processing με υπάρχοντα μεγάλα συστήματα αποθήκευσης δεδομένων και συναφείς εφαρμογές λογισμικού και μικροεπιχειρήσεις. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing , όπως Spark Streaming και Streaming Kafka.
• Κατανοήστε και επιλέξτε το καταλληλότερο πλαίσιο για την εργασία.
• Διαδικασία δεδομένων συνεχώς, ταυτόχρονα, και με τρόπο ρεκόρ ανά εγγραφή.
• Ενσωματώστε τις λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κλπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με επιχειρηματικές εφαρμογές και μικροεπιχειρήσεις.

Κοινό

• Προγραμματιστές
• Αρχιτέκτονες λογισμικού

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις. Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον. Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Apache Spark καμπύλη μάθησης Apache Spark αυξάνεται σιγά-σιγά στην αρχή, χρειάζεται πολύ μεγάλη προσπάθεια για να πάρει την πρώτη επιστροφή. Αυτό το μάθημα στοχεύει να περάσει από το πρώτο σκληρό μέρος. Μετά την ολοκλήρωση αυτού του μαθήματος οι συμμετέχοντες θα κατανοήσουν τα βασικά στοιχεία του Apache Spark , θα διαφοροποιήσουν ξεκάθαρα το RDD από το DataFrame, θα μάθουν Python και Scala API, θα καταλάβουν τους εκτελεστές και τα καθήκοντα κλπ. Επίσης ακολουθώντας τις βέλτιστες πρακτικές, ανάπτυξη νέφους, Databricks και AWS. Οι μαθητές θα κατανοήσουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μιας από τις πιο πρόσφατες υπηρεσίες Spark της AWS. ΚΟΙΝΟ: Μηχανικός δεδομένων, DevOps , Data Scientist

Scala είναι μια συμπυκνωμένη έκδοση της Java για μεγάλης κλίμακας λειτουργικό και αντικειμενοστραφή προγραμματισμό. Apache Spark Streaming είναι ένα εκτεταμένο στοιχείο του API Spark για την επεξεργασία μεγάλων συνόλων δεδομένων ως ροών πραγματικού χρόνου. Μαζί, το Spark Streaming και η Scala καθιστούν δυνατή τη ροή μεγάλων δεδομένων. Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση (επιτόπου ή απομακρυσμένη) απευθύνεται σε μηχανικούς λογισμικού που επιθυμούν να προβάλλουν μεγάλα δεδομένα με το Spark Streaming και τη Scala . Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Δημιουργήστε εφαρμογές Spark με τη γλώσσα προγραμματισμού Scala .
• Χρησιμοποιήστε το Spark Streaming για να επεξεργαστείτε συνεχείς ροές δεδομένων.
• Ροές διαδικασιών σε πραγματικό χρόνο με Spark Streaming.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Το SMACK είναι μια συλλογή λογισμικού πλατφόρμας δεδομένων, δηλαδή Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, και Apache Kafka. Χρησιμοποιώντας το SMACK stack, οι χρήστες μπορούν να δημιουργήσουν και να κλιμακώσουν πλατφόρμες επεξεργασίας δεδομένων. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το SMACK stack για να δημιουργήσουν πλατφόρμες επεξεργασίας δεδομένων για μεγάλες λύσεις δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εφαρμογή μιας αρχιτεκτονικής σωλήνων δεδομένων για την επεξεργασία των μεγάλων δεδομένων. Αναπτύξτε μια υποδομή κλάσματος με Apache Mesos και Docker. Ανάλυση δεδομένων με το Spark και Scala. Διαχείριση μη δομημένων δεδομένων με το Apache Cassandra.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Apache Spark είναι μια μηχανή ανάλυσης που έχει σχεδιαστεί για να διανέμει δεδομένα σε μια ομάδα για να την επεξεργαστεί παράλληλα. Περιέχει ενότητες για streaming, SQL, μηχανική μάθηση και επεξεργασία γραφικών. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή online) απευθύνεται σε μηχανικούς που επιθυμούν να αναπτύξουν Apache Spark σύστημα για την επεξεργασία πολύ μεγάλων ποσών δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκατάσταση και διαμόρφωση Apache Spark. Κατανοήστε τη διαφορά μεταξύ Apache Spark και Hadoop MapReduce και πότε να χρησιμοποιήσετε ποια. Γρήγορα διαβάστε και αναλύστε πολύ μεγάλα σύνολα δεδομένων. Ενσωματώστε Apache Spark με άλλα εργαλεία μηχανικής μάθησης.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Apache Spark είναι ένας διανεμημένος κινητήρας επεξεργασίας για την ανάλυση πολύ μεγάλων συστημάτων δεδομένων. Μπορεί να επεξεργαστεί τα δεδομένα σε συσκευές και σε πραγματικό χρόνο, καθώς και να εκτελεί μηχανική μάθηση, ερωτήσεις ad-hoc και επεξεργασία γραφικών. Το.NET for Apache Spark είναι ένα δωρεάν, ανοικτό και διαφορικό πλαίσιο ανάλυσης μεγάλων δεδομένων που υποστηρίζει εφαρμογές γραμμένες σε C# ή F#. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε προγραμματιστές που επιθυμούν να διεξάγουν μεγάλη ανάλυση δεδομένων χρησιμοποιώντας Apache Spark στις εφαρμογές.NET τους. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκατάσταση και διαμόρφωση Apache Spark. Κατανοήστε πώς το.NET εφαρμόζει Spark APIs έτσι ώστε να μπορούν να έχουν πρόσβαση από μια εφαρμογή.NET. Αναπτύξτε εφαρμογές επεξεργασίας δεδομένων χρησιμοποιώντας C# ή F#, ικανές να χειρίζονται σύνολα δεδομένων των οποίων το μέγεθος μετράται σε terabytes και pedabytes. Αναπτύξτε χαρακτηριστικά μηχανικής μάθησης για μια εφαρμογή.NET χρησιμοποιώντας Apache Spark δυνατότητες. Εκτελέστε μια εξερευνητική ανάλυση χρησιμοποιώντας SQL ερωτήσεις σε μεγάλα σύνολα δεδομένων.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Το Apache Hadoop είναι ένα δημοφιλές πλαίσιο επεξεργασίας δεδομένων για την επεξεργασία μεγάλων συστημάτων δεδομένων σε πολλούς υπολογιστές. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε διαχειριστές συστήματος που θέλουν να μάθουν πώς να εγκαταστήσουν, να αναπτύξουν και να διαχειριστούν Hadoop κλάδους εντός της οργάνωσης τους. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκαταστήστε και ρυθμίστε το Apache Hadoop. Κατανοήστε τα τέσσερα βασικά συστατικά του οικοσυστήματος Hadoop: HDFS, MapReduce, YARN και Hadoop Common. Χρησιμοποιήστε το Distributed File System (HDFS) για να κλιμακώσετε ένα κλάσμα σε εκατοντάδες ή χιλιάδες κόμβους.   · Εγκαταστήστε το HDFS για να λειτουργεί ως μηχανή αποθήκευσης για εγκαταστάσεις Spark. Εγκαταστήστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως τα συστήματα βάσης δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike, κλπ. Εκτελέστε διοικητικά καθήκοντα όπως η παροχή, η διαχείριση, η παρακολούθηση και η διασφάλιση μιας ομάδας Apache Hadoop.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

This instructor-led, live training in Ελλάδα (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου. Διαχωρίζεται σε δύο πακέτα:

• Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.
• Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

Πολλά προβλήματα πραγματικού κόσμου μπορούν να περιγραφούν με όρους γραφημάτων. Για παράδειγμα, το γράφημα Web, το γράφημα κοινωνικού δικτύου, το γράφημα δικτύου τρένων και το γράφημα γλώσσας. Αυτά τα γραφήματα τείνουν να είναι εξαιρετικά μεγάλα. η επεξεργασία τους απαιτεί ένα εξειδικευμένο σύνολο εργαλείων και διαδικασιών - αυτά τα εργαλεία και οι διαδικασίες μπορούν να αναφέρονται ως Graph Computing (επίσης γνωστό ως Graph Analytics). Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν για τις προσφορές τεχνολογίας και τις προσεγγίσεις υλοποίησης για την επεξεργασία δεδομένων γραφημάτων. Ο στόχος είναι να εντοπιστούν τα αντικείμενα πραγματικού κόσμου, τα χαρακτηριστικά και οι σχέσεις τους, να μοντελοποιηθούν αυτές οι σχέσεις και να επεξεργαστούν ως δεδομένα χρησιμοποιώντας μια προσέγγιση Graph Computing (επίσης γνωστή ως Graph Analytics). Ξεκινάμε με μια ευρεία επισκόπηση και περιορίζουμε τα συγκεκριμένα εργαλεία, καθώς κάνουμε μια σειρά από περιπτωσιολογικές μελέτες, πρακτικές ασκήσεις και ζωντανές αναπτύξεις. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τον τρόπο με τον οποίο εξακολουθούν να υφίστανται και διαβιβάζονται τα δεδομένα γραφήματος.
• Επιλέξτε το καλύτερο πλαίσιο για μια συγκεκριμένη εργασία (από βάσεις δεδομένων γραφημάτων σε πλαίσια επεξεργασίας παρτίδας).
• Εφαρμόστε τους Hadoop , Spark, GraphX και GraphX για να πραγματοποιήσετε υπολογιστικά γραφή σε πολλές μηχανές παράλληλα.
• Προβάλετε μεγάλα προβλήματα δεδομένων σε πραγματικό κόσμο όσον αφορά τα γραφήματα, τις διαδικασίες και τις μετακινήσεις.

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση