Διαχείριση του Apache Spark Κομμάτι εκπαίδευσης

Αυτή η εκπαιδευτική διάλεξη σε ζωντανό μέρος (σε πρόσωπο πρόσωπου ή διαδικτύου) είναι στοχευμένη για μεσαίου επιπέδου ειδικές στατιστικά επιστήμονες και μηχανικούς που θέλουν να χρησιμοποιήσουν Google Colab και Apache Spark για την επεξεργασία και ανάλυση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαιδευτικής διαλέξεως, οι μεταφράστες θα μπορούν να:

• Εγκαταστήσουν περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστούν και αναλύσουν μεγάλα σημεία δεδομένων εξικανώς με το Apache Spark.
• Δημιουργήστε προβολές για μεγάλα σημεία δεδομένων σε ενόπλη υπεύθυνη ομάδα.
• Συνδυάστε Apache Spark με αστικά εργαλεία.

Η παρούσα εκπαίδευση παρέχει μια πρακτική εισαγωγή στην κατασκευή επεκτάσιμων ροών εργασίας επεξεργασίας δεδομένων και Μηχανικής Μάθησης με τη χρήση του PySpark. Οι συμμετέχοντες μαθαίνουν πώς λειτουργεί το Apache Spark εντός των σύγχρονων οικοσυστημάτων Big Data και πώς να επεξεργάζονται αποτελεσματικά μεγάλα σύνολα δεδομένων, αξιοποιώντας τις αρχές της κατανεμημένης επεξεργασίας.

Αυτή η οδηγία υπό διδασκαλία (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να εγκαταστήσουν και να διαχειριστούν το σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Στο τέλος αυτής της κατάρτισης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστάσει και διαμόρφωση του Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανόηση της διαφοράς μεταξύ του Apache Spark και του Hadoop MapReduce, καθώς και πότε να χρησιμοποιήσουν αυτό ή εκείνο.
• Ενσωμάτωση του Apache Spark με άλλες εργαλεία μηχανικής μάθησης.

Η καμπύλη μάθηση του Apache Spark αρχικά είναι ξεκούραση, χρειάζεται πολλή προσπάθεια για να πάρει κανείς το πρώτο αποδότημα. Αυτό το μάθημα στοχεύει να διέλθει τον πρώτο δύσκολο τομέα. Μετά από τη συμμετοχή σε αυτό το μάθημα, οι συμμετέχοντες θα καταλάβουν τις βασικές εννοιές του Apache Spark, θα διακρίνουν με ακρίβεια το RDD από το DataFrame, θα μάθουν τη Python και Scala API, θα καταλάβουν εκτελεστές και εργασίες, κ.α. Επιπλέον, ακολουθώντας τις καλύτερες πρακτικές, αυτό το μάθημα εστιάζει ιδιαίτερα στην υπολογιστική στην Σύνθεση, Databricks και AWS. Οι φοιτητές θα καταλάβουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μία από τις πιο πρόσφατες υπηρεσίες Spark του AWS.

ΔΙΕΥΘΥΝΤΗΣ:

Data Engineer, DevOps, Data Scientist

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

O Spark SQL είναι ένας μόδουλος του Apache Spark για να εργάζεται με δομημένα και ανεξάρτητα σε δομή δεδομένα. Ο Spark SQL παρέχει πληροφορίες για τη δομή των δεδομένων καθώς και την εκτέλεση των υπολογισμών. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για να διεξαχθούν βελτιώσεις. Δύο συνηθισμένες χρήσεις του Spark SQL είναι:
- η εκτέλεση SQL ερωτήσεων.
- η ανάγνωση δεδομένων από υπάρχουσες εγκαταστάσεις Hive.

Σε αυτή την καθοδηγούμενη από καθηγητή, ζωντανή εκπαίδευση (χώρου υποδοχής ή από αποστάση), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να εγκαθιστούν και να ρυθμίζουν το Spark SQL.
• Να διεξάγουν ανάλυση δεδομένων με το Spark SQL.
• Να ερωτήσουν σύνολα δεδομένων σε διάφορα μορφώματα.
• Να οπτικοποιούν δεδομένα και αποτελέσματα ερωτήσεων.

Μορφή του Μαθήματος

• Διαδραστικός διάλεξη και συζήτηση.
• Πολλά ασκήματα και πράξη.
• Χειρονομία εφαρμογής σε ζωντανό lab-περιβάλλον.

Ευκαιρίες Προσαρμογής του Μαθήματος

• Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να κάνετε οργάνωση.

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.