Βασικές αρχές του Apache Spark Κομμάτι εκπαίδευσης

Αυτή η εκπαίδευση με εισηγητή, ζωντανή (online ή onsite) στο Ελλάδα απευθύνεται σε επιστήμονες δεδομένων και μηχανικούς μεσαίου επιπέδου που επιθυμούν να χρησιμοποιήσουν το Google Colab και το Apache Spark για επεξεργασία και ανάλυση μεγάλων δεδομένων.

Με την ολοκλήρωση αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Να ρυθμίσουν ένα περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας το Google Colab και το Spark.
• Να επεξεργάζονται και να αναλύουν αποτελεσματικά μεγάλα σύνολα δεδομένων με το Apache Spark.
• Να οπτικοποιούν μεγάλα δεδομένα σε ένα συνεργατικό περιβάλλον.
• Να ενσωματώνουν το Apache Spark με εργαλεία cloud.

Αυτή η εκπαίδευση παρέχει μια πρακτική εισαγωγή στη δημιουργία κλιμακώσιμων ροών επεξεργασίας δεδομένων και Μηχανικής Μάθησης χρησιμοποιώντας το PySpark. Οι συμμετέχοντες μαθαίνουν πώς λειτουργεί το Apache Spark μέσα σε σύγχρονα οικοσυστήματα Μεγάλων Δεδομένων και πώς να επεξεργάζονται αποδοτικά μεγάλα σύνολα δεδομένων χρησιμοποιώντας αρχές κατανεμημένου υπολογισμού.

Αυτή η εκπαίδευση με εισηγητή, ζωντανά στο Ελλάδα (online ή onsite), απευθύνεται σε διαχειριστές συστημάτων αρχαρίου έως μεσαίου επιπέδου που επιθυμούν να αναπτύξουν, να συντηρήσουν και να βελτιστοποιήσουν συστάδες Spark.

Με την ολοκλήρωση αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαθιστούν και να παραμετροποιούν το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειρίζονται τους πόρους της συστάδας και να παρακολουθούν τις εφαρμογές Spark.
• Βελτιστοποιούν την απόδοση των συστάδων Spark.
• Εφαρμόζουν μέτρα ασφαλείας και να διασφαλίζουν υψηλή διαθεσιμότητα.
• Εντοπίζουν και να επιλύουν συνήθη προβλήματα του Spark.

Η καμπύλη μάθησης του Apache Spark αυξάνεται αργά στην αρχή· χρειάζεται μεγάλη προσπάθεια για να επιτευχθούν τα πρώτα αποτελέσματα. Αυτό το μάθημα στοχεύει να ξεπεράσει το αρχικό δύσκολο στάδιο. Μετά την παρακολούθηση, οι συμμετέχοντες θα κατανοήσουν τα βασικά του Apache Spark, θα διακρίνουν σαφώς τα RDD από τα DataFrame, θα μάθουν τα API Python και Scala, θα κατανοήσουν τους εκτελεστές (executors) και τις εργασίες (tasks), κ.λπ. Επίσης, ακολουθώντας τις βέλτιστες πρακτικές, το μάθημα εστιάζει έντονα στην ανάπτυξη στο cloud, στο Databricks και στο AWS. Οι φοιτητές θα κατανοήσουν επίσης τις διαφορές μεταξύ του AWS EMR και του AWS Glue, μιας από τις τελευταίες υπηρεσίες Spark της AWS.

ΑΚΡΟΑΤΗΡΙΟ:

Μηχανικός Δεδομένων, DevOps, Επιστήμονας Δεδομένων

Σε αυτή τη ζωντανή εκπαίδευση με εκπαιδευτή, που διεξάγεται σε Ελλάδα, οι συμμετέχοντες θα μάθουν πώς να συνδυάζουν Python και Spark για την ανάλυση μεγάλων δεδομένων, μέσα από πρακτικές ασκήσεις.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Να μάθουν πώς να χρησιμοποιούν το Spark με την Python για την ανάλυση Μεγάλων Δεδομένων.
• Να εργαστούν σε ασκήσεις που προσομοιώνουν πραγματικές περιπτώσεις.
• Να χρησιμοποιήσουν διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων με το PySpark.

Αυτή η εκπαίδευση με εκπαιδευτή, ζωντανά σε Ελλάδα (online ή onsite) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν τα Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με την ολοκλήρωση της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Να ρυθμίσουν το απαραίτητο περιβάλλον για να ξεκινήσουν την επεξεργασία μεγάλων δεδομένων με τα Spark, Hadoop και Python.
• Να κατανοήσουν τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική των Spark και Hadoop.
• Να μάθουν πώς να ενσωματώνουν τα Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Να εξερευνήσουν τα εργαλεία στο οικοσύστημα του Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Να δημιουργήσουν συστήματα σύστασης συνεργατικού φιλτραρίσματος παρόμοια με αυτά των Netflix, YouTube, Amazon, Spotify και Google.
• Να χρησιμοποιήσουν το Apache Mahout για κλιμάκωση αλγορίθμων μηχανικής μάθησης.

Το Stratio είναι μια πλατφόρμα με επίκεντρο τα δεδομένα που ενσωματώνει μεγάλα δεδομένα, ΤΝ και διακυβέρνηση σε μία ενιαία λύση. Οι μονάδες Rocket και Intelligence επιτρέπουν ταχεία εξερεύνηση δεδομένων, μετασχηματισμό και προηγμένα αναλυτικά στοιχεία σε επιχειρηματικά περιβάλλοντα.

Αυτή η ζωντανή εκπαίδευση με καθοδήγηση εκπαιδευτή (διαδικτυακή ή δια ζώσης) απευθύνεται σε επαγγελματίες δεδομένων μεσαίου επιπέδου που επιθυμούν να χρησιμοποιήσουν αποτελεσματικά τις μονάδες Rocket και Intelligence του Stratio με PySpark, εστιάζοντας στις δομές επανάληψης, τις συναρτήσεις οριζόμενες από τον χρήστη και την προηγμένη λογική δεδομένων.

Μετά το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Πλοηγηθούν και να εργαστούν στην πλατφόρμα Stratio χρησιμοποιώντας τις μονάδες Rocket και Intelligence.
• Εφαρμόσουν PySpark στο πλαίσιο της εισαγωγής, του μετασχηματισμού και της ανάλυσης δεδομένων.
• Χρησιμοποιήσουν βρόχους και λογικές συνθήκες για τον έλεγχο ροών εργασίας δεδομένων και εργασιών μηχανικής χαρακτηριστικών.
• Δημιουργήσουν και να διαχειριστούν συναρτήσεις οριζόμενες από τον χρήστη (UDFs) για επαναχρησιμοποιήσιμες λειτουργίες δεδομένων στην PySpark.

Μορφή του Μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Πρακτική υλοποίηση σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές Προσαρμογής Μαθήματος

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να το κανονίσουμε.