Course Outline
Εισαγωγή
Scala Προγραμματισμός σε βάθος ανασκόπησης
- Σύνταξη και δομή Έλεγχος ροής και λειτουργίες
Spark Internals
- Ανθεκτικά κατανεμημένα σύνολα δεδομένων (RDD) Spark σενάριο σε γράφημα σε σύμπλεγμα
Επισκόπηση του Spark Streaming
- Αρχιτεκτονική ροής Διαστήματα στη ροή Ανοχή σφαλμάτων
Προετοιμασία Αναπτυξιακού Περιβάλλοντος
- Εγκατάσταση και ρύθμιση παραμέτρων του Apache Spark Εγκατάσταση και ρύθμιση παραμέτρων του Scala IDE Εγκατάσταση και ρύθμιση παραμέτρων JDK
Spark Streaming Αρχάριοι έως Προχωρημένοι
- Εργασία με κλειδί/τιμή Φιλτράρισμα RDD's Βελτίωση σεναρίων Spark με κανονικές εκφράσεις Κοινή χρήση δεδομένων σε σύμπλεγμα Εργασία με σύνολα δεδομένων δικτύου Εφαρμογή αλγορίθμων BFS Δημιουργία σεναρίων προγραμμάτων οδήγησης Spark Παρακολούθηση σε πραγματικό χρόνο με σενάρια Σύνταξη συνεχών εφαρμογών Ροή γραμμική παλινδρόμηση βιβλιοθήκης με χρήση Spark Machine Learning
Spark and Clusters
- Ομαδοποίηση εξαρτήσεων και σεναρίων Spark με χρήση του εργαλείου SBT Χρήση EMR για την απεικόνιση συμπλεγμάτων Βελτιστοποίηση με διαμερισμό των RDD με χρήση αρχείων καταγραφής Spark
Ενσωμάτωση στο Spark Streaming
- Ενσωμάτωση του Apache Kafka και εργασία με θέματα Kafka Ενσωμάτωση του Apache Fume και εργασία με διαμορφώσεις Flume που βασίζονται σε pull/push Δημιουργία προσαρμοσμένης κλάσης δέκτη Ενσωμάτωση Cassandra και έκθεση δεδομένων ως υπηρεσίες σε πραγματικό χρόνο
Σε παραγωγή
- Συσκευασία μιας εφαρμογής και εκτέλεσή της με Spark-Submit Αντιμετώπιση προβλημάτων, συντονισμός και εντοπισμός σφαλμάτων Spark Jobs και συμπλέγματα
Περίληψη και Συμπέρασμα
Requirements
- Programming και εμπειρία σεναρίου
Ακροατήριο
- Μηχανικοί Λογισμικού
Testimonials (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
Πολλά πρακτικά παραδείγματα, διαφορετικοί τρόποι προσέγγισης του ίδιου προβλήματος και μερικές φορές όχι τόσο προφανή κόλπα πώς να βελτιώσετε την τρέχουσα λύση
Rafał - Nordea
Course - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Course - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Course - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.