Course Outline
Εισαγωγή
Κατανόηση Big Data
Επισκόπηση του Spark
Επισκόπηση του Python
Επισκόπηση του PySpark
- Διανομή δεδομένων με χρήση ελαστικού πλαισίου κατανεμημένων συνόλων δεδομένων Υπολογισμός διανομής με χρήση τελεστών Spark API
Ρύθμιση Python με Spark
Ρύθμιση PySpark
Χρήση περιπτώσεων Amazon Web Services (AWS) EC2 για το Spark
Ρύθμιση Databricks
Ρύθμιση του συμπλέγματος AWS EMR
Εκμάθηση των Βασικών Python Προγραμματισμού
- Ξεκινώντας με Python Χρήση του σημειωματάριου Jupyter με χρήση μεταβλητών και απλών τύπων δεδομένων Εργασία με λίστες με χρήση εντολών if με χρήση εισόδων χρήστη που δουλεύουν με ενώ βρόχοι υλοποίηση συναρτήσεων Εργασία με κλάσεις που δουλεύουν με αρχεία και εξαιρέσεις Εργασία με έργα, δεδομένα και API
Μαθαίνοντας τα βασικά του Spark DataFrame
- Ξεκινώντας με το Spark DataFrames Υλοποίηση βασικών λειτουργιών με το Spark χρησιμοποιώντας Groupby και συγκεντρωτικές λειτουργίες Εργασία με χρονικές σημάνσεις και ημερομηνίες
Εργασία σε μια άσκηση έργου Spark DataFrame
Κατανόηση Machine Learning με το MLlib
Εργασία με το MLlib, το Spark και το Python για τη Μηχανική Μάθηση
Κατανόηση των παλινδρομήσεων
- Εκμάθηση θεωρίας γραμμικής παλινδρόμησης Εφαρμογή κώδικα αξιολόγησης παλινδρόμησης Εργασία σε δείγμα άσκησης γραμμικής παλινδρόμησης Εκμάθηση θεωρίας λογιστικής παλινδρόμησης Εφαρμογή κώδικα λογιστικής παλινδρόμησης Εργασία σε δείγμα άσκησης λογιστικής παλινδρόμησης
Κατανόηση Random Forests και Decision Trees
- Εκμάθηση μεθόδων δέντρων Θεωρία Εφαρμογή Δέντρων αποφάσεων και Random Forest Κώδικες που εργάζονται σε ένα δείγμα Random Forest Άσκηση ταξινόμησης
Εργασία με K-means Clustering
- Κατανόηση της θεωρίας ομαδοποίησης K-means Εφαρμογή κώδικα ομαδοποίησης K-means Εργασία σε μια άσκηση δειγματοληψίας ομαδοποίησης
Εργασία με Συστήματα Recommender
Εφαρμογή Επεξεργασίας Φυσικής Γλώσσας
- Κατανόηση Natural Language Processing (NLP) Επισκόπηση των εργαλείων NLP που εργάζονται σε ένα δείγμα άσκησης NLP
Streaming with Spark στο Python
- Επισκόπηση Streaming with Spark Sample Spark Streaming Άσκηση
Τελευταία σχόλια
Requirements
- Γενικές δεξιότητες προγραμματισμού
Ακροατήριο
- προγραμματιστές
- Επαγγελματίες Πληροφορικής
- Επιστήμονες Δεδομένων
Testimonials (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,
Michael Monks - Tech NorthWest Skillnet
Course - Python and Spark for Big Data (PySpark)
Individual attention.
ARCHANA ANILKUMAR - PPL
Course - Python and Spark for Big Data (PySpark)
Hands on Training..
Abraham Thomas - PPL
Course - Python and Spark for Big Data (PySpark)
The lessons were taught in a Jupyter notebook. The topics were structured with a logical sequence and naturally helped develop the session from the easier parts to the more complex. I'm already an advanced user of Python with background in Machine Learning, so found the course easier to follow than, possibly, some of my classmates that took the training course. I appreciate that some of the most elementary concepts were skipped and that he focused on the most substantial matters.