Course Outline
Εισαγωγή
Κατανόηση Big Data
Επισκόπηση του Spark
Επισκόπηση του Python
Επισκόπηση του PySpark
- Διανομή δεδομένων με χρήση του Resilient Distributed Datasets Framework
- Κατανομή υπολογισμού με χρήση τελεστών Spark API
Ρύθμιση Python με Spark
Ρύθμιση PySpark
Χρήση Amazon Web Services (AWS) EC2 Instances για Spark
Ρύθμιση Databricks
Ρύθμιση του συμπλέγματος AWS EMR
Εκμάθηση των Βασικών του Python Programming
- Ξεκινώντας με το Python
- Χρήση του σημειωματάριου Jupyter
- Χρήση μεταβλητών και απλών τύπων δεδομένων
- Εργασία με λίστες
- Χρησιμοποιώντας τις δηλώσεις if
- Χρήση εισόδων χρήστη
- Εργασία με τους βρόχους while
- Λειτουργίες υλοποίησης
- Εργασία με Τάξεις
- Εργασία με αρχεία και εξαιρέσεις
- Εργασία με έργα, δεδομένα και API
Μαθαίνοντας τα βασικά του Spark DataFrame
- Ξεκινώντας με το Spark DataFrames
- Υλοποίηση Βασικών Λειτουργιών με Spark
- Χρήση Groupby και Συγκεντρωτικών Λειτουργιών
- Εργασία με χρονικές σημάνσεις και ημερομηνίες
Εργασία σε μια άσκηση έργου Spark DataFrame
Κατανόηση Machine Learning με το MLlib
Εργασία με MLlib, Spark και Python για Machine Learning
Κατανόηση των παλινδρομήσεων
- Εκμάθηση της Θεωρίας Γραμμικής Παλινδρόμησης
- Εφαρμογή Κώδικα Αξιολόγησης Παλινδρόμησης
- Εργασία σε ένα δείγμα άσκησης γραμμικής παλινδρόμησης
- Εκμάθηση Λογιστικής Παλινδρόμησης Θεωρίας
- Εφαρμογή Κώδικα Logistic Regression
- Εργασία σε ένα δείγμα άσκησης λογιστικής παλινδρόμησης
Κατανόηση Random Forests και Decision Trees
- Θεωρία μεθόδων μάθησης δέντρου
- Δένδρα αποφάσεων εφαρμογής και Random Forest Κώδικες
- Εργασία σε ένα δείγμα Random Forest Άσκηση ταξινόμησης
Εργασία με K-means Clustering
- Κατανόηση της Θεωρίας Clustering K-means
- Εφαρμογή Κώδικα Ομαδοποίησης K-means
- Εργασία σε μια άσκηση δειγματοληψίας ομαδοποίησης
Εργασία με Συστήματα Recommender
Εφαρμογή Επεξεργασίας Φυσικής Γλώσσας
- Κατανόηση Natural Language Processing (NLP)
- Επισκόπηση των εργαλείων NLP
- Εργασία σε ένα δείγμα άσκησης NLP
Streaming with Spark στο Python
- Επισκόπηση Ροή με Spark
- Δείγμα Spark Streaming Άσκηση
Τελευταία σχόλια
Requirements
- Γενικές δεξιότητες προγραμματισμού
Ακροατήριο
- προγραμματιστές
- Επαγγελματίες Πληροφορικής
- Επιστήμονες Δεδομένων
Testimonials (6)
Αρέσε μου το ότι ήταν πρακτικό. Μου αράχθηκε να εφαρμόσω τις θεωρητικές γνώσεις με πρακτικά παραδείγματα.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
Machine Translated
Το μάθημα αφορούσε μια σειρά πολύπλοκων σχετικών θεmatών και ο Παβλό έχει εξαίρετη εμπειρία σε κάθε μία από αυτές. Κάποιες φορές, λεπτομέρειες χάθηκαν στην επικοινωνία και/ή λόγω πιέσεων χρόνου, με αποτέλεσμα να μην εκτελέστηκαν τα προσδοκιές λόγω αυτών. Επίσης υπήρξαν κάποια προβλήματα σετάπ εγκατάστασης UHG/Azure Databricks, αλλά ο Παβλό / UHG διέθεσαν τα γρήγορα μία φορά που έγιναν προφανή - αυτό για εμένα όπως έδειξε ένα υψηλό επίπεδο κατανόησης και επαγγελματικότητας μεταξύ UHG & Παβλό,
Michael Monks - Tech NorthWest Skillnet
Course - Python and Spark for Big Data (PySpark)
Machine Translated
Ιδιόσελγες προσφορές προσοχής. (Note: The phrase "Individual attention" is typically translated as "Ιδιωτική προσοχή" or "Προσωπικοποίηση". However, to maintain a closer translation while ensuring it makes sense in Greek, I've used "Ιδιόσελγες προσφορές προσοχής", which conveys the idea of personalized attention. If a more direct translation is preferred, please specify.) Since exact and natural translation was requested while preserving meaning: Προσωπικοποίηση.
ARCHANA ANILKUMAR - PPL
Course - Python and Spark for Big Data (PySpark)
Machine Translated
Εξοπλισμός με Πρακτική Εκπαίδευση.. (Note: The phrase "Hands on Training" is commonly translated to Greek as "Πρακτική εκπαίδευση". However, the provided translation aims to maintain a natural flow in Greek. If a more literal translation is preferred, it would be "Εξοπλισμός με Πρακτική Δέξιο").
Abraham Thomas - PPL
Course - Python and Spark for Big Data (PySpark)
Machine Translated
Οι εξηγήσεις δόθηκαν σε ένα notebook Jupyter. Οι θέματες ήταν δομημένα με λογική ακολουθία και βοήθησαν φυσικά στην εξέλιξη της συζήτησης από τα απλούστερα στοιχεία προς τα πιο περίπλοκα. Είμαι ήδη εξειδικευμένο χρήστης του Python με βάση στο Machine Learning, οπότε βρήκα τον κατάλειμμα ευκολότερο να ακολουθήσω παρά, ενδεχομένως, μερικοί από τους συμμαθητές μου που έλαβαν το εκπαιδευτικό κατάλειμμα. Εκτιμώ ότι λείπουν αρκετά στοιχειώδη κoncepts και ότι εστιάζει στα πιο βασικά ζητήματα.
Angela DeLaMora - ADT, LLC
Course - Python and Spark for Big Data (PySpark)
Machine Translated
πρακτικές εργασίες
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Course - Python and Spark for Big Data (PySpark)
Machine Translated