Εξέλιξη Κομματιού
Εισαγωγή
Κατανόηση των Μεγάλων Δεδομένων
Επισκόπηση του Spark
Επισκόπηση της Python
Επισκόπηση του PySpark
- Διανομή δεδομένων με χρήση του πλαισίου Resilient Distributed Datasets (RDD)
- Διανομή υπολογισμών με χρήση τελεστών του Spark API
Ρύθμιση της Python με το Spark
Ρύθμιση του PySpark
Χρήση των στιγμιότυπων Amazon Web Services (AWS) EC2 για το Spark
Ρύθμιση του Databricks
Ρύθμιση του cluster AWS EMR
Μαθαίνοντας τα βασικά του προγραμματισμού σε Python
- Ξεκινώντας με την Python
- Χρήση του Jupyter Notebook
- Χρήση μεταβλητών και απλών τύπων δεδομένων
- Εργασία με λίστες
- Χρήση εντολών if
- Χρήση εισόδου χρήστη
- Εργασία με βρόχους while
- Υλοποίηση συναρτήσεων
- Εργασία με κλάσεις
- Εργασία με αρχεία και εξαιρέσεις
- Εργασία με έργα, δεδομένα και APIs
Μαθαίνοντας τα βασικά του Spark DataFrame
- Ξεκινώντας με τα Spark DataFrames
- Υλοποίηση βασικών λειτουργιών με το Spark
- Χρήση των λειτουργιών Groupby και Συνάθροισης
- Εργασία με χρονοσφραγίδες και ημερομηνίες
Εργασία σε μια άσκηση έργου με Spark DataFrame
Κατανόηση της Μηχανικής Μάθησης με το MLlib
Εργασία με το MLlib, το Spark και την Python για Μηχανική Μάθηση
Κατανόηση των Παλινδρομήσεων
- Μαθαίνοντας τη Θεωρία της Γραμμικής Παλινδρόμησης
- Υλοποίηση κώδικα αξιολόγησης παλινδρόμησης
- Εργασία σε μια δειγματική άσκηση γραμμικής παλινδρόμησης
- Μαθαίνοντας τη Θεωρία της Λογιστικής Παλινδρόμησης
- Υλοποίηση κώδικα λογιστικής παλινδρόμησης
- Εργασία σε μια δειγματική άσκηση λογιστικής παλινδρόμησης
Κατανόηση των Τυχαίων Δασών και των Δέντρων Απόφασης
- Μαθαίνοντας τη Θεωρία των Μεθόδων Δέντρων
- Υλοποίηση κωδίκων για Δέντρα Απόφασης και Τυχαία Δάση
- Εργασία σε μια δειγματική άσκηση ταξινόμησης με Τυχαίο Δάσος
Εργασία με τη Συσταδοποίηση K-means
- Κατανόηση της Θεωρίας της Συσταδοποίησης K-means
- Υλοποίηση κώδικα συσταδοποίησης K-means
- Εργασία σε μια δειγματική άσκηση συσταδοποίησης
Εργασία με Συστήματα Συστάσεων
Υλοποίηση Επεξεργασίας Φυσικής Γλώσσας (NLP)
- Κατανόηση της Επεξεργασίας Φυσικής Γλώσσας (NLP)
- Επισκόπηση των Εργαλείων NLP
- Εργασία σε μια δειγματική άσκηση NLP
Ροή δεδομένων με το Spark στην Python
- Επισκόπηση της ροής δεδομένων με το Spark
- Δειγματική άσκηση ροής δεδομένων με το Spark
Κλείσιμο
Απαιτήσεις
- Γενικές δεξιότητες προγραμματισμού
Κοινό-στόχος
- Προγραμματιστές
- Επαγγελματίες Πληροφορικής
- Επιστήμονες Δεδομένων
Σχόλια (6)
Μου άρεσε το γεγονός ότι ήταν πρακτικό. Ελάφρυνε την εφαρμογή των θεωρητικών γνώσεων με πρακτικά παραδείγματα.
Aurelia-Adriana - Allianz Services Romania
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
Ο κOURSE αφορούσε μια σειρά πολύ περίπλοκων συναφών θεμάτων και ο Παblo διαθέτει βαθιά εξοικείωση με κάθε ένα από τα. Κάποιες φορές, λεπτομέρειες χάνονταν στην επικοινωνία και/ή λόγω πίεσης χρόνου και ίσως οι προσδοκίες δεν γνωρίζουν ακριβώς να πληρούνται λόγω αυτού. Επίσης, υπήρξαν κάποια προβλήματα στη διαμόρφωση του UHG/Azure Databricks, αλλά ο Παblo και η UHG τα επέλυσαν γρήγορα μόλις έγιναν φανερά - αυτό σε μου δείχνει υψηλό επίπεδο κατανόησης και επαγγελματικότητας μεταξύ της UHG και του Παblo,
Michael Monks - Tech NorthWest Skillnet
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
Ιδιαίτερη προσοχή.
ARCHANA ANILKUMAR - PPL
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
Εκπαίδευση με εφαρμογές..
Abraham Thomas - PPL
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
Τα μαθήματα διδάχθηκαν σε ένα Jupyter notebook. Τα θέματα υπήρξαν δομημένα με λογική ακολουθία και βοήθησαν φυσικά στην ανάπτυξη της σεσιόν από τα πιο εύκολα μέρη στα πιο περίπλοκα. Είμαι ήδη προχωρημένος χρήστης Python και έχω φόντο σε Machine Learning, οπότε βρήκα το μάθημα ευκολότερο να ακολουθήσω από ό,τι πιθανώς κάποιοι από τους συμμαθητές μου που ολοκλήρωσαν το εκπαιδευτικό μαθήμα. Εκτιμώ ότι κάποια από τις πιο βασικές έννοιες οmissed και ότι εστίασε στις πιο ουσιώδεις θέματα.
Angela DeLaMora - ADT, LLC
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
πρακτικές εργασίες
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Κομμάτι - Python and Spark for Big Data (PySpark)
Μηχανική Μετάφραση
