Course Code

spmllib

Duration

35 hours (usually 5 days including breaks)

Requirements

Knowledge of one of the following:

Java
Scala
Python
SparkR.

Overview

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου.

Διαχωρίζεται σε δύο πακέτα:

Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.
Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό

Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark

Machine Translated

Course Outline

spark.mllib: data types, algorithms, and utilities

Data types
Basic statistics
- summary statistics
- correlations
- stratified sampling
- hypothesis testing
- streaming significance testing
- random data generation
Classification and regression
- linear models (SVMs, logistic regression, linear regression)
- naive Bayes
- decision trees
- ensembles of trees (Random Forests and Gradient-Boosted Trees)
- isotonic regression
Collaborative filtering
- alternating least squares (ALS)
Clustering
- k-means
- Gaussian mixture
- power iteration clustering (PIC)
- latent Dirichlet allocation (LDA)
- bisecting k-means
- streaming k-means
Dimensionality reduction
- singular value decomposition (SVD)
- principal component analysis (PCA)
Feature extraction and transformation
Frequent pattern mining
- FP-growth
- association rules
- PrefixSpan
Evaluation metrics
PMML model export
Optimization (developer)
- stochastic gradient descent
- limited-memory BFGS (L-BFGS)

spark.ml: high-level APIs for ML pipelines

Overview: estimators, transformers and pipelines
Extracting, transforming and selecting features
Classification and regression
Clustering
Advanced topics

Testimonials

★★★★★

Αυτό είναι ένα από τα καλύτερα hands-on με ασκήσεις μαθήματα προγραμματισμού που έχω πάρει ποτέ.

Laura Kahn

Course:Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP

Machine Translated

Ο Richard είναι πολύ ήρεμος και μεθοδικός, με μια αναλυτική γνώση - ακριβώς τις ιδιότητες που απαιτούνται για να παρουσιάσουν αυτό το είδος πορείας

Kieran Mac Kenna

Course:Spark for Developers

Machine Translated

Γνωρίζουμε ότι γνωρίζουμε πολλά περισσότερα για το περιβάλλον

John Kidd

Course:Spark for Developers

Machine Translated

Ο εκπαιδευτής έκανε την κατηγορία ενδιαφέρουσα και διασκεδαστική, η οποία βοηθά αρκετά με όλες τις ημερήσιες προπονήσεις

Ryan Speelman

Course:Spark for Developers

Machine Translated

Ο Ερνέστο έκανε μια σπουδαία δουλειά εξηγώντας τις έννοιες υψηλού επιπέδου για τη χρήση του Spark και των διάφορων ενοτήτων του.

Michael Nemerouf

Course:Spark for Developers

Machine Translated

Μου άρεσε η μεθοδολογία που περίμενε ο Jorge

Experian Colombia S.A

Course:Spark for Developers

Machine Translated

Ο Ρίτσαρντ ήταν πολύ πρόθυμος να ξεφύγει όταν θέλαμε να θέσουμε ημι-σχετικές ερωτήσεις σχετικά με πράγματα που δεν περιλαμβάνονται στο πρόγραμμα σπουδών. Οι εξηγήσεις ήταν σαφείς και ήταν μπροστά για τις προειδοποιήσεις σε οποιαδήποτε συμβουλή μας έδωσε.

ARM Limited

Course:Spark for Developers

Machine Translated

Το VM που μου άρεσε πάρα πολύ Ο δάσκαλος ήταν πολύ γνώστης σχετικά με το θέμα, καθώς και άλλα θέματα, ήταν πολύ ωραίο και φιλικό Μου άρεσε η εγκατάσταση στο Ντουμπάι.

Safar Alqahtani - Elm Information Security

Course:Big Data Analytics in Health

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Course:Spark for Developers

Ο Ajay ήταν πολύ φιλικός, εξυπηρετικός και γνώστης του θέματος που συζητούσε.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Course:Spark for Developers

Machine Translated

Οι εργαστηριακές ασκήσεις. Εφαρμογή της θεωρίας από την πρώτη ημέρα σε επόμενες ημέρες.

Dell

Course:A Practical Introduction to Stream Processing

Machine Translated

Αυτή είναι μια από τις καλύτερες online εκπαιδευτικές ασκήσεις που έχω πάρει ποτέ στην καριέρα μου για 13 χρόνια. Συνεχίστε την καλή δουλειά!

Course:Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP

Machine Translated

Νομίζω ότι ο εκπαιδευτής είχε ένα εξαιρετικό ύφος του συνδυασμού χιούμορ και ιστορίες πραγματικής ζωής για να κάνουν τα θέματα που είναι πολύ προσιτά. Θα ήθελα πολύ να συστήσω αυτόν τον καθηγητή στο μέλλον.

Course:Spark for Developers

Machine Translated

The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.

Course:A Practical Introduction to Stream Processing