Python, Spark, and Hadoop for Big Data Training Course

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark with Python για την ανάλυση Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές, οι συμμετέχοντες θα μάθουν για τις προσφορές τεχνολογίας και τις προσεγγίσεις υλοποίησης για την επεξεργασία δεδομένων γραφήματος. Ο στόχος είναι να εντοπιστούν αντικείμενα του πραγματικού κόσμου, τα χαρακτηριστικά και οι σχέσεις τους, στη συνέχεια να μοντελοποιηθούν αυτές οι σχέσεις και να επεξεργαστούν ως δεδομένα χρησιμοποιώντας μια προσέγγιση Graph Computing (γνωστή και ως Graph Analytics). Ξεκινάμε με μια ευρεία επισκόπηση και περιορίζουμε τα συγκεκριμένα εργαλεία καθώς προχωράμε σε μια σειρά περιπτωσιολογικών μελετών, πρακτικών ασκήσεων και ζωντανών αναπτύξεων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε πώς διατηρούνται και διασχίζονται τα δεδομένα γραφήματος.
• Επιλέξτε το καλύτερο πλαίσιο για μια δεδομένη εργασία (από βάσεις δεδομένων γραφημάτων έως πλαίσια επεξεργασίας παρτίδας.)
• Εφαρμόστε τα Hadoop, Spark, GraphX και Pregel για να πραγματοποιήσετε υπολογισμούς γραφημάτων παράλληλα σε πολλές μηχανές.
• Δείτε τα προβλήματα μεγάλων δεδομένων του πραγματικού κόσμου όσον αφορά τα γραφήματα, τις διαδικασίες και τις διαβάσεις.

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου.

Διαχωρίζεται σε δύο πακέτα:

• Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.

• Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό

Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και εξάσκηση.
• Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.

Επιλογές προσαρμογής μαθήματος

• Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Το Pandas είναι ένα πακέτο Python που παρέχει δομές δεδομένων για εργασία με δομημένα (πίνακες, πολυδιάστατα, δυνητικά ετερογενή) και δεδομένα χρονοσειρών.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το Pandas για να προκατασκευάσουν την προγνωστική ανάλυση με μηχανική μάθηση.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εκτελέστε αντιπαράθεση δεδομένων στο Python.
• Διεξαγωγή λειτουργιών ETL για μηχανική μάθηση.
• Δημιουργήστε οπτικοποιήσεις δεδομένων με τα Pandas

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Modin για να δημιουργήσουν και να εφαρμόσουν παράλληλους υπολογισμούς με το Pandas για ταχύτερη ανάλυση δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την ανάπτυξη Pandas ροών εργασίας σε κλίμακα με το Modin.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα πλεονεκτήματα του Modin.
• Γνωρίστε τις διαφορές μεταξύ Modin, Dask και Ray.
• Εκτελέστε λειτουργίες Pandas πιο γρήγορα με το Modin.
• Εφαρμόστε ολόκληρο το Pandas API και τις λειτουργίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και μηχανικούς λογισμικού που επιθυμούν να χρησιμοποιήσουν το Dask με το οικοσύστημα Python για να δημιουργήσουν, να κλιμακώσουν και να αναλύσουν μεγάλα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το περιβάλλον για να ξεκινήσετε τη δημιουργία επεξεργασίας μεγάλων δεδομένων με το Dask και την Python.
• Εξερευνήστε τις δυνατότητες, τις βιβλιοθήκες, τα εργαλεία και τα API που είναι διαθέσιμα στο Dask.
• Κατανοήστε πώς το Dask επιταχύνει τον παράλληλο υπολογισμό στην Python.
• Μάθετε πώς να κλιμακώνετε το οικοσύστημα της Python (Numpy, SciPy και Pandas) χρησιμοποιώντας το Dask.
• Βελτιστοποιήστε το περιβάλλον Dask για να διατηρήσετε υψηλή απόδοση στο χειρισμό μεγάλων συνόλων δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το FastAPI με Python για να δημιουργήσουν, να δοκιμάσουν και να αναπτύξουν RESTful API ευκολότερα και πιο γρήγορα.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για την ανάπτυξη API με Python και FastAPI.
• Δημιουργήστε API πιο γρήγορα και πιο εύκολα χρησιμοποιώντας τη βιβλιοθήκη FastAPI.
• Μάθετε πώς να δημιουργείτε μοντέλα δεδομένων και σχήματα με βάση το Pydantic και το OpenAPI.
• Συνδέστε τα API σε μια βάση δεδομένων χρησιμοποιώντας το SQLAlchemy.
• Εφαρμόστε ασφάλεια και έλεγχο ταυτότητας στα API χρησιμοποιώντας τα εργαλεία FastAPI.
• Δημιουργήστε εικόνες κοντέινερ και αναπτύξτε API Ιστού σε έναν διακομιστή cloud.

Αυτή η ζωντανή εκπαίδευση μέσω εκπαιδευτών (διαδικτυακή ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τη στοίβα FARM (FastAPI, React και MongoDB) για να δημιουργήσουν δυναμικές, υψηλής απόδοσης και επεκτάσιμες εφαρμογές ιστού.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης που ενσωματώνει το FastAPI, React και το MongoDB. Κατανοήστε τις βασικές έννοιες, τα χαρακτηριστικά και τα οφέλη της στοίβας FARM. Μάθετε πώς να δημιουργείτε REST API με το FastAPI. Μάθετε πώς να σχεδιάζετε διαδραστικές εφαρμογές με το React. Αναπτύξτε, δοκιμάστε και αναπτύξτε εφαρμογές (μπροστινό και πίσω άκρο) χρησιμοποιώντας τη στοίβα FARM.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το SciPy για να δημιουργήσουν προηγμένες επιστημονικές συναρτήσεις υπολογιστών με την Python.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε τη δημιουργία επιστημονικών συναρτήσεων υπολογιστών.
• Επωφεληθείτε πλήρως από τα χαρακτηριστικά SciPy εκτελώντας πρακτικά παραδείγματα πολύπλοκων λειτουργιών.
• Εφαρμογή και βελτιστοποίηση μαθηματικών αλγορίθμων και συναρτήσεων για την επίλυση επιστημονικών προβλημάτων.
• Σχεδιάστε δομές δεδομένων και μεθόδους παρεμβολής για οπτικοποίηση, επεξεργασία και ανάλυση.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το PyGame για να δημιουργήσουν και να δημιουργήσουν παιχνίδια χρησιμοποιώντας προγραμματισμό Python.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε τη δημιουργία εφαρμογών παιχνιδιών με το PyGame και το Python.
• Μάθετε πώς να δημιουργείτε διαδραστικές εφαρμογές PyGame ενσωματωμένες με κινούμενα σχέδια και λειτουργίες πολυμέσων.
• Εκτελέστε και δοκιμάστε προγράμματα παιχνιδιών με τη δοκιμαστική σουίτα PyGame και μετατρέψτε τα σε εκτελέσιμα αρχεία.

Αυτό το πρακτικό μάθημα απευθύνεται στους προγραμματιστές της Python που θέλουν να δημιουργήσουν και να διατηρήσουν τις πρώτες εφαρμογές τους στο διαδίκτυο. Απευθύνεται επίσης σε άτομα που ήδη γνωρίζουν άλλα πλαίσια ιστού, όπως το Django ή το Web2py , και θέλουν να μάθουν πώς η χρήση ενός microframework (δηλαδή ενός πλαισίου που Web2py συλλογές τρίτων μερών αντί να παρέχει μια αυτόνομη παγκόσμια λύση) αλλάζει η διαδικασία.

Σημαντικό μέρος του μαθήματος αφιερώνεται όχι μόνο στο Flask (είναι μικροσκοπικό), αλλά σε βιβλιοθήκες και εργαλεία τρίτων που χρησιμοποιούνται συχνά σε έργα Flask.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές backend που επιθυμούν να δημιουργήσουν REST API με το Python και το Flask.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εφαρμόστε ένα REST API για να επιτρέψετε σε μια εφαρμογή web Flask να διαβάζει και να γράφει σε μια βάση δεδομένων στο backend.
• Αναπτύξτε προηγμένες λειτουργίες ελέγχου ταυτότητας, όπως κουπόνια ανανέωσης.
• Δημιουργήστε ένα επαναχρησιμοποιήσιμο backend για μελλοντικά έργα Python.
• Απλοποιήστε την αποθήκευση δεδομένων με το SQLAlchemy.
• Αναπτύξτε REST API σε διακομιστή που βασίζεται σε σύννεφο.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις προηγμένες δυνατότητες του Flask για να δημιουργήσουν επεκτάσιμες εφαρμογές Ιστού πάνω από το MongoDB.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την ανάπτυξη διαδικτυακών εφαρμογών με το Flask.
• Γνωρίστε τις προηγμένες έννοιες και τεχνικές για έργα Flask πραγματικού κόσμου.
• Δημιουργήστε έναν διακομιστή RESTful API πάνω από το MongoDB.
• Μάθετε πώς να τοποθετείτε κοντέινερ, να δοκιμάζετε και να αναπτύσσετε μικροϋπηρεσίες με το Flask, το Docker και το Amazon EC2.
• Αποκτήστε μερικές πληροφορίες σχετικά με τις προηγμένες ενσωματώσεις Flask για την κλιμάκωση εφαρμογών ιστού.