DeepSpeed για βαθύ μάθηση Κομμάτι εκπαίδευσης
Το DeepSpeed είναι μια βιβλιοθήκη βελτιστοποίησης βαθιάς μάθησης που διευκολύνει την κλίμακα μοντέλων βαθιάς εκμάθησης σε κατανεμημένο υλικό. Αναπτύχθηκε από τον Microsoft, το DeepSpeed ενσωματώνεται με το PyTorch για να παρέχει καλύτερη κλιμάκωση, ταχύτερη εκπαίδευση και βελτιωμένη χρήση πόρων.
Αυτή η ζωντανή εκπαίδευση (διαδικτυακή ή επιτόπου) καθοδηγούμενη από εκπαιδευτές απευθύνεται σε αρχάριους έως μεσαίου επιπέδου επιστήμονες δεδομένων και μηχανικούς μηχανικής μάθησης που επιθυμούν να βελτιώσουν την απόδοση των μοντέλων βαθιάς μάθησης.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις αρχές της κατανεμημένης βαθιάς μάθησης.
- Εγκαταστήστε και διαμορφώστε το DeepSpeed.
- Κλιμακώστε τα μοντέλα βαθιάς εκμάθησης σε κατανεμημένο υλικό χρησιμοποιώντας το DeepSpeed.
- Εφαρμόστε και πειραματιστείτε με λειτουργίες DeepSpeed για βελτιστοποίηση και απόδοση μνήμης.
Μορφή του μαθήματος
- Διαδραστική διάλεξη και συζήτηση.
- Πολλές ασκήσεις και εξάσκηση.
- Πρακτική εφαρμογή σε περιβάλλον ζωντανού εργαστηρίου.
Επιλογές προσαρμογής μαθήματος
- Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.
Εξέλιξη Κομματιού
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
- Επισκόπηση του DeepSpeed και των δυνατοτήτων του
- DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση PyTorch και DeepSpeed
- Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- Σωλήνας εκπαίδευσης DeepSpeed
- ZeRO (βελτιστοποίηση μνήμης)
- Σημείο ελέγχου ενεργοποίησης
- Σημείο ελέγχου κλίσης
- Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed
- Προηγμένες τεχνικές κλιμάκωσης
- Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
- Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης
- Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
- DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
- DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
- Χρήση DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
- Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
- Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
- Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Απαιτήσεις
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
Κομμάτια Εκπαίδευσης χρειάζονται 5+ συμμετέχοντες.
DeepSpeed για βαθύ μάθηση Κομμάτι εκπαίδευσης - Κράτηση
DeepSpeed για βαθύ μάθηση Κομμάτι εκπαίδευσης - Ζήτημα Συμβουλευτικής
DeepSpeed για βαθύ μάθηση - Συμβουλευτική Αίτημα
Εφεξής Μαθήματα
Σχετικά Μαθήματα
Advanced Stable Diffusion: Deep Learning για Δημιουργία Εικόνων από Κείμενο
21 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων μεσαίου έως προχωρημένου επιπέδου, μηχανικούς μηχανικής μάθησης, ερευνητές βαθιάς μάθησης και ειδικούς στην όραση υπολογιστών που επιθυμούν να επεκτείνουν τις γνώσεις και τις δεξιότητές τους στη βαθιά μάθηση για δημιουργία κειμένου σε εικόνα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε προηγμένες αρχιτεκτονικές βαθιάς εκμάθησης και τεχνικές για τη δημιουργία κειμένου σε εικόνα.
- Εφαρμόστε πολύπλοκα μοντέλα και βελτιστοποιήσεις για σύνθεση εικόνας υψηλής ποιότητας.
- Βελτιστοποιήστε την απόδοση και την επεκτασιμότητα για μεγάλα σύνολα δεδομένων και πολύπλοκα μοντέλα.
- Συντονίστε τις υπερπαραμέτρους για καλύτερη απόδοση και γενίκευση του μοντέλου.
- Ενσωματώστε το Stable Diffusion με άλλα πλαίσια και εργαλεία βαθιάς μάθησης
AlphaFold
7 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε βιολόγους που επιθυμούν να κατανοήσουν πώς λειτουργεί το AlphaFold και να χρησιμοποιούν μοντέλα AlphaFold ως οδηγούς στις πειραματικές τους μελέτες.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του AlphaFold.
- Μάθετε πώς λειτουργεί το AlphaFold.
- Μάθετε πώς να ερμηνεύετε AlphaFold προβλέψεις και αποτελέσματα.
Καθολική Ανάπτυξη Τεχνητής Νοημοσύνης από τη Βάση
28 ΏρεςΑυτό είναι ένα μάθημα 4 ημερών που εισάγει την τεχνητή νοημοσύνη και την εφαρμογή της. Υπάρχει μια επιλογή να έχετε μια επιπλέον ημέρα για να αναλάβετε ένα έργο AI μετά την ολοκλήρωση αυτού του μαθήματος.
Βελτιστοποίηση Δεep Learning Νευρωνικών Δικτύων με το Chainer
14 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε ερευνητές και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Chainer για να δημιουργήσουν και να εκπαιδεύσουν νευρωνικά δίκτυα στο Python, ενώ παράλληλα κάνουν τον κώδικα εύκολο στον εντοπισμό σφαλμάτων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την ανάπτυξη μοντέλων νευρωνικών δικτύων.
- Ορίστε και εφαρμόστε μοντέλα νευρωνικών δικτύων χρησιμοποιώντας έναν κατανοητό πηγαίο κώδικα.
- Εκτελέστε παραδείγματα και τροποποιήστε υπάρχοντες αλγόριθμους για να βελτιστοποιήσετε τα μοντέλα εκπαίδευσης βαθιάς μάθησης, αξιοποιώντας παράλληλα GPU για υψηλή απόδοση.
Computer Vision με Google Colab και TensorFlow
21 ΏρεςΑυτή η διδασκαλία υπό επιβλέψη καθηγητών, δια ζωντανά (online ή on-site) απευθύνεται σε επαγγελματίες του υψηλότερου επιπέδου που επιθυμούν να βαθύνουν την κατανόησή τους στην υπολογιστική όραση και να αναδιευθύνουν τις δυνατότητες του TensorFlow για την ανάπτυξη περίπλοκων μοντέλων όρασης χρησιμοποιώντας Google Colab.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Δημιουργήσουν και εκπαιδεύσουν δίκτυα τυχαίων ενδεικτών (CNNs) με TensorFlow.
- Να χρησιμοποιήσουν Google Colab για ανάπτυξη κλωβώδων και αποδοτικών μοντέλων σε πλαίσιο νεφέλης.
- Να εφαρμόσουν τεχνικές προεπεξεργασίας εικόνας για εργασίες υπολογιστικής όρασης.
- Να εφαρμόσουν μοντέλα υπολογιστικής όρασης για πραγματικές εφαρμογές.
- Να χρησιμοποιήσουν μεταφορά μάθησης (transfer learning) για τη βελτίωση της απόδοσης των μοντέλων CNN.
- Να οπτικοποιήσουν και να ερμηνεύσουν τα αποτελέσματα μοντέλων κατηγοριοποίησης εικόνας.
Deep Learning με TensorFlow στο Google Colab
14 ΏρεςΑυτή η εκπαιδευτική διάλεξη που γίνεται ζωντανά (online ή σε υπερβολικό) στο Ελλάδα, είναι κατευθυνόμενη σε δεδηλωμένους επαγγελματίες των επιστημόνων δεδομένων και αναπτυκτών που θέλουν να κατανοήσουν και να εφαρμόσουν τεχνικές βαθιά μάθησης χρησιμοποιώντας το περιβάλλον Google Colab.
Από το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορέσουν να:
- Εγκαταστήσουν και διαδραματίσουν Google Colab για προγράμματα βαθιάς μάθησης.
- Κατανοήσουν τα θεμελιώδη στοιχεία των νευρωνικών δικτύων.
- Εφαρμόσουν μοντέλα βαθιάς μάθησης χρησιμοποιώντας το TensorFlow.
- Κατευθύνουν και αξιολογήσουν μοντέλα βαθιάς μάθησης.
- Χρησιμοποιούν τις προεπιλεγμένες λειτουργίες του TensorFlow για βαθιά μάθηση.
Βαθιά Μάθηση για NLP (Επεξεργασία Φυσικής Γλώσσας)
28 ΏρεςΣε αυτή την εκπαιδευτική σειρά με καθηγητή, οι συμμετέχοντες θα μάθουν να χρησιμοποιούν βιβλιοθήκες Python για NLP καθώς δημιουργούν μια εφαρμογή που επεξεργάζεται ένα σύνολο φωτογραφιών και δημιουργεί περιγράφους.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Σχεδιάζουν και γράφουν βιβλιοθήκες ΒΛ για NLP χρησιμοποιώντας βιβλιοθήκες Python.
- Να δημιουργούν κώδικα Python που αναγνωρίζει ένα σημαντικό πλήθος φωτογραφιών και εξάγει λέξεις-κλειδιά.
- Να δημιουργούν κώδικα Python που δημιουργεί περιγράφους από τις εξαγόμενες λέξεις-κλειδιά.
Βαθύς Μάθημα για Ορατό
21 ΏρεςΑκροατήριο
Αυτό το μάθημα είναι κατάλληλο για έρευνες στο βαθύ μάθημα και για μηχανικούς που ενδιαφέρονται να χρησιμοποιήσουν διαθέσιμα εργαλεία (κυρίως open source) για την ανάλυση κομψών εικόνων
Αυτό το μάθημα παρέχει λειτουργικά παραδείγματα.
Edge AI με TensorFlow Lite
14 ΏρεςΑυτή η εκπαίδευση με διδάσκοντα (online ή σε υπόθεση) προσβλέπει σε μεσαίου επίπεδου προγραμματιστές, επιστήμονες και εκτελεστές AI που θέλουν να εκμεταλλευθούν το TensorFlow Lite για εφαρμογές Edge AI.
Με το τέλος αυτής της εκπαιδευτικής διάσκεψης, οι συμμετέχοντες θα μπορέσουν να:
- Διαθέσουν γνώσεις των βασικών αρχών του TensorFlow Lite και της επιπτοής του στη Edge AI.
- Εντοπίζουν και βελτιώνουν μοντέλα AI χρησιμοποιώντας το TensorFlow Lite.
- Ανάθεση μοντέλων TensorFlow Lite σε διάφορα κατώτερα συσκευές.
- Χρησιμοποίηση εργαλείων και τεχνικών για μετατροπή και βελτίωση μοντέλων.
- Πράξις πρακτικών Edge AI εφαρμογών χρησιμοποιώντας TensorFlow Lite.
Επιτάχυνση του βαθιά εκπαιδευμένου μάθησης με FPGA και OpenVINO
35 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να επιταχύνουν εφαρμογές μηχανικής εκμάθησης σε πραγματικό χρόνο και να τις αναπτύξουν σε κλίμακα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εγκαταστήστε την εργαλειοθήκη OpenVINO.
- Επιταχύνετε μια εφαρμογή όρασης υπολογιστή χρησιμοποιώντας ένα FPGA.
- Εκτελέστε διαφορετικά επίπεδα CNN στο FPGA.
- Κλιμακώστε την εφαρμογή σε πολλούς κόμβους σε ένα σύμπλεγμα Kubernetes.
Ανίχνευση Παρανομιών με Python και TensorFlow
14 ΏρεςΑυτή η εκπαίδευση με εγκαθιδρυτικό, ζωντανή σε Ελλάδα (online ή onsite), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το TensorFlow για την ανάλυση δεδομένων πιθανών παρανομιών.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Δημιουργήσουν ένα μοντέλο ανίχνευσης παρανομιών στο Python και TensorFlow.
- Κατασκευάσουν γραμμικές παλινδρομήσεις και μοντέλα γραμμικών παλινδρομήσεων για την πρόβλεψη παρανομιών.
- Αναπτύξουν μια εφαρμογή AI από τέλος σε τέλος για την ανάλυση δεδομένων παρανομιών.
Διαμορφωτικό Μάθηση με το Horovod
7 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές ή επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το Horovod για να εκτελέσουν κατανεμημένες εκπαιδεύσεις βαθιάς μάθησης και να το κλιμακώσουν ώστε να εκτελούνται σε πολλά GPU παράλληλα. .
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την εκτέλεση εκπαιδεύσεων βαθιάς μάθησης.
- Εγκαταστήστε και διαμορφώστε το Horovod για να εκπαιδεύσετε μοντέλα με TensorFlow, Keras, PyTorch και Apache MXNet.
- Κλιμακώστε την εκπαίδευση βαθιάς μάθησης με το Horovod για να τρέξετε σε πολλαπλά GPU δευτερόλεπτα.
Δημιουργία βαθιάς εξελίξεως με το Keras
21 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε τεχνικά άτομα που επιθυμούν να εφαρμόσουν μοντέλο βαθιάς μάθησης σε εφαρμογές αναγνώρισης εικόνων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εγκαταστήστε και διαμορφώστε το Keras.
- Δημιουργήστε γρήγορα πρωτότυπα μοντέλων βαθιάς μάθησης.
- Εφαρμόστε ένα συνελικτικό δίκτυο.
- Εφαρμόστε ένα επαναλαμβανόμενο δίκτυο.
- Εκτελέστε ένα μοντέλο βαθιάς εκμάθησης τόσο σε CPU όσο και σε GPU.
Εισαγωγή στο Stable Diffusion για τη Γένεση Εικόνων από κείμενο
21 ΏρεςΑυτή η ζωντανή εκπαίδευση (διαδικτυακή ή επιτόπου) από εκπαιδευτές απευθύνεται σε επιστήμονες δεδομένων, μηχανικούς μηχανικής μάθησης και ερευνητές όρασης υπολογιστών που επιθυμούν να αξιοποιήσουν το Stable Diffusion για να δημιουργήσουν εικόνες υψηλής ποιότητας για ποικίλες περιπτώσεις χρήσης.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις αρχές του Stable Diffusion και πώς λειτουργεί για τη δημιουργία εικόνων.
- Δημιουργήστε και εκπαιδεύστε Stable Diffusion μοντέλα για εργασίες δημιουργίας εικόνας.
- Εφαρμόστε το Stable Diffusion σε διάφορα σενάρια δημιουργίας εικόνας, όπως inpainting, outpainting και μετάφραση εικόνας σε εικόνα.
- Βελτιστοποιήστε την απόδοση και τη σταθερότητα των μοντέλων Stable Diffusion.
Tensorflow Lite για Μικροελαττυσμένα
21 ΏρεςΑυτή η εκπαίδευση υπό την καθοδήγηση δασκάλου σε Ελλάδα (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να γράφουν, φορτώνουν και λειτουργίζουν μοντέλα μηχανικής μάθησης σε πολύ μικρά ενσωματωμένα υπολογιστικά συστήματα.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Εγκαταστήσουν το TensorFlow Lite.
- Φορτώσουν μοντέλα μηχανικής μάθησης σε ένα ενσωματωμένο υπολογιστικό σύστημα για να το κατασκευάσει, π.χ., να αναγνωρίζει λέξεις, να ταξινομεί εικόνες, κλπ.
- Να προσθέτουν Τεχνητή Νοημοσύνη σε υλικά συστήματα χωρίς να εξαρτώνται από δικτύωση.