Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
- Επισκόπηση του DeepSpeed και των δυνατοτήτων του
- DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση PyTorch και DeepSpeed
- Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- Σωλήνας εκπαίδευσης DeepSpeed
- ZeRO (βελτιστοποίηση μνήμης)
- Σημείο ελέγχου ενεργοποίησης
- Σημείο ελέγχου κλίσης
- Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed
- Προηγμένες τεχνικές κλιμάκωσης
- Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
- Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης
- Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
- DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
- DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
- Χρήση DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
- Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
- Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
- Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Requirements
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
21 Hours
Testimonials (2)
Οργάνωση, με τήρηση του προτεινόμενου ημερήσιου διαλόγου, η ευρεία γνώση του εκπαιδευτή σ' αυτό το θέμα
Ali Kattan - TWPI
Course - Natural Language Processing with TensorFlow
Machine Translated
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Course - TensorFlow for Image Recognition
Machine Translated