Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης Επισκόπηση του DeepSpeed και των δυνατοτήτων του DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης Εγκατάσταση PyTorch και DeepSpeed Ρύθμιση παραμέτρων DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- DeepSpeed training pipeline ZeRO (βελτιστοποίηση μνήμης) Σημείο ελέγχου ενεργοποίησης Σημείο ελέγχου κλίσης Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed Προηγμένες τεχνικές κλιμάκωσης Στοιχεία απόδοσης και βέλτιστες πρακτικές Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU) DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch χρησιμοποιώντας DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή Περαιτέρω πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Requirements
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
21 Hours