Course Outline

Εισαγωγή

    Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης Επισκόπηση του DeepSpeed και των δυνατοτήτων του DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης

Ξεκινώντας

    Ρύθμιση του περιβάλλοντος ανάπτυξης Εγκατάσταση PyTorch και DeepSpeed Ρύθμιση παραμέτρων DeepSpeed για κατανεμημένη εκπαίδευση

Δυνατότητες βελτιστοποίησης DeepSpeed

    DeepSpeed training pipeline ZeRO (βελτιστοποίηση μνήμης) Σημείο ελέγχου ενεργοποίησης Σημείο ελέγχου κλίσης Παραλληλισμός αγωγών

Κλιμάκωση μοντέλων με DeepSpeed

    Βασική κλιμάκωση με χρήση DeepSpeed Προηγμένες τεχνικές κλιμάκωσης Στοιχεία απόδοσης και βέλτιστες πρακτικές Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων

Προηγμένα θέματα DeepSpeed

    Προηγμένες τεχνικές βελτιστοποίησης Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU) DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης

Ενσωμάτωση του DeepSpeed με το PyTorch

    Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch χρησιμοποιώντας DeepSpeed με PyTorch Lightning

Αντιμετώπιση προβλημάτων

    Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed Παρακολούθηση και καταγραφή

Περίληψη και Επόμενα Βήματα

    Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή Περαιτέρω πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed

Requirements

  • Ενδιάμεση γνώση αρχών βαθιάς μάθησης
  • Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
  • Εξοικείωση με τον προγραμματισμό Python

Ακροατήριο

  • Επιστήμονες δεδομένων
  • Μηχανικοί μηχανικής εκμάθησης
  • προγραμματιστές
 21 Hours

Number of participants



Price per participant

Related Courses

Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation

21 Hours

Related Categories