Εξέλιξη Κομματιού
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
- Επισκόπηση του DeepSpeed και των δυνατοτήτων του
- DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση PyTorch και DeepSpeed
- Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- Σωλήνας εκπαίδευσης DeepSpeed
- ZeRO (βελτιστοποίηση μνήμης)
- Σημείο ελέγχου ενεργοποίησης
- Σημείο ελέγχου κλίσης
- Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed
- Προηγμένες τεχνικές κλιμάκωσης
- Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
- Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης
- Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
- DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
- DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
- Χρήση DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
- Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
- Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
- Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Απαιτήσεις
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
Σχόλια (3)
Μου άρεσαν πολύ τα τελικά όπου είχαμε την ευκαιρία να παίξουμε με το CHAT GPT. Η αίθουσα δεν ήταν κατά κάποιον τρόπο η καλύτερη γι' αυτό - αντί να υπάρχει μια μεγάλη τράπεζα, δυο μικρές θα βοήθησαν και θα μπορούσαμε να σχηματίσουμε μικρότερους ομάδες για διαδικασίες υποστήριξης.
Nola - Laramie County Community College
Κομμάτι - Artificial Intelligence (AI) Overview
Μηχανική Μετάφραση
Εργασία από τη βάση με εστιασμένο τρόπο και μετάβαση στην εφαρμογή περιπτώσεων στο ίδιο χρονικό διάστημα
Maggie Webb - Department of Jobs, Regions, and Precincts
Κομμάτι - Artificial Neural Networks, Machine Learning, Deep Thinking
Μηχανική Μετάφραση
Είχε την αίσθηση ότι προχώραμε με συνήθη ρυθμό και άμεση σχέση με το υλικό (δηλαδή, χωρίς να υπάρχουν περιττά στοιχεία)
Maggie Webb - Department of Jobs, Regions, and Precincts
Κομμάτι - Introduction to the use of neural networks
Μηχανική Μετάφραση