Εξέλιξη Κομματιού
Εισαγωγή
- Επισκόπηση των προκλήσεων κλιμάκωσης βαθιάς μάθησης
- Επισκόπηση του DeepSpeed και των δυνατοτήτων του
- DeepSpeed έναντι άλλων κατανεμημένων βιβλιοθηκών βαθιάς μάθησης
Ξεκινώντας
- Ρύθμιση του περιβάλλοντος ανάπτυξης
- Εγκατάσταση PyTorch και DeepSpeed
- Διαμόρφωση του DeepSpeed για κατανεμημένη εκπαίδευση
Δυνατότητες βελτιστοποίησης DeepSpeed
- Σωλήνας εκπαίδευσης DeepSpeed
- ZeRO (βελτιστοποίηση μνήμης)
- Σημείο ελέγχου ενεργοποίησης
- Σημείο ελέγχου κλίσης
- Παραλληλισμός αγωγών
Κλιμάκωση μοντέλων με DeepSpeed
- Βασική κλιμάκωση με χρήση DeepSpeed
- Προηγμένες τεχνικές κλιμάκωσης
- Θεωρήσεις απόδοσης και βέλτιστες πρακτικές
- Τεχνικές εντοπισμού σφαλμάτων και αντιμετώπισης προβλημάτων
Προηγμένα θέματα DeepSpeed
- Προηγμένες τεχνικές βελτιστοποίησης
- Χρήση DeepSpeed με προπόνηση μεικτής ακρίβειας
- DeepSpeed σε διαφορετικό υλικό (π.χ. GPUs, TPU)
- DeepSpeed με πολλαπλούς κόμβους εκπαίδευσης
Ενσωμάτωση του DeepSpeed με το PyTorch
- Ενσωμάτωση ροών εργασίας DeepSpeed με PyTorch
- Χρήση DeepSpeed με PyTorch Lightning
Αντιμετώπιση προβλημάτων
- Εντοπισμός σφαλμάτων κοινών προβλημάτων DeepSpeed
- Παρακολούθηση και καταγραφή
Περίληψη και Επόμενα Βήματα
- Ανακεφαλαίωση βασικών εννοιών και χαρακτηριστικών
- Βέλτιστες πρακτικές για τη χρήση του DeepSpeed στην παραγωγή
- Περισσότεροι πόροι για να μάθετε περισσότερα σχετικά με το DeepSpeed
Απαιτήσεις
- Ενδιάμεση γνώση αρχών βαθιάς μάθησης
- Εμπειρία με PyTorch ή παρόμοια πλαίσια βαθιάς μάθησης
- Εξοικείωση με τον προγραμματισμό Python
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί μηχανικής εκμάθησης
- προγραμματιστές
Σχόλια (3)
Μου άρεσαν πολύ τα τελικά όπου είχαμε την ευκαιρία να παίξουμε με το CHAT GPT. Η αίθουσα δεν ήταν κατά κάποιον τρόπο η καλύτερη γι' αυτό - αντί να υπάρχει μια μεγάλη τράπεζα, δυο μικρές θα βοήθησαν και θα μπορούσαμε να σχηματίσουμε μικρότερους ομάδες για διαδικασίες υποστήριξης.
Nola - Laramie County Community College
Κομμάτι - Artificial Intelligence (AI) Overview
Μηχανική Μετάφραση
Εργασία από τη βάση με εστιασμένο τρόπο και μετάβαση στην εφαρμογή περιπτώσεων στο ίδιο χρονικό διάστημα
Maggie Webb - Department of Jobs, Regions, and Precincts
Κομμάτι - Artificial Neural Networks, Machine Learning, Deep Thinking
Μηχανική Μετάφραση
Ότι χρησιμοποιούσε πραγματικά δεδομένα επιχειρήσεων. Ο καθηγητής είχε μια πολύ καλή προσέγγιση, κάνοντας τους εκπαιδευόμενους να συμμετέχουν και να ανταγωνίζονται
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Κομμάτι - Applied AI from Scratch in Python
Μηχανική Μετάφραση