Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στην Παραμετρικά Αποδοτική Προσαρμογή (PEFT)

  • Κίνητρα και περιορισμοί της πλήρους προσαρμογής
  • Επισκόπηση της PEFT: στόχοι και οφέλη
  • Εφαρμογές και περιπτώσεις χρήσης στη βιομηχανία

LoRA (Low-Rank Adaptation)

  • Έννοια και διαίσθηση πίσω από το LoRA
  • Υλοποίηση LoRA με χρήση Hugging Face και PyTorch
  • Πρακτική άσκηση: Προσαρμογή ενός μοντέλου με LoRA

Adapter Tuning

  • Πώς λειτουργούν οι μονάδες προσαρμογέων
  • Ενσωμάτωση με μοντέλα βασισμένα σε transformer
  • Πρακτική άσκηση: Εφαρμογή του Adapter Tuning σε ένα μοντέλο transformer

Prefix Tuning

  • Χρήση «μαλακών προτροπών» για προσαρμογή
  • Πλεονεκτήματα και περιορισμοί σε σύγκριση με LoRA και προσαρμογείς
  • Πρακτική άσκηση: Prefix Tuning σε μια εργασία LLM

Αξιολόγηση και σύγκριση μεθόδων PEFT

  • Μετρικές για την αξιολόγηση της απόδοσης και της αποδοτικότητας
  • Ανταλλαγές στην ταχύτητα εκπαίδευσης, τη χρήση μνήμης και την ακρίβεια
  • Πειράματα συγκριτικής αξιολόγησης και ερμηνεία αποτελεσμάτων

Ανάπτυξη προσαρμοσμένων μοντέλων

  • Αποθήκευση και φόρτωση προσαρμοσμένων μοντέλων
  • Ζητήματα ανάπτυξης για μοντέλα βασισμένα σε PEFT
  • Ενσωμάτωση σε εφαρμογές και αγωγούς

Βέλτιστες πρακτικές και επεκτάσεις

  • Συνδυασμός PEFT με κβαντοποίηση και απόσταξη γνώσης
  • Χρήση σε περιβάλλοντα χαμηλών πόρων και πολυγλωσσικές ρυθμίσεις
  • Μελλοντικές κατευθύνσεις και ενεργές ερευνητικές περιοχές

Σύνοψη και επόμενα βήματα

Απαιτήσεις

  • Κατανόηση των βασικών αρχών της μηχανικής μάθησης
  • Εμπειρία στην εργασία με μεγάλα γλωσσικά μοντέλα (LLMs)
  • Εξοικείωση με Python και PyTorch

Κοινό

  • Επιστήμονες δεδομένων
  • Μηχανικοί τεχνητής νοημοσύνης
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες