Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στην Παραμετρο-Αποδοτική Ευθυγράμμιση (PEFT)

  • Κίνητρα και περιορισμοί της πλήρους ευθυγράμμισης.
  • Επισκόπηση του PEFT: στόχοι και οφέλη.
  • Εφαρμογές και περιπτώσεις χρήσης στη βιομηχανία.

LoRA (Low-Rank Adaptation)

  • Η έννοια και η διαίσθηση πίσω από τη LoRA.
  • Εφαρμογή της LoRA χρησιμοποιώντας το Hugging Face και το PyTorch.
  • Χειροκίνητη εφαρμογή: Ευθυγράμμιση ενός μοντέλου με τη LoRA.

Rύθμιση Προσαρμογέα (Adapter Tuning)

  • Το πώς λειτουργούν τα προσαρμοστικά modules.
  • Ενσωμάτωση σε μοντέλα βασισμένα σε transformer.
  • Χειροκίνητη εφαρμογή: Εφαρμογή του Adapter Tuning σε ένα μοντέλο transformer.

Rύθμιση Προτάσματος (Prefix Tuning)

  • Χρήση «μαλακών» prompts για ευθυγράμμιση.
  • Δυνατά σημεία και περιορισμοί σε σύγκριση με την LoRA και τους προσαρμογείς.
  • Χειροκίνητη εφαρμογή: Prefix Tuning σε μια εργασία LLM.

Αξιολόγηση και Σύγκριση Μεθόδων PEFT

  • Μετρικές για την αξιολόγηση απόδοσης και αποτελεσματικότητας.
  • Ανταλλάγματα στην ταχύτητα εκπαίδευσης, την χρήση μνήμης και την ακρίβεια.
  • Επιχειρησιακά πειράματα και ερμηνεία των αποτελεσμάτων.

Τοποθέτηση Ευθυγραμμισμένων Μοντέλων

  • Αποθήκευση και φόρτωση των ευθυγραμμισμένων μοντέλων.
  • Θεωρήσεις τοποθέτησης για μοντέλα με βάση το PEFT.
  • Ενσωμάτωση σε εφαρμογές και ροές εργασίας.

Άριστες Πρακτικές και Παραλλαγές

  • Συνδυασμός του PEFT με ποσοτικοποίηση (quantization) και απόσπαση (distillation).
  • Χρήση σε περιβάλλοντα με περιορισμένους πόρους και πολυγλωσσικά.
  • Μελλοντικοί στόχοι και ενεργές περιοχές ερευνών.

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Κατανόηση των θεμελιωδών αρχών της μηχανικής μάθησης.
  • Εμπειρία εργασίας με μεγάλα γλώσσας μοντέλα (LLMs).
  • Γνωριμία με τη γλώσσα προγραμματισμού Python και το PyTorch.

Κοινό-Στόχος

  • Επιστήμονες δεδομένων.
  • Μηχανικοί τεχνητής νοημοσύνης.
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες