Course Outline

Εισαγωγή στο Parameter-Efficient Fine-Tuning (PEFT)

  • Συνοπτικός χαρακτηρισμός και περιορισμοί του πλήρους επικατάρτισης
  • Περιγραφή του PEFT: στόχοι και οφέλη
  • Εφαρμογές και περιπτώσεις χρήσης στη βιομηχανία

LoRA (Low-Rank Adaptation)

  • Πίνακας έννοιας και ευφυΐα πίσω από το LoRA
  • Εμπλοκή LoRA με χρήση Hugging Face και PyTorch
  • Πρακτική: Επικατάρτιση ενός μοντέλου με το LoRA

Tuning με Adapter

  • Πώς λειτουργούν τα modules adapter
  • Ενσωμάτωση σε μοντέλα βασισμένα σε transformers
  • Πρακτική: Εφαρμογή Adapter Tuning σε ένα transformer model

Tuning με Prefix

  • Χρήση soft prompts για επικατάρτιση
  • Συντεταγμένα και περιορισμοί σε σύγκριση με το LoRA και τους adapters
  • Πρακτική: Prefix Tuning για ένα task LLM

Αξιολόγηση και Σύγκριση Μεθόδων PEFT

  • Μέτρα για την αξιολόγηση περформάνς και αποδοτικότητας
  • Ευθείες σύγκρισης στην ταχύτητα εκπαίδευσης, χρήση μνήμης και ακρίβεια
  • Πειράματα benchmarking και ερμηνεία των αποτελεσμάτων

Ανάθεση Επικαταρτισμένων Μοντέλων

  • Αποθήκευση και φόρτωση επικαταρτισμένων μοντέλων
  • Ανάθεση παραμέτρων για PEFT-based models
  • Ενσωμάτωση σε εφαρμογές και pipelines

Καλές Πρακτικές και Επεκτάσεις

  • Συνδυασμός PEFT με quantization και distillation
  • Χρήση σε χαμηλού πόσουτος πόρων και πολυγλώσσων περιβάλλοντα
  • Επόμενες κατευθυντήριες γραμμές και ερευνητικά θέματα

Σύνοψη και Επόμενα Βήματα

Requirements

  • Συνειδητοποίηση των βασικών στοιχείων της μηχανικής μάθησης
  • Εμπειρία εργασίας με μεγάλους λεξικούς μοντέλους (LLMs)
  • Γνώση των Python και PyTorch

Πúblico

  • Επιστήμονες δεδομένων
  • Σχεδιαστές AI
 14 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories