Course Outline

Εισαγωγή στους Δημόσιους Λογισμικού Πηλίνους Μοντέλου (Open-Source LLMs)

  • Τι είναι τα μοντέλα open-weight και γιατί είναι σημαντικά
  • Περιγραφή του LLaMA, Mistral, Qwen και άλλων μοντέλων της κοινότητας
  • Εφαρμογές για ιδιωτικά, εγχώρια ή ασφαλή διαθέσεις

Οριοθέτηση Περιβάλλοντος και Εργαλεία

  • Εγκατάσταση και επεξεργασία των βιβλιοθηκών Transformers, Datasets και PEFT
  • Επιλογή αναλόγου υπολογιστικού εφετισμού για το fine-tuning
  • Φόρτωση προ-έκδοσης μοντέλων από Hugging Face ή άλλους αποθετήρια

Προετοιμασία Δεδομένων και Preprocessing

  • Σχηματισμοί δεδομένων (instruction tuning, chat data, text-only)
  • Τοκενιζάριση και διαχείριση αλληλουχίας
  • Δημιουργία προσωπικών συνόλων δεδομένων και data loaders

Fine-Tuning Τεχνικές

  • Στάνταρντ full fine-tuning εναντίον μεθόδων αποτελεσματικής παραμετροποίησης
  • Εφαρμογή LoRA και QLoRA για αποτελεσματικό fine-tuning
  • Χρήση Trainer API για ταχείες πειραματικές δοκιμές

Εκτίμηση Μοντέλων και Βελτιστοποίηση

  • Αξιολόγηση των fine-tuned μοντέλων με μέτρα γενέσεως και ακρίβειας
  • Διαχείριση overfitting, generalization και validation sets
  • Τεχνικές βελτιστοποίησης επιδόσεων και logging

Αποθήκευση και Ιδιωτική Χρήση

  • Αποθήκευση και φόρτωση μοντέλων για inference
  • Αποθήκευση fine-tuned μοντέλων σε ασφαλή επιχειρηματικά περιβάλλοντα
  • Στρατηγικές on-premise και cloud deployment

Περίπτωσης Σπουδής και Use Cases

  • Παραδείγματα εφαρμογών της επιχειρηματικότητας με LLaMA, Mistral και Qwen
  • Χειρισμός πολυγλωσσικής και τομέα-περιορισμένης fine-tuning
  • Συζήτηση: Τραπεζάρια μεταξύ ανοιχτών και κλειδωμένων μοντέλων

Επίκρους και Επόμενα Βήματα

Requirements

  • Συνεισφορά στα μεγάλα πολυπλεκή μοντέλα γλώσσας (LLMs) και τη δομή τους
  • Εμπειρία με Python και PyTorch
  • Βασική εξέχνηση στο οικοσύστημα Hugging Face

Πολίτες

  • Εργαζόμενοι στη μηχανική μάθηση (ML)
  • Αναπτυξτές AI
 14 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories