Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Εισαγωγή στο Large Language Models (LLMs)
- Επισκόπηση των LLMs
- Ορισμός και σημασία
- Εφαρμογές στο AI σήμερα
Αρχιτεκτονική Transformer
- Τι είναι ο μετασχηματιστής και πώς λειτουργεί;
- Κύρια στοιχεία και χαρακτηριστικά
- Ενσωμάτωση και κωδικοποίηση θέσης
- Προσοχή πολλαπλών κεφαλιών
- Νευρωνικό δίκτυο τροφοδοσίας
- Κανονικοποίηση και υπολειπόμενες συνδέσεις
Μοντέλα μετασχηματιστών
- Μηχανισμός αυτοπροσοχής
- Αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή
- Ενσωματώσεις θέσης
- BERT (Αμφίδρομες αναπαραστάσεις κωδικοποιητή από μετασχηματιστές)
- GPT (Generative Pretrained Transformer)
Βελτιστοποίηση απόδοσης και παγίδες
- Μήκος περιβάλλοντος
- Mamba και πρότυπα του χώρου του κράτους
- Αστραπιαία προσοχή
- Αραιοί μετασχηματιστές
- Μετασχηματιστές όρασης
- Σημασία της κβαντοποίησης
Βελτίωση μετασχηματιστών
- Ανάκτηση δημιουργίας επαυξημένου κειμένου
- Μείγμα μοντέλων
- Δέντρο των σκέψεων
Τελειοποίηση
- Θεωρία προσαρμογής σε χαμηλό βαθμό
- Βελτιστοποίηση με QLora
Νόμοι κλιμάκωσης και βελτιστοποίηση σε LLM
- Σημασία των νόμων κλιμάκωσης για LLMs
- Κλιμάκωση μεγέθους δεδομένων και μοντέλου
- Υπολογιστική κλιμάκωση
- Κλιμάκωση απόδοσης παραμέτρων
Βελτιστοποίηση
- Σχέση μεταξύ μεγέθους μοντέλου, μεγέθους δεδομένων, υπολογιστικού προϋπολογισμού και απαιτήσεων συμπερασμάτων
- Βελτιστοποίηση της απόδοσης και της αποδοτικότητας των LLM
- Βέλτιστες πρακτικές και εργαλεία για εκπαίδευση και τελειοποίηση LLM
Training and Fine-Tuning LLMs
- Βήματα και προκλήσεις της εκπαίδευσης LLM από την αρχή
- Απόκτηση και συντήρηση δεδομένων
- Απαιτήσεις δεδομένων, CPU και μνήμης μεγάλης κλίμακας
- Προκλήσεις βελτιστοποίησης
- Τοπίο LLM ανοιχτού κώδικα
Βασικές αρχές του Reinforcement Learning (RL)
- Εισαγωγή στο Reinforcement Learning
- Μάθηση μέσω θετικής ενίσχυσης
- Ορισμός και βασικές έννοιες
- Markov Decision Process (MDP)
- Δυναμικός προγραμματισμός
- Μέθοδοι Μόντε Κάρλο
- Εκμάθηση χρονικής διαφοράς
Βαθύ Reinforcement Learning
- Deep Q-Networks (DQN)
- Proximal Policy Optimization (PPO)
- Elementδ από Reinforcement Learning
Ενσωμάτωση LLM και Reinforcement Learning
- Συνδυασμός LLM με Reinforcement Learning
- Πώς χρησιμοποιείται το RL σε LLM
- Reinforcement Learning με Ανθρώπινη Ανατροφοδότηση (RLHF)
- Εναλλακτικές λύσεις για το RLHF
Μελέτες Περιπτώσεων και Εφαρμογές
- Εφαρμογές πραγματικού κόσμου
- Ιστορίες επιτυχίας και προκλήσεις
Προχωρημένα θέματα
- Προηγμένες τεχνικές
- Προηγμένες μέθοδοι βελτιστοποίησης
- Έρευνα και εξελίξεις αιχμής
Περίληψη και Επόμενα Βήματα
Requirements
- Βασική κατανόηση του Machine Learning
Ακροατήριο
- Επιστήμονες δεδομένων
- Μηχανικοί Λογισμικού
21 Hours