Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στα Μεγάλα Γλωσσικά Μοντέλα (LLMs)

  • Επισκόπηση των LLMs
  • Ορισμός και σημασία
  • Εφαρμογές στην Τεχνητή Νοημοσύνη σήμερα

Αρχιτεκτονική Transformer

  • Τι είναι ένα Transformer και πώς λειτουργεί;
  • Κύρια συστατικά και χαρακτηριστικά
  • Embedding και positional encoding
  • Multi-head attention
  • Feed-forward neural network
  • Normalization και residual connections

Μοντέλα Transformer

  • Μηχανισμός self-attention
  • Αρχιτεκτονική encoder-decoder
  • Positional embeddings
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Βελτιστοποίηση Απόδοσης και Παγίδες

  • Context length
  • Mamba και μοντέλα state-space
  • Flash attention
  • Sparse transformers
  • Vision transformers
  • Σημασία της κβαντοποίησης

Βελτίωση Transformers

  • Retrieval augmented text generation
  • Μείξη μοντέλων
  • Δέντρο σκέψεων

Fine-Tuning

  • Θεωρία της προσαρμογής χαμηλής τάξης
  • Fine-Tuning με QLora

Νόμοι Κλιμάκωσης και Βελτιστοποίηση στα LLMs

  • Σημασία των νόμων κλιμάκωσης για τα LLMs
  • Κλιμάκωση μεγέθους δεδομένων και μοντέλου
  • Υπολογιστική κλιμάκωση
  • Κλιμάκωση αποδοτικότητας παραμέτρων

Βελτιστοποίηση

  • Σχέση μεταξύ μεγέθους μοντέλου, μεγέθους δεδομένων, υπολογιστικού προϋπολογισμού και απαιτήσεων συμπερασμού
  • Βελτιστοποίηση της απόδοσης και αποδοτικότητας των LLMs
  • Βέλτιστες πρακτικές και εργαλεία για εκπαίδευση και fine-tuning LLMs

Εκπαίδευση και Fine-Tuning των LLMs

  • Βήματα και προκλήσεις εκπαίδευσης των LLMs από το μηδέν
  • Απόκτηση και συντήρηση δεδομένων
  • Δεδομένα μεγάλης κλίμακας, απαιτήσεις CPU και μνήμης
  • Προκλήσεις βελτιστοποίησης
  • Τοπίο των ανοικτού κώδικα LLMs

Βασικές Αρχές της Ενισχυτικής Μάθησης (RL)

  • Εισαγωγή στην Ενισχυτική Μάθηση
  • Μάθηση μέσω θετικής ενίσχυσης
  • Ορισμός και βασικές έννοιες
  • Διαδικασία Απόφασης Markov (MDP)
  • Δυναμικός προγραμματισμός
  • Μέθοδοι Monte Carlo
  • Μάθηση Χρονικής Διαφοράς

Βαθιά Ενισχυτική Μάθηση

  • Deep Q-Networks (DQN)
  • Proximal Policy Optimization (PPO)
  • Στοιχεία της Ενισχυτικής Μάθησης

Ενσωμάτωση των LLMs και της Ενισχυτικής Μάθησης

  • Συνδυασμός των LLMs με την Ενισχυτική Μάθηση
  • Πώς χρησιμοποιείται η RL στα LLMs
  • Ενισχυτική Μάθηση με Ανθρώπινη Ανάδραση (RLHF)
  • Εναλλακτικές λύσεις στο RLHF

Μελέτες Περιπτώσεων και Εφαρμογές

  • Πραγματικές εφαρμογές
  • Ιστορίες επιτυχίας και προκλήσεις

Προχωρημένα Θέματα

  • Προχωρημένες τεχνικές
  • Προχωρημένες μέθοδοι βελτιστοποίησης
  • Έρευνα και εξελίξεις αιχμής

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Βασική κατανόηση της Μηχανικής Μάθησης

Ακροατήριο

  • Επιστήμονες δεδομένων
  • Μηχανικοί λογισμικού
 21 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες