Εξέλιξη Κομματιού
Εισαγωγή στην εκμάθηση προσαρμογής και agentic AI
- Λήψη αποφάσεων υπό αβεβαιότητα και σειρακός πλάνος δράσης
- Βασικά συστατικά του RL: αυτόνομοι ρομπότ, περιβάλλοντα, καταστάσεις και μισθοδοσίες
- Ο ρόλος του RL στα προσαρμοστικά και agentic συστήματα AI
Markov Decision Processes (MDPs)
- Ορισμός και ιδιότητες MDPs
- Συναρτήσεις τιμών, εξισώσεις Bellman και δυναμική προγραμματισμός
- Αξιολόγηση, βελτίωση και επανάληψη πολιτικής
Model-Free Reinforcement Learning
- Monte Carlo και Temporal-Difference (TD) μάθηση
- Q-learning και SARSA
- Εργασίες: υλοποίηση των μεθόδων tabular RL σε Python
Deep Reinforcement Learning
- Συμβολή των νευρωνικών δικτύων με RL για προσέγγιση συνάρτησης
- Deep Q-Networks (DQN) και αναπαραγωγή εμπειρίας
- Αρχιτεκτονικές Actor-Critic και πολιτικές συμπτώσεων (gradients)
- Εργασίες: εκπαίδευση ρομπότ με DQN και PPO χρησιμοποιώντας το Stable-Baselines3
Στρатегίες εξερεύνησης και πλάση μισθοδοσιών (reward shaping)
- Εξισορρόπηση εξερεύνησης vs. χρήση (ε-greedy, UCB, entropy methods)
- Σχεδιασμός μισθοδοσιών και αποφυγή εξωφρενικών συμπεριφορών
- Πλάση μισθοδοσίας και μάθηση προγράμματος (curriculum learning)
Επίπεδα Θέματα στο RL και λήψη αποφάσεων
- Multi-agent reinforcement learning και συνεργατικές στρατηγικές
- Hierarchical reinforcement learning και πλαίσιο επιλογών (options framework)
- Offline RL και μάθηση μίμησης για ασφαλέστερη υλοποίηση
Περιβάλλοντα προσομοίωσης και αξιολόγηση
- Χρήση OpenAI Gym και περιβάλλοντα προσαρμοσμένων ρομπότ
- Συνεχείς vs. διακριτές δράσεις (action spaces)
- Μετρήτες απόδοσης, σταθερότητας και ευκολίας προβάλλων δειγμάτων (sample efficiency)
Ένταξη RL σε Agentic AI Systems
- Συνδυασμός λογικής και RL σε αρχιτεκτονικές ρομπότ-εργαζόμενων
- Ένταξη εκμάθησης προσαρμογής με ρομπότ που χρησιμοποιούν εργαλεία
- Λειτουργικά συστήματα για μεγέθυνση και υλοποίηση
Capstone Project
- Σχεδιασμός και εφαρμογή του αυτόνομου ρομπότ (agent) για μια προσομοίωση
- Ανάλυση εκπαιδευτικής απόδοσης και βελτιστοποίηση υπερπαραμέτρων
- Παρουσίαση προσαρμοστικής συμπεριφοράς και λήψης αποφάσεων σε agentic πλαίσιο
Περίληψη και επόμενα βήματα
Απαιτήσεις
- Στρογγυλή κατάρτιση σε πρόγραμμα Python
- Ισχυρή κατανόηση των εννοιών μηχανικής μάθησης και βαθύτερου μαθήματος
- Γνωριμία με γραμμική άλγεβρα, πιθανότητα και βασικές μέθοδους βελτιστοποίησης
Διάδοχοι
- Μηχανικοί εκμάθησης προσαρμογής και εφαρμοσμένοι έρευνες AI
- Αναπτυξείς ρομποτικής και αυτομάτωσης
- Ομάδες μηχανικών που εργάζονται σε συστήματα AI προσαρμοστικών και agentic
Σχόλια (3)
Καλό μίγμα γνώσεων και πράξης
Ion Mironescu - Facultatea S.A.I.A.P.M.
Κομμάτι - Agentic AI for Enterprise Applications
Μηχανική Μετάφραση
Η μίξη θεωρίας και πράξης καθώς και των υψηλού και χαμηλού επιπέδου προοπτικών
Ion Mironescu - Facultatea S.A.I.A.P.M.
Κομμάτι - Autonomous Decision-Making with Agentic AI
Μηχανική Μετάφραση
prasmatiká asómata
Daniel - Facultatea S.A.I.A.P.M.
Κομμάτι - Agentic AI in Multi-Agent Systems
Μηχανική Μετάφραση