Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Εισαγωγή στο LLMOps
- LLMOps vs MLOps: μοναδικές προκλήσεις στη λειτουργία των LLM
- Ο κύκλος ζωής μιας εφαρμογής LLM: prompt, αξιολόγηση, υλοποίηση, παρακολούθηση
- Λίστα ελέγχω ετοιμότητας παραγωγής για εφαρμογές GenAI
Διαχείριση Prompt και Έκδοση
- Συστήματα προτυποποίησης prompts και εισαγωγή μεταβλητών
- Semantic versioning για prompts με αυτοματοποιημένο δοκιμικό παλινδρόμησης
- Καταχωρίσεις prompts και ροές εργασίας συνεργασίας
Αξιολόγηση LLM σε Κλίμακα
- Διάστασεις αξιολόγησης: ακρίβεια, σχετικότητα, ασφάλεια, τεκμηρίωση (groundedness)
- Μετρικές LLM-as-judge και αγωγοί ανθρώπινης αξιολόγησης
- Αυτοματοποιημένα πλαίσια αξιολόγησης: RAGAS, DeepEval και προσαρμοσμένοι αξιολογητές
- Ποιοτικά φίλτρα σε CI/CD για υλοποιήσεις LLM
Προστατευτικά Πλαίσια Ασφαλείας και Διακυβέρνηση Περιεχομένου
- Προστατευτικά πλαίσια εισόδου και εξόδου: NeMo Guardrails και Guardrails AI
- Ανίχνευση προσωπικών δεδομένων, φιλτράρισμα τοξικότητας και όρια θεματολογίας
- Στρατηγικές άμυνας κατά jailbreak και έγχυσης prompt
- Red-teaming εφαρμογών LLM για διασφάλιση ασφάλειας
Παρατηρησιμότητα και Παρακολούθηση LLM
- Τηλεμετρία: χρήση token, καθυστέρηση, κόστος και μετρικές ποιότητας
- Ανίχνευση απόκλισης στις εξόδους των LLM και στους χώρους διανυσμάτων (embedding spaces)
- Ιχνηλάτηση σε επίπεδο συνεδρίας για συνομιλίες πολυδιάστατων πρακτόρων
- Πίνακες ελέγχου (dashboards) και ειδοποιήσεις με LangSmith, Arize και OpenTelemetry
Πύλη Τεχνητής Νοημοσύνης και Διαχείριση Μοντέλων
- Δρομολόγηση πολλαπλών παρόχων με LiteLLM και Portkey
- Στρατηγικές αποτυχίας, λογική επανάληψης και κυκλώματα προστασίας (circuit breakers)
- Επιλογή μοντέλου με βάση το κόστος και εξισορρόπηση φορτίου
- Περιορισμός ρυθμού, διαχείριση квотών και διακυβέρνηση κλειδιών API
Βελτιστοποίηση Απόδοσης
- Semantic caching με καταστήματα διανυσμάτων και στρατηγικές ακριβούς αντιστοίχισης
- Επιβολή δομημένων εξόδων με περιορισμένη αποκωδικοποίηση (constrained decoding)
- Παράλληλη επεξεργασία παρτίδων, streaming και πρότυπα συναίνεσης
- Βελτιστοποίηση καθυστέρησης σε όρους παρόχους μοντέλων
Διακυβέρνηση, Συμμόρφωση και Έλεγχος
- Ιστορικά αρχεία ελέγχου LLM: logs prompts, logs αντιδράσεων και απόδειξη λήψης αποφάσεων
- Θέματα κατοχής δεδομένων και ιδιωτικότητας για APIs LLM
- Policy-as-code για τη χρήση LLM εντός οργανισμών
- Κατασκευή ενός εσωτερικού εγχειριδίου λειτουργίας LLM
Απαιτήσεις
- Εμπειρία στην κατασκευή ή ενσωμάτωση εφαρμογών που χρησιμοποιούν LLM.
- Γνώση της Python και των REST APIs.
- Βασική κατανόηση των εννοιών του prompt engineering.
Κοινό Στόχος
- Μηχανικοί Μηχανικής Μάθησης (ML) και επαγγελματίες MLOps που μεταπίπτουν σε λειτουργίες LLM.
- Μηχανικοί υποδομής πλατφόρμας υπεύθυνοι για την υποδομή LLM.
- Τεχνικοί ηγέτες που διαχειρίζονται υλοποιήσεις GenAI σε περιβάλλον παραγωγής.
14 Ώρες
Σχόλια (2)
χρήση κατάλληλων και αποτελεσματικών προτροπών
Marses Pacaldo
Κομμάτι - Generative AI and Prompt Engineering for Corporate Professionals
Μηχανική Μετάφραση
Το διαδραστικό χαρακτήρας, τα ασκήσεις
Tamas Tutuntzisz
Κομμάτι - Introduction to Prompt Engineering
Μηχανική Μετάφραση
