Επικοινωνήστε μαζί μας
 Διάρκεια 35 Ώρες

Εξέλιξη Κομματιού

Εισαγωγή και Διαγνωστικά Θεμελίωματα

  • Επισκόπηση των τρόπων αποτυχίας στα συστήματα LLM και συνηθισμένων θεμάτων συγκεκριμένων στο Ollama
  • Σύσταση αναπαραγόμενων πειραμάτων και ελεγχόμενων περιβαλλόντων
  • Σετ εργαλείων προσδιορισμού σφαλμάτων: τοπικά ημερολόγια, καταγραφές αιτήσεων/αποκρίσεων και περιβάλλοντα sandbox

Αναπαράσταση και Μόνωση Αποτυχιών

  • Τεχνικές δημιουργίας ελάχιστων παραδειγμάτων αποτυχίας και σπόρων
  • Αλληλεπιδράσεις με και χωρίς κατάσταση: Μόνωση σφαλμάτων σχετιζόμενων με το πλαίσιο (context)
  • Οριστικότητα, τυχαία συμπεριφορά και έλεγχος μη οριστικής συμπεριφοράς

Αξιολόγηση Συμπεριφοράς και Μετρικές

  • Ποσοτικές μετρικές: ακρίβεια, παραλλαγές ROUGE/BLEU, βαθμονόμηση και προσεγγίσεις πεπλεγμένης ακρίβειας (perplexity)
  • Ποιοτικές αξιολογήσεις: αναφορά ανθρώπου-στο-κυκλωμα (human-in-the-loop) και σχεδίαση κριτηρίων (rubrics)
  • Ελέγχοι πιστότητας συγκεκριμένοι σε καθήκοντα και κριτήρια αποδοχής

Αυτοματοποιημένοι Έλεγχοι και Παλινόδου

  • Δοκιμές μονάδας για prompts και συνιστώσες, δοκιμές σεναρίων και end-to-end
  • Δημιουργία σετ δοκιμών παλινόδου και γραμμών βάσης παραδειγμάτων 'χρυσών'
  • Ενσωμάτωση CI/CD για ενημερώσεις μοντέλων Ollama και πυλών αυτοματοποιημένης επικύρωσης

Παρατηρησιμότητα και Παρακολούθηση

  • Δομημένη καταγραφή, κατανεμημένα ίχνη και ταυτόσημοι συσχετίσεως
  • Κρίσιμες επιχειρησιακές μετρικές: κάθυστρο, χρήση τοκεντών, ποσοστά σφαλμάτων και σήματα ποιότητας
  • Ειδοποιήσεις, πίνακες διαχείρισης και SLIs/SLOs για υπηρεσίες υποστηριζόμενες από μοντέλα

Προχωρημένη Ανάλυση Βασικών Αιτίων

  • Ιχνηλάτηση μέσω γραφικοποιημένων prompts, κλήσεων εργαλείων και ροών πολλαπλών στροφών
  • Συγκριτική διάγνωση A/B και μελέτες εξάλειψης (ablation)
  • Προέλευση δεδομένων, απόσβεση δεδομένων και αντιμετώπιση αποτυχιών που οφείλονται σε σύνολα δεδομένων

Ασφάλεια, Αντοχή και Στρατηγικές Διορθώσεων

  • Επεμβάσεις: φιλτράρισμα, έδραση (grounding), εμπλουτισμός ανεύρεσης και σκελετοποίηση prompts
  • Προσαρμοστικοί (canary) και σταδιακοί τρόποι έλευσης για ενημερώσεις μοντέλων
  • Αναλύσεις μετα-νεκροψίες (post-mortems), διδασκάλιες και βρόχοι συνεχούς βελτίωσης

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Ισχυρή εμπειρία στη δημιουργία και διαχείριση εφαρμογών LLM
  • Οικειότητα με ροές εργασίας Ollama και φιλοξενία μοντέλων
  • Εξοικείωση με Python, Docker και βασικά εργαλεία παρατηρησιμότητας

Κοινό-Στόχος

  • Μηχανικοί AI
  • Επαγγελματίες ML Ops
  • Ομάδα QA υπεύθυνη για παραγωγικά συστήματα LLM

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες