Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή και Διαγνωστικές Βάσεις

  • Επισκόπηση των τρόπων αποτυχίας σε συστήματα LLM και κοινών ζητημάτων ειδικά για το Ollama
  • Δημιουργία επαναλήψιμων πειραμάτων και ελεγχόμενων περιβαλλόντων
  • Εργαλεία αποσφαλμάτωσης: τοπικά logs, καταγραφές αιτημάτων/αποκρίσεων και sandboxing

Αναπαραγωγή και Απομόνωση Βλαβών

  • Τεχνικές δημιουργίας ελάχιστων παραδειγμάτων αποτυχίας και σπόρων
  • Αλληλεπιδράσεις με κατάσταση έναντι χωρίς κατάσταση: απομόνωση σφαλμάτων που σχετίζονται με το πλαίσιο
  • Ντετερμινισμός, τυχαιότητα και έλεγχος μη ντετερμινιστικής συμπεριφοράς

Αξιολόγηση Συμπεριφοράς και Μετρικές

  • Ποσοτικές μετρικές: ακρίβεια, παραλλαγές ROUGE/BLEU, βαθμονόμηση και προσεγγίσεις perplexity
  • Ποιοτικές αξιολογήσεις: βαθμολόγηση με ανθρώπινη συμμετοχή και σχεδιασμός κριτηρίων αξιολόγησης
  • Έλεγχοι πιστότητας ανά εργασία και κριτήρια αποδοχής

Αυτοματοποιημένος Έλεγχος και Παλινδρόμηση

  • Δοκιμές μονάδας για προτροπές και στοιχεία, δοκιμές σεναρίου και από άκρο σε άκρο
  • Δημιουργία σουιτών παλινδρόμησης και βασικών γραμμών χρυσών παραδειγμάτων
  • Ενσωμάτωση CI/CD για ενημερώσεις μοντέλων Ollama και αυτοματοποιημένες πύλες επικύρωσης

Παρατηρησιμότητα και Παρακολούθηση

  • Δομημένη καταγραφή, κατανεμημένα ίχνη και αναγνωριστικά συσχέτισης
  • Βασικές επιχειρησιακές μετρικές: καθυστέρηση, χρήση tokens, ποσοστά σφαλμάτων και σήματα ποιότητας
  • Ειδοποιήσεις, ταμπλό και SLIs/SLOs για υπηρεσίες που υποστηρίζονται από μοντέλα

Προηγμένη Ανάλυση Βασικής Αιτίας

  • Ιχνηλάτηση μέσω γραφημάτων προτροπών, κλήσεων εργαλείων και ροών πολλαπλών βημάτων
  • Συγκριτική διάγνωση A/B και μελέτες αφαίρεσης
  • Προέλευση δεδομένων, αποσφαλμάτωση συνόλων δεδομένων και αντιμετώπιση αποτυχιών που προκαλούνται από δεδομένα

Ασφάλεια, Ανθεκτικότητα και Στρατηγικές Αποκατάστασης

  • Μετριασμοί: φιλτράρισμα, γείωση, επαύξηση ανάκτησης και σκαλωσιά προτροπών
  • Μοτίβα επαναφοράς, canary και σταδιακής διάθεσης για ενημερώσεις μοντέλων
  • Ανασκοπήσεις μετά το συμβάν, μαθήματα που αντλήθηκαν και βρόχοι συνεχούς βελτίωσης

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Ισχυρή εμπειρία στην κατασκευή και ανάπτυξη εφαρμογών LLM
  • Εξοικείωση με τις ροές εργασίας του Ollama και τη φιλοξενία μοντέλων
  • Άνεση με Python, Docker και βασικά εργαλεία παρατηρησιμότητας

Κοινό

  • Μηχανικοί Τεχνητής Νοημοσύνης
  • Επαγγελματίες ML Ops
  • Ομάδες QA υπεύθυνες για συστήματα LLM σε παραγωγή
 35 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες