Επικοινωνήστε μαζί μας
 Διάρκεια 35 Ώρες

Εξέλιξη Κομματιού

Εισαγωγή και Θεμέλια Διάγνωσης

  • Επισκόπηση των τρόπων αποτυχίας σε συστήματα LLM και κοινών ζητημάτων που αφορούν ειδικά το Ollama
  • Καθιέρωση αναπαραγώγιμων πειραμάτων και ελεγχόμενων περιβαλλόντων
  • Εργαλειοθήκη αποσφαλμάτωσης: τοπικά αρχεία καταγραφής, καταγραφές αιτημάτων/αποκρίσεων και απομόνωση περιβάλλοντος

Αναπαραγωγή και Απομόνωση Αποτυχιών

  • Τεχνικές για τη δημιουργία ελάχιστων παραδειγμάτων αποτυχίας και σπόρων
  • Αλληλεπιδράσεις με κατάσταση έναντι χωρίς κατάσταση: απομόνωση σφαλμάτων που σχετίζονται με το πλαίσιο
  • Ντετερμινισμός, τυχαιότητα και έλεγχος μη ντετερμινιστικής συμπεριφοράς

Αξιολόγηση Συμπεριφοράς και Μετρήσεις

  • Ποσοτικές μετρήσεις: ακρίβεια, παραλλαγές ROUGE/BLEU, βαθμονόμηση και προσεγγιστικοί δείκτες σύγχυσης
  • Ποιοτικές αξιολογήσεις: βαθμολόγηση με ανθρώπινη συμμετοχή και σχεδιασμός ρουμπρίκας
  • Έλεγχοι πιστότητας ειδικοί ανά εργασία και κριτήρια αποδοχής

Αυτοματοποιημένοι Έλεγχοι και Παλινδρόμηση

  • Μοναδιαίοι έλεγχοι για προτροπές και στοιχεία, έλεγχοι σεναρίων και ολοκληρωμένοι έλεγχοι
  • Δημιουργία σουιτών παλινδρόμησης και βασικών γραμμών χρυσών παραδειγμάτων
  • Ενσωμάτωση CI/CD για ενημερώσεις μοντέλων Ollama και αυτοματοποιημένες πύλες επικύρωσης

Παρατηρησιμότητα και Παρακολούθηση

  • Δομημένη καταγραφή, κατανεμημένα ίχνη και αναγνωριστικά συσχέτισης
  • Βασικές επιχειρησιακές μετρήσεις: καθυστέρηση, χρήση διακριτικών, ποσοστά σφαλμάτων και σήματα ποιότητας
  • Ειδοποιήσεις, πίνακες ελέγχου και SLIs/SLOs για υπηρεσίες που υποστηρίζονται από μοντέλα

Προηγμένη Ανάλυση Βαθύτερης Αιτίας

  • Ιχνηλάτηση μέσω γραφικών προτροπών, κλήσεων εργαλείων και ροών πολλαπλών γύρων
  • Συγκριτική διάγνωση A/B και μελέτες αφαίρεσης
  • Προέλευση δεδομένων, αποσφαλμάτωση συνόλων δεδομένων και αντιμετώπιση αποτυχιών που προκαλούνται από σύνολα δεδομένων

Ασφάλεια, Ανθεκτικότητα και Στρατηγικές Αποκατάστασης

  • Μετριασμοί: φιλτράρισμα, θεμελίωση, επαύξηση ανάκτησης και σκαλωσιά προτροπών
  • Μοτίβα επαναφοράς, καναρινιού και σταδιακής διάθεσης για ενημερώσεις μοντέλων
  • Αναδρομικές αναλύσεις, διδάγματα και βρόχοι συνεχούς βελτίωσης

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Ισχυρή εμπειρία στη δημιουργία και ανάπτυξη εφαρμογών LLM
  • Εξοικείωση με τις ροές εργασίας του Ollama και τη φιλοξενία μοντέλων
  • Άνεση με Python, Docker και βασικά εργαλεία παρατηρησιμότητας

Κοινό

  • Μηχανικοί τεχνητής νοημοσύνης
  • Επαγγελματίες ML Ops
  • Ομάδες διασφάλισης ποιότητας υπεύθυνες για συστήματα LLM σε παραγωγή

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες