Επικοινωνήστε μαζί μας
 Διάρκεια 14 Ώρες

Εξέλιξη Κομματιού

Επιλογές Αναπτύξεων

  • Διαχείριση API σε σύγκριση με το self-hosted: πλεονεκτήματα και μειονεκτήματα
  • Παράδειγμα on-premises, edge και air-gapped
  • Ένα μοντέλο έναντι χαρτοφυλακίου μοντέλων
  • Σύγκριση κόστους ανά απόφαση

Διαμόρφωση Υλικού και Χωρητικότητας

  • Απόσβεση μνήμης ανά αριθμό παραμέτρων
  • Μόνο CPU έναντι επιτάχυνσης GPU
  • Πλάνο ταυτόχρονης εκτέλεσης και throughput
  • Χώρος για αύξηση μήκους εργασιών

Στοίβες Παροχής

  • Επιλογές vLLM και SGLang
  • Εκτέλεση llama.cpp και GGUF
  • Ollama για τοπική ανάπτυξη
  • Επιλογή βάσει φόρμουλας φόρτου εργασίας λήψης αποφάσεων

Κβαντοποίηση χωρίς Απώλεια Επιμετρήσεων

  • Σχέδια ακρίβειας και αποταμίευσης μνήμης
  • Μέτρηση ποιότητας και απώλειας επιμετρήσεων
  • Παραλλαγές per-tensor και βάσει σημαντικότητας
  • Δοκιμή αποδοχής μετά την κβαντοποίηση

Εκτόπιση Επιβάρυνσης (Latency)

  • Μέσος όρος έναντι ουρανού επιβάρυνσης
  • Αύξηση επιβάρυνσης με μήκος контексту
  • Θερμότες εκκίνησης και μετρήσεις μοντέλων
  • Batching πολλαπλών ερωτήσεων λήψης αποφάσεων

Edge και Περιορισμένα Περιβάλλοντα

  • Μικρά μοντέλα λήψης αποφάσεων σε CPU
  • Apple Silicon και ενσωματωμένη ανάπτυξη
  • Χωρίς σύνδεση και στρατηγική ενημέρωσης
  • Κατανομή βαρών air-gapped

Δοχεία και Κλίμακα

  • Σχεδιασμός εικόνας για παροχή μοντέλων
  • Διαχείριση όγκου και μετρήσεων
  • Οριζόντια κλιμάκωση και δρομολόγηση
  • Περιορισμοί πόρων και μοιρασμός GPU

Παρατηρησιμότητα (Observability)

  • Μετρήσεις αιτήσεων, επιβάρυνσης και σφαλμάτων
  • Παρακολούθηση κατανομής αυτοπεποίθησης
  • Παρακολούθηση αποτελεσμάτων αποφάσεων και κλιμάκωση
  • Ειδοποιήσεις για απόκλιση επιμετρήσεων

Διαχείριση Εκδόσεων και Εφαρμογή

  • Διαχείριση εκδόσεων μοντέλων και προσαρμογών
  • Shadow και canary ανάπτυξη
  • Κατανομή αρχείων μοντέλων για έλεγχο
  • Διαδικασίες επαναφοράς (rollback)

Ασφάλεια και Πολυενόικιασμός

  • Πιστοποίηση και περιορισμός ρυθμού
  • Μοναδικότητα tenant για prompts και logs
  • Διαχωρισμός δικτύου και έλεγχος εξόδου
  • Καταγραφή αποφάσεων για έλεγχο

Απαιτήσεις

  • Διαχείριση Linux και εμπειρία σε containers.
  • Εξοικείωση με servers συμπερασματικής αναγωγής μοντέλων και διαχείριση GPU.
  • Βασική κατανόηση REST APIs, load balancing και παρακολούθησης.

Κοινό-Στόχος

  • Μηχανικοί MLOps και πλατφόρμων που εκτελούν υποδομή συμπερασματικής αναγωγής
  • Ομάδα SRE που υποστηρίζει υπηρεσίες Τεχνητής Νοημοσύνης
  • Μηχανικοί AI που αναπτύσσουν μοντέλα λήψης αποφάσεων on-premises
  • Χαρακτηριστικοί αρχιτέκτονες που σχεδιάζουν air-gapped ή ελεγχόμενες αναπτύξεις AI

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες