Course Outline

Εισαγωγή στην Έκταση του Ollama

  • Αρχιτεκτονική και προβλήματα έκτασης του Ollama
  • Τυπικά αποδυνάμωση σε εγκατιστάσεις για πολλούς χρήστες
  • Καλές πρακτικές για έτοιμη αποδοχή της υποδομής

Αναθεωρία Δικαιούχων και Oптимизация GPU

  • Στρατηγικές για αποτελεσματική χρήση CPU/GPU
  • Αξιολόγηση μνήμης και πλάτους δυνατότητας
  • Όρια δικαιούχων επί περιβάλλοντος container

Εγκατάσταση με Containers και Kubernetes

  • Containerization του Ollama με Docker
  • Εκτέλεση του Ollama σε κλάδους Kubernetes
  • Διανομή φόρτου και ανίχνευση υπηρεσιών

Αυτό-έκταση και Βάθμωση

  • Σχεδιασμός πολιτικών αυτό-έκτασης για το Ollama
  • Τεχνικές σύστημα βάθμωσης για την οριοθέτηση μέγιστου περιεχομένου
  • Επιλογές ανάσχεσης vs. όριο θέωρησης ταχύτητας

Optimization of Latency

  • Προφίλ inference performance
  • Στρατηγικές αποθήκευσης και θερμοκάθαψη μοντέλου
  • Μείωση I/O και πλήρους υπερφοράς επικοινωνίας

Monitoring and Observability

  • Συμβαδίζει με Prometheus για μέτρηση
  • Χτίστε τάξεις πλοήγησης με Grafana
  • Ενημέρωση και απόδραση συμβάν για υποδομή Ollama

Διαχείριση Κόστους και Στρατηγικές Έκτασης

  • Αναθεωρία GPU με ευαισθητικότητα προς το κόστος
  • Σκέψεις για εγκατάσταση στον ουρανό vs. on-prem
  • Στρατηγικές για βιώσιμη έκταση

Επεξεργασία και Προχωρήσιμα Βήματα

Requirements

  • Εμπειρία στη διοίκηση συστήματος Linux
  • Συνειδητότητα για την καταπλένωση και την ορχηστρά αποτελεσμάτων
  • Γνώση του εφαρμογής μο델 υπομοιώνησης μηχανής

Διαύγεια

  • DevOps μηχανές εγκατάστασης
  • Συμβολές ML υποδομής
  • Υπεύθυνοι για τη πιστότητα των sites
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories