Επικοινωνήστε μαζί μας
 Διάρκεια 14 Ώρες

Εξέλιξη Κομματιού

Αυτονομία AI και Τοπική Διάθεση LLM

  • Κίνδυνοι των cloud LLM: διατήρηση δεδομένων, εκπαίδευση σε εισόδους, ξένη δικαιοδοσία.
  • Αρχιτεκτονική Ollama: server μοντέλων, μητρώο και API συμβατή με OpenAI.
  • Σύγκριση με vLLM, llama.cpp και Text Generation Inference.
  • Άδειες μοντέλων: όροι Llama, Mistral, Qwen και Gemma.

Εγκατάσταση και Ρύθμιση Υλικού

  • Εγκατάσταση του Ollama σε Linux με υποστήριξη CUDA και ROCm.
  • Εναλλακτική μόνο CPU και βελτιστοποίηση AVX/AVX2.
  • Διάθεση μέσω Docker και χαρτογράφηση μόνιμων τόμων.
  • Διαμόρφωση multi-GPU και στρατηγικές ανάθεσης VRAM.

Διαχείριση Μοντέλων

  • Λήψη μοντέλων από το μητρώο Ollama: ollama pull llama3.
  • Εισαγωγή μοντέλων GGUF από το HuggingFace και το TheBloke.
  • Επίπεδα κβάντωσης: ανταλλαγές Q4_K_M, Q5_K_M, Q8_0.
  • Αλλαγή μοντέλων και όρια παράλληλης φόρτωσης μοντέλων.

Προσαρμοσμένα Modelfiles

  • Σύνταξη Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ρύθμιση temperature, top_p και repeat_penalty.
  • Σχεδίαση system prompts για συμπεριφορά ειδικής ρόλου.
  • Δημιουργία και έκδοση προσαρμοσμένων μοντέλων σε τοπικό μητρώο.

Ενσωμάτωση API

  • Τερματικό σημείο /v1/chat/completions συμβατό με OpenAI.
  • Ρευστές απαντήσεις και λειτουργία JSON.
  • Ενσωμάτωση με LangChain, LlamaIndex και προσαρμοσμένες εφαρμογές.
  • Πιστοποίηση και περιορισμός ρυθμού με reverse proxy.

Βελτιστοποίηση Απόδοσης

  • Συμμετρία παραθύρου контексту και διαχείριση KV cache.
  • Batch inference και παράλληλη διαχείριση αιτημάτων.
  • Ανάθεση νημάτων CPU και ευαισθησία NUMA.
  • Παρακολούθηση εκμετάλλευσης GPU και πίεσης μνήμης.

Ασφάλεια και Συμμόρφωση

  • Διαχωρισμός δικτύου για τερματικά σημεία εξυπηρέτησης μοντέλων.
  • Φιλτράριση εισόδου και ροές μετρίωσης εξόδου.
  • Ημερολόγιο ελέγχου prompts και συμπλήρωσεων.
  • Προέλευση μοντέλου και επαλήθευση hash.

Απαιτήσεις

  • Μεσαίο επίπεδο διαχείρισης Linux και containers.
  • Κατανόηση της μηχανικής μάθησης και των μοντέλων transformer σε υψηλό επίπεδο.
  • Οικειότητα με REST APIs και JSON.

Κοινό-Στόχος

  • Μηχανικοί AI και开发人员 (developers) που αντικαθιστούν cloud LLM API.
  • Οργανισμοί με ευαίσθητα δεδομένα που εμποδίζουν τη χρήση μοντέλων cloud.
  • Ομάδες κρατικών και άμυνας που απαιτούν γλωσσικά μοντέλα air-gapped.

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες