Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Διάρκεια 14 Ώρες
Εξέλιξη Κομματιού
Αυτονομία AI και Τοπική Διάθεση LLM
- Κίνδυνοι των cloud LLM: διατήρηση δεδομένων, εκπαίδευση σε εισόδους, ξένη δικαιοδοσία.
- Αρχιτεκτονική Ollama: server μοντέλων, μητρώο και API συμβατή με OpenAI.
- Σύγκριση με vLLM, llama.cpp και Text Generation Inference.
- Άδειες μοντέλων: όροι Llama, Mistral, Qwen και Gemma.
Εγκατάσταση και Ρύθμιση Υλικού
- Εγκατάσταση του Ollama σε Linux με υποστήριξη CUDA και ROCm.
- Εναλλακτική μόνο CPU και βελτιστοποίηση AVX/AVX2.
- Διάθεση μέσω Docker και χαρτογράφηση μόνιμων τόμων.
- Διαμόρφωση multi-GPU και στρατηγικές ανάθεσης VRAM.
Διαχείριση Μοντέλων
- Λήψη μοντέλων από το μητρώο Ollama: ollama pull llama3.
- Εισαγωγή μοντέλων GGUF από το HuggingFace και το TheBloke.
- Επίπεδα κβάντωσης: ανταλλαγές Q4_K_M, Q5_K_M, Q8_0.
- Αλλαγή μοντέλων και όρια παράλληλης φόρτωσης μοντέλων.
Προσαρμοσμένα Modelfiles
- Σύνταξη Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ρύθμιση temperature, top_p και repeat_penalty.
- Σχεδίαση system prompts για συμπεριφορά ειδικής ρόλου.
- Δημιουργία και έκδοση προσαρμοσμένων μοντέλων σε τοπικό μητρώο.
Ενσωμάτωση API
- Τερματικό σημείο /v1/chat/completions συμβατό με OpenAI.
- Ρευστές απαντήσεις και λειτουργία JSON.
- Ενσωμάτωση με LangChain, LlamaIndex και προσαρμοσμένες εφαρμογές.
- Πιστοποίηση και περιορισμός ρυθμού με reverse proxy.
Βελτιστοποίηση Απόδοσης
- Συμμετρία παραθύρου контексту και διαχείριση KV cache.
- Batch inference και παράλληλη διαχείριση αιτημάτων.
- Ανάθεση νημάτων CPU και ευαισθησία NUMA.
- Παρακολούθηση εκμετάλλευσης GPU και πίεσης μνήμης.
Ασφάλεια και Συμμόρφωση
- Διαχωρισμός δικτύου για τερματικά σημεία εξυπηρέτησης μοντέλων.
- Φιλτράριση εισόδου και ροές μετρίωσης εξόδου.
- Ημερολόγιο ελέγχου prompts και συμπλήρωσεων.
- Προέλευση μοντέλου και επαλήθευση hash.
Απαιτήσεις
- Μεσαίο επίπεδο διαχείρισης Linux και containers.
- Κατανόηση της μηχανικής μάθησης και των μοντέλων transformer σε υψηλό επίπεδο.
- Οικειότητα με REST APIs και JSON.
Κοινό-Στόχος
- Μηχανικοί AI και开发人员 (developers) που αντικαθιστούν cloud LLM API.
- Οργανισμοί με ευαίσθητα δεδομένα που εμποδίζουν τη χρήση μοντέλων cloud.
- Ομάδες κρατικών και άμυνας που απαιτούν γλωσσικά μοντέλα air-gapped.