Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Κυριαρχία Τεχνητής Νοημοσύνης και Τοπική Ανάπτυξη LLM

  • Κίνδυνοι των cloud LLM: διατήρηση δεδομένων, εκπαίδευση σε εισόδους, ξένη δικαιοδοσία.
  • Αρχιτεκτονική Ollama: εξυπηρετητής μοντέλων, μητρώο και συμβατό με OpenAI API.
  • Σύγκριση με vLLM, llama.cpp και Text Generation Inference.
  • Αδειοδότηση μοντέλων: όροι Llama, Mistral, Qwen και Gemma.

Εγκατάσταση και Ρύθμιση Υλικού

  • Εγκατάσταση Ollama σε Linux με υποστήριξη CUDA και ROCm.
  • Εφεδρική λειτουργία μόνο με CPU και βελτιστοποίηση AVX/AVX2.
  • Ανάπτυξη Docker και αντιστοίχιση μόνιμου τόμου.
  • Ρύθμιση πολλαπλών GPU και στρατηγικές κατανομής VRAM.

Διαχείριση Μοντέλων

  • Λήψη μοντέλων από το μητρώο Ollama: ollama pull llama3.
  • Εισαγωγή μοντέλων GGUF από HuggingFace και TheBloke.
  • Επίπεδα κβαντοποίησης: συμβιβασμοί Q4_K_M, Q5_K_M, Q8_0.
  • Εναλλαγή μοντέλων και όρια ταυτόχρονης φόρτωσης μοντέλων.

Προσαρμοσμένα Modelfiles

  • Σύνταξη Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ρύθμιση Temperature, top_p και repeat_penalty.
  • Μηχανική προτροπών συστήματος για συμπεριφορά συγκεκριμένου ρόλου.
  • Δημιουργία και δημοσίευση προσαρμοσμένων μοντέλων στο τοπικό μητρώο.

Ενσωμάτωση API

  • Συμβατό με OpenAI endpoint /v1/chat/completions.
  • Αποκρίσεις ροής και λειτουργία JSON.
  • Ενσωμάτωση με LangChain, LlamaIndex και προσαρμοσμένες εφαρμογές.
  • Αυθεντικοποίηση και περιορισμός ρυθμού με αντίστροφο διακομιστή μεσολάβησης.

Βελτιστοποίηση Απόδοσης

  • Διαστασιολόγηση παραθύρου περιβάλλοντος και διαχείριση προσωρινής μνήμης KV.
  • Ομαδική εξαγωγή συμπερασμάτων και διαχείριση παράλληλων αιτημάτων.
  • Κατανομή νημάτων CPU και επίγνωση NUMA.
  • Παρακολούθηση χρήσης GPU και πίεσης μνήμης.

Ασφάλεια και Συμμόρφωση

  • Απομόνωση δικτύου για endpoints εξυπηρέτησης μοντέλων.
  • Διοχετεύσεις φιλτραρίσματος εισόδου και εποπτείας εξόδου.
  • Καταγραφή ελέγχου προτροπών και ολοκληρώσεων.
  • Προέλευση μοντέλου και επαλήθευση κατακερματισμού.

Απαιτήσεις

  • Γνώση διαχείρισης Linux και containers μεσαίου επιπέδου.
  • Κατανόηση μηχανικής μάθησης και μοντέλων μετασχηματιστών σε υψηλό επίπεδο.
  • Εξοικείωση με REST API και JSON.

Κοινό-Στόχος

  • Μηχανικοί Τεχνητής Νοημοσύνης και προγραμματιστές που αντικαθιστούν τα cloud API LLM.
  • Οργανισμοί με ευαισθησία δεδομένων που αποτρέπει τη χρήση μοντέλων cloud.
  • Κυβερνητικές και αμυντικές ομάδες που απαιτούν απομονωμένα γλωσσικά μοντέλα.
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες