Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στο EXO και την Τοπική Ομαδοποίηση AI

  • Επισκόπηση του πλαισίου EXO και του οικοσυστήματος exo-explore
  • Σύγκριση κεντρικοποιημένης εξαγωγής συμπερασμάτων σε cloud έναντι κατανεμημένης τοπικής
  • Αρχιτεκτονική: ανακάλυψη συσκευών μέσω libp2p, υποστήριξη MLX, πίνακας ελέγχου και επίπεδα API
  • Απαιτήσεις υλικού: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, κοινόχρηστος αποθηκευτικός χώρος

Εγκατάσταση του EXO σε macOS

  • Ρύθμιση Xcode, Metal ToolChain και προαπαιτούμενων macOS
  • Εγκατάσταση των uv, Node.js, εργαλειοθήκης Rust nightly
  • Εγκατάσταση του καρφιτσωμένου fork macmon για παρακολούθηση Apple Silicon
  • Κλωνοποίηση του αποθετηρίου και δημιουργία του πίνακα ελέγχου με npm
  • Εκτέλεση του EXO από τον πηγαίο κώδικα και επαλήθευση του πίνακα ελέγχου στο localhost:52415

Εγκατάσταση του EXO σε Linux

  • Εγκατάσταση εξαρτήσεων μέσω apt ή Homebrew σε Linux
  • Ρύθμιση των uv, Node.js 18+ και Rust nightly
  • Δημιουργία του πίνακα ελέγχου και εκτέλεση του EXO σε λειτουργία μόνο CPU
  • Διάταξη καταλόγων: διαδρομές XDG Base Directory για ρυθμίσεις, δεδομένα, προσωρινή μνήμη και αρχεία καταγραφής

Αυτόματη Ανακάλυψη Συσκευών και Σχηματισμός Συστάδας

  • Κατανόηση της αυτόματης ανακάλυψης βάσει libp2p σε τοπικά δίκτυα
  • Ρύθμιση προσαρμοσμένων χώρων ονομάτων με το EXO_LIBP2P_NAMESPACE για απομόνωση συστάδας
  • Επαλήθευση της συμμετοχής κόμβων στην προβολή συστάδας του πίνακα ελέγχου
  • Διαχείριση αποτυχιών ανακάλυψης και θεμάτων κατάτμησης δικτύου

Ενεργοποίηση RDMA μέσω Thunderbolt 5

  • Αρχιτεκτονική RDMA και ο ισχυρισμός μείωσης καθυστέρησης κατά 99 τοις εκατό
  • Ενεργοποίηση RDMA σε λειτουργία Ανάκτησης macOS με το rdma_ctl
  • Απαιτήσεις καλωδίων και περιορισμοί τοπολογίας θυρών στο Mac Studio
  • Αντιστοίχιση εκδόσεων macOS σε όλους τους κόμβους της συστάδας
  • Αντιμετώπιση προβλημάτων ανακάλυψης RDMA και ρύθμισης DHCP

Ανάπτυξη Μοντέλων Αιχμής

  • Χρήση του πίνακα ελέγχου για φόρτωση και διαμοιρασμό μοντέλων DeepSeek v3.1, Qwen3-235B και της οικογένειας Llama
  • Προεπισκόπηση τοποθετήσεων στιγμιοτύπων με το τελικό σημείο API /instance/previews
  • Δημιουργία στιγμιοτύπων μοντέλων με διαμοιρασμό διοχέτευσης (pipeline) ή παράλληλης επεξεργασίας τανυστών (tensor-parallel)
  • Ρύθμιση προσαρμοσμένων καρτών μοντέλων από το HuggingFace hub

Παρακολούθηση και Αντιμετώπιση Προβλημάτων

  • Ανάγνωση αρχείων καταγραφής EXO και κατανόηση κατανεμημένης ιχνηλάτησης
  • Ερμηνεία της υγείας της συστάδας στην προβολή συστάδας του πίνακα ελέγχου
  • Διάγνωση αποτυχιών κόμβων εργασίας και συμπεριφοράς επανασύνδεσης
  • Χρήση του EXO_TRACING_ENABLED για ανάλυση σημείων συμφόρησης απόδοσης

Συντήρηση και Ενημερώσεις Συστάδας

  • Διαδικασίες ενημέρωσης δυαδικών αρχείων EXO και ανακατασκευής πίνακα ελέγχου
  • Μετεγκατάσταση προσωρινών μνημών μοντέλων και διαχείριση προ-κατεβασμένων μοντέλων μέσω NFS
  • Ομαλή αφαίρεση κόμβων και επανεξισορρόπηση φόρτων εργασίας

Απαιτήσεις

  • Κατανόηση των βασικών αρχών δικτύωσης (IP, υποδικτύωση, τείχη προστασίας)
  • Εμπειρία στη διαχείριση γραμμής εντολών macOS ή Linux
  • Εξοικείωση με τη διαχείριση πακέτων Python (pip/uv) και τα εργαλεία Node.js

Κοινό-Στόχος

  • Διαχειριστές συστημάτων
  • Μηχανικοί DevOps
  • Αρχιτέκτονες υποδομών AI υπεύθυνοι για την επιτόπια ανάπτυξη LLM
 21 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες