Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στο EXO και την Τοπική Συσταδοποίηση AI

  • Επισκόπηση του πλαισίου EXO και του οικοσυστήματος exo-explore
  • Σύγκριση κεντρικού inference στο cloud έναντι κατανεμημένου τοπικού inference
  • Αρχιτεκτονική: ανακάλυψη συσκευών libp2p, backend MLX, dashboard, και επίπεδα API
  • Απαιτήσεις υλικού: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, κοινόχρηστος αποθηκευτικός χώρος

Εγκατάσταση του EXO σε macOS

  • Ρύθμιση Xcode, Metal ToolChain, και προαπαιτούμενα macOS
  • Εγκατάσταση uv, Node.js, Rust nightly toolchain
  • Εγκατάσταση του pinned macmon fork για παρακολούθηση Apple Silicon
  • Αντιγραφή του repository και μεταγλώττιση του dashboard με npm
  • Εκτέλεση του EXO από τον πηγαίο κώδικα και επαλήθευση του dashboard στο localhost:52415

Εγκατάσταση του EXO σε Linux

  • Εγκατάσταση εξαρτήσεων μέσω apt ή Homebrew σε Linux
  • Διαμόρφωση uv, Node.js 18+, και Rust nightly
  • Μεταγλώττιση του dashboard και εκτέλεση του EXO σε λειτουργία μόνο CPU (CPU-only mode)
  • Δομή καταλόγων: διαδρομές βάσει XDG Base Directory για ρυθμίσεις, δεδομένα, cache και αρχεία καταγραφής

Αυτόματη Ανακάλυψη Συσκευών και Δημιουργία Συστάδας

  • Κατανόηση της αυτόματης ανακάλυψης βασισμένης σε libp2p σε τοπικά δίκτυα
  • Διαμόρφωση προσαρμοσμένων namespaces με το EXO_LIBP2P_NAMESPACE για απομόνωση συστάδας
  • Επαλήθευση συμμετοχής κόμβων στην προβολή συστάδας του dashboard
  • Αντιμετώπιση αποτυχιών ανακάλυψης και προβλημάτων κατάτμησης δικτύου

Ενεργοποίηση RDMA μέσω Thunderbolt 5

  • Αρχιτεκτονική RDMA και ο ισχυρισμός μείωσης καθυστέρησης κατά 99 τοις εκατό
  • Ενεργοποίηση RDMA σε λειτουργία ανάκτησης macOS με το rdma_ctl
  • Απαιτήσεις καλωδίωσης και περιορισμοί τοπολογίας θυρών σε Mac Studio
  • Αντιστοίχιση εκδόσεων macOS σε όλους τους κόμβους της συστάδας
  • Αντιμετώπιση προβλημάτων ανακάλυψης RDMA και ρύθμισης DHCP

Ανάπτυξη Μοντέλων Αιχμής

  • Χρήση του dashboard για φόρτωση και τμηματοποίηση (shard) μοντέλων DeepSeek v3.1, Qwen3-235B, και της οικογένειας Llama
  • Προεπισκόπηση τοποθετήσεων instances με το API endpoint /instance/previews
  • Δημιουργία instances μοντέλων με τμηματοποίηση pipeline ή tensor-parallel
  • Διαμόρφωση προσαρμοσμένων καρτών μοντέλων από το HuggingFace hub

Παρακολούθηση και Επίλυση Προβλημάτων

  • Ανάγνωση αρχείων καταγραφής EXO και κατανόηση κατανεμημένης ιχνηλάτησης (distributed tracing)
  • Ερμηνεία της υγείας της συστάδας στην προβολή συστάδας του dashboard
  • Διάγνωση αποτυχιών κόμβων εργασίας και συμπεριφοράς επανασύνδεσης
  • Χρήση της μεταβλητής EXO_TRACING_ENABLED για ανάλυση σημείων συμφόρησης απόδοσης

Συντήρηση και Ενημερώσεις Συστάδας

  • Ενημέρωση εκτελέσιμων EXO και διαδικασίες επαναμεταγλώττισης του dashboard
  • Μετεγκατάσταση model caches και διαχείριση προκατεβασμένων μοντέλων μέσω NFS
  • Ομαλή αφαίρεση κόμβων και ανακατανομή φόρτου εργασίας

Απαιτήσεις

  • Κατανόηση των βασικών δικτύων (IP, υποδικτύωση, τείχη προστασίας)
  • Εμπειρία με διαχείριση γραμμής εντολών macOS ή Linux
  • Εξοικείωση με διαχείριση πακέτων Python (pip/uv) και εργαλεία Node.js

Σε ποιους απευθύνεται

  • Διαχειριστές συστημάτων
  • Μηχανικοί DevOps
  • Αρχιτέκτονες υποδομών AI υπεύθυνοι για την ανάπτυξη LLM εντός εγκαταστάσεων (on-premise)
 21 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες