EXO: Ανάπτυξη Τοπικών Συστάδων AI από Άκρο σε Άκρο Κομμάτι εκπαίδευσης

Εισαγωγή στο EXO και την Τοπική Ομαδοποίηση AI

• Επισκόπηση του πλαισίου EXO και του οικοσυστήματος exo-explore
• Σύγκριση κεντρικοποιημένης εξαγωγής συμπερασμάτων σε cloud έναντι κατανεμημένης τοπικής
• Αρχιτεκτονική: ανακάλυψη συσκευών μέσω libp2p, υποστήριξη MLX, πίνακας ελέγχου και επίπεδα API
• Απαιτήσεις υλικού: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, κοινόχρηστος αποθηκευτικός χώρος

Εγκατάσταση του EXO σε macOS

• Ρύθμιση Xcode, Metal ToolChain και προαπαιτούμενων macOS
• Εγκατάσταση των uv, Node.js, εργαλειοθήκης Rust nightly
• Εγκατάσταση του καρφιτσωμένου fork macmon για παρακολούθηση Apple Silicon
• Κλωνοποίηση του αποθετηρίου και δημιουργία του πίνακα ελέγχου με npm
• Εκτέλεση του EXO από τον πηγαίο κώδικα και επαλήθευση του πίνακα ελέγχου στο localhost:52415

Εγκατάσταση του EXO σε Linux

• Εγκατάσταση εξαρτήσεων μέσω apt ή Homebrew σε Linux
• Ρύθμιση των uv, Node.js 18+ και Rust nightly
• Δημιουργία του πίνακα ελέγχου και εκτέλεση του EXO σε λειτουργία μόνο CPU
• Διάταξη καταλόγων: διαδρομές XDG Base Directory για ρυθμίσεις, δεδομένα, προσωρινή μνήμη και αρχεία καταγραφής

Αυτόματη Ανακάλυψη Συσκευών και Σχηματισμός Συστάδας

• Κατανόηση της αυτόματης ανακάλυψης βάσει libp2p σε τοπικά δίκτυα
• Ρύθμιση προσαρμοσμένων χώρων ονομάτων με το EXO_LIBP2P_NAMESPACE για απομόνωση συστάδας
• Επαλήθευση της συμμετοχής κόμβων στην προβολή συστάδας του πίνακα ελέγχου
• Διαχείριση αποτυχιών ανακάλυψης και θεμάτων κατάτμησης δικτύου

Ενεργοποίηση RDMA μέσω Thunderbolt 5

• Αρχιτεκτονική RDMA και ο ισχυρισμός μείωσης καθυστέρησης κατά 99 τοις εκατό
• Ενεργοποίηση RDMA σε λειτουργία Ανάκτησης macOS με το rdma_ctl
• Απαιτήσεις καλωδίων και περιορισμοί τοπολογίας θυρών στο Mac Studio
• Αντιστοίχιση εκδόσεων macOS σε όλους τους κόμβους της συστάδας
• Αντιμετώπιση προβλημάτων ανακάλυψης RDMA και ρύθμισης DHCP

Ανάπτυξη Μοντέλων Αιχμής

• Χρήση του πίνακα ελέγχου για φόρτωση και διαμοιρασμό μοντέλων DeepSeek v3.1, Qwen3-235B και της οικογένειας Llama
• Προεπισκόπηση τοποθετήσεων στιγμιοτύπων με το τελικό σημείο API /instance/previews
• Δημιουργία στιγμιοτύπων μοντέλων με διαμοιρασμό διοχέτευσης (pipeline) ή παράλληλης επεξεργασίας τανυστών (tensor-parallel)
• Ρύθμιση προσαρμοσμένων καρτών μοντέλων από το HuggingFace hub

Παρακολούθηση και Αντιμετώπιση Προβλημάτων

• Ανάγνωση αρχείων καταγραφής EXO και κατανόηση κατανεμημένης ιχνηλάτησης
• Ερμηνεία της υγείας της συστάδας στην προβολή συστάδας του πίνακα ελέγχου
• Διάγνωση αποτυχιών κόμβων εργασίας και συμπεριφοράς επανασύνδεσης
• Χρήση του EXO_TRACING_ENABLED για ανάλυση σημείων συμφόρησης απόδοσης

Συντήρηση και Ενημερώσεις Συστάδας

• Διαδικασίες ενημέρωσης δυαδικών αρχείων EXO και ανακατασκευής πίνακα ελέγχου
• Μετεγκατάσταση προσωρινών μνημών μοντέλων και διαχείριση προ-κατεβασμένων μοντέλων μέσω NFS
• Ομαλή αφαίρεση κόμβων και επανεξισορρόπηση φόρτων εργασίας