Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Ανάπτυξη EXO Εκτός Σύνδεσης

  • Χρήση του EXO_OFFLINE για αποτροπή πρόσβασης στο διαδίκτυο κατά την εκτέλεση
  • Προφόρτωση μοντέλων στους καταλόγους EXO_MODELS_READ_ONLY_DIRS από αξιόπιστα εσωτερικά αντίγραφα
  • Επαλήθευση της ακεραιότητας των βαρών του μοντέλου με αθροίσματα ελέγχου SHA-256 και υπογεγραμμένες κάρτες μοντέλων
  • Εκτέλεση του EXO σε απομονωμένα δίκτυα χωρίς εξαρτήσεις από το HuggingFace

Έλεγχος Πρόσβασης στο Dashboard και το API

  • Εγκατάσταση και ρύθμιση αντίστροφων διακομιστών μεσολάβησης (nginx, Caddy) με τερματισμό TLS
  • Υλοποίηση ελέγχου πρόσβασης βάσει ρόλων για το dashboard του EXO και το REST API
  • Χρήση του macOS keychain ή του Linux pass για αποθήκευση μυστικών για πιστοποίηση API
  • Περιορισμός των διαχειριστικών endpoints σε συγκεκριμένα εύρη IP πηγής

Απομόνωση Συστάδας και Ασφάλεια Δικτύου

  • Κατάτμηση συστάδων EXO με EXO_LIBP2P_NAMESPACE και VLANs
  • Ρύθμιση τειχών προστασίας κεντρικού υπολογιστή (macOS application firewall, iptables, nftables) για τις θύρες του EXO
  • Αποτροπή μη εξουσιοδοτημένης ανακάλυψης συσκευών και εισαγωγής κακόβουλων κόμβων
  • Κρυπτογράφηση της κίνησης libp2p μεταξύ κόμβων όταν το RDMA δεν είναι διαθέσιμο

Διακυβέρνηση και Προέλευση Μοντέλων

  • Δημιουργία ενός εσωτερικού μητρώου μοντέλων με εγκεκριμένες λίστες μοντέλων και μεταδεδομένα
  • Επισήμανση και έκδοση κβαντισμένων βαρών (4-bit, 8-bit) παράλληλα με τα σημεία ελέγχου πηγής
  • Επιβολή ώστε να μπορούν να φορτωθούν μόνο συγκεκριμένα αποθετήρια HuggingFace ή εσωτερικά artifacts
  • Τεκμηρίωση της γενεαλογίας μοντέλων, των όρων άδειας χρήσης και των πολιτικών αποδεκτής χρήσης

Καταγραφή Ελέγχου και Συμμόρφωση

  • Ρύθμιση προώθησης αρχείων καταγραφής EXO σε αμετάβλητες διαδρομές ελέγχου (SIEM, αποθήκευση WORM)
  • Συσχέτιση αρχείων καταγραφής κλήσεων API με ταυτότητα χρήστη και χρονική σήμανση
  • Καταγραφή γεγονότων δημιουργίας, διαγραφής στιγμιότυπων μοντέλου και αιτημάτων εξαγωγής συμπερασμάτων
  • Δημιουργία περιοδικών αναφορών συμμόρφωσης για εσωτερικούς και εξωτερικούς ελεγκτές

Μοντελοποίηση Απειλών και Απόκριση σε Περιστατικά

  • Αναγνώριση απειλών: διαρροή δεδομένων μέσω εξόδων μοντέλων, εισαγωγή εντολών, διαρροές πλευρικού καναλιού
  • Υλοποίηση παρακολούθησης εντολών και σωληνώσεων φιλτραρίσματος περιεχομένου
  • Δημιουργία εγχειριδίων απόκρισης περιστατικών για σενάρια παραβίασης συστάδας
  • Απομόνωση επηρεαζόμενων κόμβων, διατήρηση εγκληματολογικών αρχείων καταγραφής και αναδόμηση καθαρών περιβαλλόντων

Φυσική Ασφάλεια και Όρια Υλικού

  • Ασφάλιση θυρών Thunderbolt έναντι μη εξουσιοδοτημένων συνδέσεων καλωδίου RDMA
  • Χρήση ασφαλών enclaves και βεβαίωσης υλικού Apple Silicon όπου είναι εφαρμόσιμο
  • Έλεγχος φυσικής πρόσβασης σε ομαδοποιημένα Mac και κοινόχρηστη αποθήκευση
  • Τεκμηρίωση του κύκλου ζωής υλικού και των διαδικασιών απενεργοποίησης

Ρυθμιστικά Ζητήματα

  • Αντιστοίχιση αναπτύξεων EXO με απαιτήσεις GDPR, HIPAA και SOC 2
  • Διατήρηση της διαμονής δεδομένων διατηρώντας την εξαγωγή συμπερασμάτων τοπικά
  • Τεκμηρίωση κινδύνων εφοδιαστικής αλυσίδας προμηθευτή (MLX, EXO, βάρη μοντέλων)
  • Προετοιμασία για πλαίσια διακυβέρνησης τεχνητής νοημοσύνης όπως το Άρθρο 53 του EU AI Act

Απαιτήσεις

  • Εμπειρία με το EXO ή άλλο τοπικό περιβάλλον εκτέλεσης LLM
  • Κατανόηση των δικαιωμάτων συστήματος αρχείων Unix και των ACL δικτύου
  • Εξοικείωση με τη διαχείριση πιστοποιητικών TLS/SSL και τις βασικές αρχές κρυπτογράφησης

Κοινό

  • Μηχανικοί ασφαλείας
  • Υπεύθυνοι συμμόρφωσης
  • Διαχειριστές υποδομών τεχνητής νοημοσύνης που χειρίζονται ευαίσθητα δεδομένα
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Σχόλια (1)

Εφεξής Μαθήματα

Σχετικές Κατηγορίες