Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Το Τοπίο των Threats AI
- Γιατί η ασφάλεια AI είναι διαφορετική: μη ντετερμινισμός, αδιαφανής σκέψη, prompt ως επιφάνεια επίθεσης
- Ταξινομία επιθέσεων: εκπαίδευση-χρόνος vs ανάκτηση-χρόνος vs επιθέσεις αλυσίδας προμηθευτών
- Μοντέλο εχθρού ML: ποιοι επιτίθενται σε συστήματα AI και γιατί
OWASP Top 10 για LLM Applications
- Έγχυση εντολών (Prompt injection): άμεσοι και έμμεσοι δρόμοι επίθεσης
- Ανεπαρκής χειρισμός εξόδου και παραπλάνηση αιτήματος cross-plugin
- Δηλητηρίαση δεδομένων εκπαίδευσης και ευπάθειες αλυσίδας προμηθευτών
- Άρνηση υπηρεσίας μοντέλου, αποκάλυψη ευαίσθητων πληροφοριών και υπερβολική αυτονομία
- Χειρονακτική ασκήσεις: εκμετάλλευση κάθε κατηγορίας OWASP ενάντια σε μια δοκιμαστική εφαρμογή
Red Teaming Έγχυσης Εντολών και Jailbreak
- Ταξινομία τεχνικών έγχυσης: άμεση, έμμεση, πολλαπλής στροφής και πολυμοντέλου
- Αυτόματο red-teaming με Giskard, Garak και προσαρμοσμένα εργαλεία fuzzing
- Ταξινόμηση jailbreak και αξιολόγηση άμυνας
- Κατασκευή harnesred team για συνεχή δοκιμή ασφαλείας LLM
Επιθέσεις και Άμυνα στο Επίπεδο Μοντέλου
- Εξαγωγή μοντέλου: κλοπή βαρών και λειτουργικότητας μοντέλου μέσω ερωτημάτων API
- Ανάθεση μέλους (Membership inference): προσδιορισμός αν τα δεδομένα ήταν στο σύνολο εκπαίδευσης
- Εχθρικά παραδείγματα: διαταραχές που εξαπατούν ταξινομητές και ενσωματώσεις
- Δηλητηρίαση δεδομένων: διάφθορα των δεδομένων εκπαίδευσης για να προκαλέσουν backdoors ή να υποβαθμίσουν την απόδοση
Έλεγχοι Ασφαλείας Εισόδου και Εξόδου
- Απολύμανση εισόδου πέρα από τις παραδοσιακές αμυνές web
- Φιλτράρισμα εξόδου: τοξικότητα, διαρροή PII, εκτέλεση κώδικα που υποκρίνεται hallucination
- Guardrails ως υποδομή ασφαλείας: NeMo, Guardrails AI και προσαρμοσμένοι πολιτικές
- Επιβολή δομημένης εξόδου ως σύνορα ασφαλείας
Ασφάλεια Αλυσίδας Προμηθευτών AI
- Προέλευση μοντέλου: επαλήθευση της αυθεντικότητας και ακεραιότητας του μοντέλου
- Sanning εξαρτήσεων για πλαισίας ML και μορφές μοντέλων
- Ασφαλής εξυπηρέτηση μοντέλου: sandboxing, απομόνωση δικτύου και πρόσβαση λιγότερου δικαιώματος (
- Aξιολόγηση fine-tuned and community models για ενσωματωμένο malware
Λειτουργική Ασφάλεια για Συστήματα AI
- Έλεγχος πρόσβασης για endpoints μοντέλου, αποθηκευτικά διανυσμάτων και εργαλεία agent
- Audit logging για κάθε αλληλεπίδραση μοντέλου και απόφαση
- Incident response για breaches συγκεκριμένα AI: όταν το ίδιο το μοντέλο έχει παραβιαστεί
- Συνεχής δοκιμή ασφαλείας σε CI/CD για pipelines ML
Κατασκευή Προγράμματος Ασφαλείας AI
- Maturity model και roadmap ασφαλείας AI
- Ολοκλήρωση της ασφάλειας AI σε υπάρχοντα προγράμματα AppSec και cloud security
- Πλαίσια διακυβέρνησης και αναδυόμενοι κανονισμοί για συστήματα AI
- Δημιουργία και συντήρηση ενός playbook ασφάλειας AI οργανισμού
Απαιτήσεις
- Εμπειρία στην ανάπτυξη μοντέλων ML ή εφαρμογών LLM σε περιβάλλον παραγωγής.
- Γνώση εννοιών ασφαλείας, συμπεριλαμβανομένης της ταυτοποίησης, εξουσιοδότησης και μοντελοποίησης threats.
- Επάρκεια στη Python για ασκήσεις εχθρικών δοκιμών.
Κοινό-Στόχος
- Μηχανικούς ασφαλείας που επεκτείνονται σε επιφάνειες threats AI/ML.
- Μηχανικούς ML υπεύθυνους για την ασφάλεια και την ανθεκτικότητα των μοντέλων.
- Μέλη ομάδων red team που προσθέτουν συστήματα AI στο πεδίο δοκιμών τους.
14 Ώρες