Εξέλιξη Κομματιού
Εισαγωγή στο AI Red Teaming
- Κατανόηση του τοπίου απειλών της τεχνητής νοημοσύνης
- Ρόλοι των ομάδων red team στην ασφάλεια της τεχνητής νοημοσύνης
- Ηθικές και νομικές εκτιμήσεις
Αντιπαραθετική Μηχανική Μάθηση
- Τύποι επιθέσεων: υπεκφυγή, δηλητηρίαση, εξαγωγή, συμπερασμός
- Δημιουργία αντιπαραθετικών παραδειγμάτων (π.χ. FGSM, PGD)
- Στοχευμένες vs μη στοχευμένες επιθέσεις και μετρήσεις επιτυχίας
Έλεγχος Ανθεκτικότητας Μοντέλων
- Αξιολόγηση ανθεκτικότητας υπό διαταραχές
- Διερεύνηση τυφλών σημείων και τρόπων αστοχίας μοντέλων
- Stress testing μοντέλων ταξινόμησης, όρασης και NLP
Red Teaming Σωληνώσεων Τεχνητής Νοημοσύνης
- Επιφάνεια επίθεσης σωληνώσεων τεχνητής νοημοσύνης: δεδομένα, μοντέλο, ανάπτυξη
- Εκμετάλλευση ανασφαλών API και καταληκτικών σημείων μοντέλων
- Ανάστροφη μηχανική συμπεριφοράς μοντέλου και εξόδων
Προσομοίωση και Εργαλεία
- Χρήση του Adversarial Robustness Toolbox (ART)
- Red teaming με εργαλεία όπως TextAttack και IBM ART
- Εργαλεία sandboxing, παρακολούθησης και παρατηρησιμότητας
Στρατηγική AI Red Team και Συνεργασία με την Άμυνα
- Ανάπτυξη ασκήσεων και στόχων red team
- Επικοινωνία ευρημάτων στις blue teams
- Ενσωμάτωση του red teaming στη διαχείριση κινδύνου της τεχνητής νοημοσύνης
Σύνοψη και Επόμενα Βήματα
Απαιτήσεις
- Κατανόηση αρχιτεκτονικών μηχανικής μάθησης και βαθιάς μάθησης
- Εμπειρία με Python και πλαίσια μηχανικής μάθησης (π.χ. TensorFlow, PyTorch)
- Εξοικείωση με έννοιες κυβερνοασφάλειας ή τεχνικές επιθετικής ασφάλειας
Κοινό
- Ερευνητές ασφαλείας
- Ομάδες επιθετικής ασφάλειας
- Επαγγελματίες διασφάλισης τεχνητής νοημοσύνης και red team
Σχόλια (2)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση
Η επαγγελματική γνώση και ο τρόπος με τον οποίο την παρουσίασε απέναντι σε μας
Miroslav Nachev - PUBLIC COURSE
Κομμάτι - Cybersecurity in AI Systems
Μηχανική Μετάφραση