Εξέλιξη Κομματιού
Εισαγωγή στη Red Teaming της Τεχνητής Νοημοσύνης
- Κατανόηση του απειληρικού περιβάλλοντος AI
- Ο ρόλος των red teams στην ασφάλεια της ΤΝ
- Ηθικές και νομικές επιδράσεις
Εχθρική Μηχανική Μάθηση
- Τύποι επιθέσεων: αποφυγή, εξουδετέρωση, εκχύνση, υπολογισμός
- Δημιουργία εχθρικών παραδειγμάτων (π.χ., FGSM, PGD)
- Συμπληρωματικές και αναπόσπαστες επιθέσεις και δείκτες επιτυχίας
Έλεγχος της σταθερότητας των μοντέλων
- Εκτίμηση της σταθερότητας υπό παρεξιχνιάσεις
- Έρευνα για αδύναμα σημεία και λειτουργικούς τρόπους των μοντέλων
- Εξέλιξη προσωπικής, οπτικής και NLP προσεγγίσεων
Red Teaming AI Pipelines
- Επιφάνεια επίθεσης αιματοκυτταρικών πληρωμένων: δεδομένα, μοντέλα, υποδοχή
- Εξαγόμενα ασφαλές model APIs και τέρματα
- Αντίστροφη μηχανική συμπεριφορά και αποδόσεις
Προσομοίωση και Εργαλεία
- Χρήση του Adversarial Robustness Toolbox (ART)
- Red teaming με εργαλεία όπως TextAttack και IBM ART
- Εργαλεία ανάκτησης, παρακολούθησης και παρατήρησης
Στρατηγική Red Team AI και Συνεργασία Άμυνας
- Ανάπτυξη στρατηγικών red teaming και στόχων
- Επικοινωνία ευρεσιτεχνικών με τις ομάδες blue team
- Συμβολή red teaming στη διαχείριση κινδύνων AI
Περίληψη και Επόμενα Βήματα
Απαιτήσεις
- Κατανόηση των αρχιτεκτονικών μηχανικής μάθησης και βαθύτερης μάθησης
- Εμπειρία στο Python και πλατφόρμες ML (για παράδειγμα, TensorFlow, PyTorch)
- Γνώση των εννοιών ασφάλειας κυβέρνησης ή τεχνικών επιθετικής ασφάλειας
Στόχοι
- Έρευνατές ασφάλειας
- Ομάδες επιθετικής ασφάλειας
- Εξειδικευμένοι στην ασφάλεια AI και red team
Σχόλια (2)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση
Η επαγγελματική γνώση και ο τρόπος με τον οποίο την παρουσίασε απέναντι σε μας
Miroslav Nachev - PUBLIC COURSE
Κομμάτι - Cybersecurity in AI Systems
Μηχανική Μετάφραση