Εξέλιξη Κομματιού
Ημέρα 1: Βασικές Αρχές και Κύριες Απειλές
Ενότητα 1: Εισαγωγή στο OWASP GenAI Security Project (1 ώρα)
Μαθησιακοί Στόχοι:
- Κατανόηση της εξέλιξης από το OWASP Top 10 στις προκλήσεις ασφαλείας ειδικές για το GenAI
- Εξερεύνηση του οικοσυστήματος και των πόρων του OWASP GenAI Security Project
- Αναγνώριση βασικών διαφορών μεταξύ παραδοσιακής ασφάλειας εφαρμογών και ασφάλειας AI
Καλυπτόμενα Θέματα:
- Επισκόπηση της αποστολής και του πεδίου του OWASP GenAI Security Project
- Εισαγωγή στο πλαίσιο Threat Defense COMPASS
- Κατανόηση του τοπίου ασφαλείας AI και των κανονιστικών απαιτήσεων
- Επιφάνειες επίθεσης AI έναντι παραδοσιακών ευπαθειών διαδικτυακών εφαρμογών
Πρακτική Άσκηση: Ρύθμιση του εργαλείου OWASP Threat Defense COMPASS και εκτέλεση αρχικής αξιολόγησης απειλών
Ενότητα 2: OWASP Top 10 για LLM - Μέρος 1 (2,5 ώρες)
Μαθησιακοί Στόχοι:
- Κατάκτηση των πρώτων πέντε κρίσιμων ευπαθειών LLM
- Κατανόηση διανυσμάτων επίθεσης και τεχνικών εκμετάλλευσης
- Εφαρμογή πρακτικών στρατηγικών μετριασμού
Καλυπτόμενα Θέματα:
LLM01: Prompt Injection
- Τεχνικές άμεσης και έμμεσης εισχώρησης σε εντολές
- Επιθέσεις με κρυφές οδηγίες και διασταυρούμενη μόλυνση εντολών
- Πρακτικά παραδείγματα: Jailbreaking chatbots και παράκαμψη μέτρων ασφαλείας
- Στρατηγικές άμυνας: Απολύμανση εισόδου, φιλτράρισμα εντολών, διαφορική ιδιωτικότητα
LLM02: Αποκάλυψη Ευαίσθητων Πληροφοριών
- Εξαγωγή δεδομένων εκπαίδευσης και διαρροή εντολών συστήματος
- Ανάλυση συμπεριφοράς μοντέλου για έκθεση ευαίσθητων πληροφοριών
- Επιπτώσεις στην ιδιωτικότητα και εκτιμήσεις κανονιστικής συμμόρφωσης
- Μετριασμός: Φιλτράρισμα εξόδου, έλεγχοι πρόσβασης, ανωνυμοποίηση δεδομένων
LLM03: Ευπάθειες Εφοδιαστικής Αλυσίδας
- Εξαρτήσεις μοντέλων τρίτων και ασφάλεια προσθέτων
- Παραβιασμένα σύνολα δεδομένων εκπαίδευσης και δηλητηρίαση μοντέλων
- Αξιολόγηση κινδύνου προμηθευτή για συνιστώσες AI
- Πρακτικές ασφαλούς ανάπτυξης και επαλήθευσης μοντέλων
Πρακτική Άσκηση: Εργαστηριακή άσκηση που επιδεικνύει επιθέσεις prompt injection σε ευάλωτες εφαρμογές LLM και εφαρμογή αμυντικών μέτρων
Ενότητα 3: OWASP Top 10 για LLM - Μέρος 2 (2 ώρες)
Καλυπτόμενα Θέματα:
LLM04: Δηλητηρίαση Δεδομένων και Μοντέλων
- Τεχνικές χειραγώγησης δεδομένων εκπαίδευσης
- Τροποποίηση συμπεριφοράς μοντέλου μέσω δηλητηριασμένων εισόδων
- Επιθέσεις backdoor και επαλήθευση ακεραιότητας δεδομένων
- Πρόληψη: Διαδικασίες επικύρωσης δεδομένων, ανίχνευση προέλευσης
LLM05: Ακατάλληλος Χειρισμός Εξόδου
- Μη ασφαλής επεξεργασία περιεχομένου που παράγεται από LLM
- Εισχώρηση κώδικα μέσω εξόδων παραγόμενων από AI
- Cross-site scripting μέσω αποκρίσεων AI
- Πλαίσια επικύρωσης και απολύμανσης εξόδου
Πρακτική Άσκηση: Προσομοίωση επιθέσεων δηλητηρίασης δεδομένων και εφαρμογή ισχυρών μηχανισμών επικύρωσης εξόδου
Ενότητα 4: Προηγμένες Απειλές LLM (1,5 ώρα)
Καλυπτόμενα Θέματα:
LLM06: Υπερβολική Αυτονομία
- Κίνδυνοι αυτόνομης λήψης αποφάσεων και παραβιάσεις ορίων
- Διαχείριση εξουσιοδότησης και αδειών πρακτόρων
- Μη αναμενόμενες αλληλεπιδράσεις συστήματος και κλιμάκωση προνομίων
- Εφαρμογή προστατευτικών κιγκλιδωμάτων και ελέγχων ανθρώπινης επίβλεψης
LLM07: Διαρροή Εντολών Συστήματος
- Ευπάθειες έκθεσης οδηγιών συστήματος
- Αποκάλυψη διαπιστευτηρίων και λογικής μέσω εντολών
- Τεχνικές επίθεσης για εξαγωγή εντολών συστήματος
- Ασφάλιση οδηγιών συστήματος και εξωτερικής διαμόρφωσης
Πρακτική Άσκηση: Σχεδιασμός αρχιτεκτονικών ασφαλών πρακτόρων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση
Ημέρα 2: Προηγμένες Απειλές και Υλοποίηση
Ενότητα 5: Αναδυόμενες Απειλές AI (2 ώρες)
Μαθησιακοί Στόχοι:
- Κατανόηση απειλών ασφαλείας AI αιχμής
- Εφαρμογή προηγμένων τεχνικών ανίχνευσης και πρόληψης
- Σχεδιασμός ανθεκτικών συστημάτων AI έναντι εξελιγμένων επιθέσεων
Καλυπτόμενα Θέματα:
LLM08: Αδυναμίες σε Διανύσματα και Ενσωματώσεις
- Ευπάθειες συστημάτων RAG και ασφάλεια διανυσματικών βάσεων δεδομένων
- Δηλητηρίαση ενσωματώσεων και επιθέσεις χειραγώγησης ομοιότητας
- Ανταγωνιστικά παραδείγματα στη σημασιολογική αναζήτηση
- Ασφάλιση διανυσματικών αποθηκών και εφαρμογή ανίχνευσης ανωμαλιών
LLM09: Παραπληροφόρηση και Αξιοπιστία Μοντέλου
- Ανίχνευση και μετριασμός παραισθήσεων
- Ενίσχυση προκαταλήψεων και εκτιμήσεις δικαιοσύνης
- Μηχανισμοί ελέγχου γεγονότων και επαλήθευσης πηγών
- Επικύρωση περιεχομένου και ενσωμάτωση ανθρώπινης επίβλεψης
LLM10: Απεριόριστη Κατανάλωση
- Εξάντληση πόρων και επιθέσεις denial-of-service
- Περιορισμός ρυθμού και στρατηγικές διαχείρισης πόρων
- Βελτιστοποίηση κόστους και έλεγχοι προϋπολογισμού
- Παρακολούθηση απόδοσης και συστήματα ειδοποίησης
Πρακτική Άσκηση: Κατασκευή ασφαλούς διασωλήνωσης RAG με προστασία διανυσματικής βάσης και ανίχνευση παραισθήσεων
Ενότητα 6: Ασφάλεια Agentic AI (2 ώρες)
Μαθησιακοί Στόχοι:
- Κατανόηση των μοναδικών προκλήσεων ασφαλείας των αυτόνομων πρακτόρων AI
- Εφαρμογή της ταξινομίας OWASP Agentic AI σε πραγματικά συστήματα
- Υλοποίηση ελέγχων ασφαλείας για περιβάλλοντα πολλαπλών πρακτόρων
Καλυπτόμενα Θέματα:
- Εισαγωγή στο Agentic AI και τα αυτόνομα συστήματα
- Ταξινομία Απειλών OWASP Agentic AI: Σχεδίαση Πράκτορα, Μνήμη, Σχεδιασμός, Χρήση Εργαλείων, Ανάπτυξη
- Ασφάλεια συστημάτων πολλαπλών πρακτόρων και κίνδυνοι συντονισμού
- Κακή χρήση εργαλείων, δηλητηρίαση μνήμης και επιθέσεις κατάληψης στόχων
- Ασφάλιση επικοινωνίας πρακτόρων και διαδικασιών λήψης αποφάσεων
Πρακτική Άσκηση: Άσκηση μοντελοποίησης απειλών με χρήση της ταξινομίας OWASP Agentic AI σε ένα σύστημα εξυπηρέτησης πελατών πολλαπλών πρακτόρων
Ενότητα 7: Υλοποίηση OWASP Threat Defense COMPASS (2 ώρες)
Μαθησιακοί Στόχοι:
- Κατάκτηση της πρακτικής εφαρμογής του Threat Defense COMPASS
- Ενσωμάτωση της αξιολόγησης απειλών AI σε οργανωσιακά προγράμματα ασφαλείας
- Ανάπτυξη ολοκληρωμένων στρατηγικών διαχείρισης κινδύνου AI
Καλυπτόμενα Θέματα:
- Εμβάθυνση στη μεθοδολογία Threat Defense COMPASS
- Ενσωμάτωση του κύκλου OODA: Παρατηρώ, Προσανατολίζομαι, Αποφασίζω, Ενεργώ
- Χαρτογράφηση απειλών στα πλαίσια MITRE ATT&CK και ATLAS
- Δημιουργία πινάκων στρατηγικής ανθεκτικότητας απειλών AI
- Ενσωμάτωση με υφιστάμενα εργαλεία και διαδικασίες ασφαλείας
Πρακτική Άσκηση: Πλήρης αξιολόγηση απειλών με χρήση COMPASS για ένα σενάριο ανάπτυξης Microsoft Copilot
Ενότητα 8: Πρακτική Υλοποίηση και Βέλτιστες Πρακτικές (2,5 ώρες)
Μαθησιακοί Στόχοι:
- Σχεδιασμός ασφαλών αρχιτεκτονικών AI από την αρχή
- Υλοποίηση παρακολούθησης και απόκρισης σε περιστατικά για συστήματα AI
- Δημιουργία πλαισίων διακυβέρνησης για την ασφάλεια AI
Καλυπτόμενα Θέματα:
Κύκλος Ζωής Ασφαλούς Ανάπτυξης AI:
- Αρχές ασφάλειας από το σχεδιασμό για εφαρμογές AI
- Πρακτικές ανασκόπησης κώδικα για ενσωματώσεις LLM
- Μεθοδολογίες δοκιμών και σάρωση ευπαθειών
- Ασφάλεια ανάπτυξης και ενίσχυση παραγωγής
Παρακολούθηση και Ανίχνευση:
- Απαιτήσεις καταγραφής και παρακολούθησης ειδικές για AI
- Ανίχνευση ανωμαλιών για συστήματα AI
- Διαδικασίες απόκρισης σε περιστατικά για συμβάντα ασφαλείας AI
- Τεχνικές εγκληματολογικής ανάλυσης και έρευνας
Διακυβέρνηση και Συμμόρφωση:
- Πλαίσια διαχείρισης κινδύνου AI και πολιτικές
- Εκτιμήσεις κανονιστικής συμμόρφωσης (GDPR, AI Act, κ.λπ.)
- Αξιολόγηση κινδύνου τρίτων για προμηθευτές AI
- Εκπαίδευση ευαισθητοποίησης ασφαλείας για ομάδες ανάπτυξης AI
Πρακτική Άσκηση: Σχεδιασμός πλήρους αρχιτεκτονικής ασφαλείας για ένα επιχειρηματικό chatbot AI συμπεριλαμβανομένων διαδικασιών παρακολούθησης, διακυβέρνησης και απόκρισης σε περιστατικά
Ενότητα 9: Εργαλεία και Τεχνολογίες (1 ώρα)
Μαθησιακοί Στόχοι:
- Αξιολόγηση και υλοποίηση εργαλείων ασφαλείας AI
- Κατανόηση του τρέχοντος τοπίου λύσεων ασφαλείας AI
- Δημιουργία πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης
Καλυπτόμενα Θέματα:
- Οικοσύστημα εργαλείων ασφαλείας AI και τοπίο προμηθευτών
- Εργαλεία ασφαλείας ανοικτού κώδικα: Garak, PyRIT, Giskard
- Εμπορικές λύσεις για ασφάλεια και παρακολούθηση AI
- Πρότυπα ενσωμάτωσης και στρατηγικές ανάπτυξης
- Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης
Πρακτική Άσκηση: Πρακτική επίδειξη εργαλείων δοκιμών ασφαλείας AI και σχεδιασμός υλοποίησης
Ενότητα 10: Μελλοντικές Τάσεις και Κλείσιμο (1 ώρα)
Μαθησιακοί Στόχοι:
- Κατανόηση αναδυόμενων απειλών και μελλοντικών προκλήσεων ασφαλείας
- Ανάπτυξη στρατηγικών συνεχούς μάθησης και βελτίωσης
- Δημιουργία σχεδίων δράσης για οργανωσιακά προγράμματα ασφαλείας AI
Καλυπτόμενα Θέματα:
- Αναδυόμενες απειλές: Deepfakes, προηγμένες prompt injection, αντιστροφή μοντέλων
- Μελλοντικές εξελίξεις και οδικός χάρτης του OWASP GenAI project
- Δημιουργία κοινοτήτων ασφαλείας AI και ανταλλαγή γνώσεων
- Συνεχής βελτίωση και ενσωμάτωση πληροφοριών απειλών
Άσκηση Σχεδιασμού Δράσης: Ανάπτυξη σχεδίου δράσης 90 ημερών για την εφαρμογή πρακτικών ασφαλείας OWASP GenAI στους οργανισμούς των συμμετεχόντων
Απαιτήσεις
- Γενική κατανόηση των αρχών ασφαλείας διαδικτυακών εφαρμογών
- Βασική εξοικείωση με έννοιες AI/ML
- Εμπειρία με πλαίσια ασφαλείας ή μεθοδολογίες αξιολόγησης κινδύνου επιθυμητή
Κοινό
- Επαγγελματίες κυβερνοασφάλειας
- Προγραμματιστές AI
- Αρχιτέκτονες συστημάτων
- Υπεύθυνοι συμμόρφωσης
- Επαγγελματίες ασφαλείας
Σχόλια (1)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση