Εξέλιξη Κομματιού
Ημέρα 1: Θεμέλια και Κεντρικές Απειλές
Μονάδα 1: Εισαγωγή στο OWASP GenAI Security Project (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση της εξέλιξης από OWASP Top 10 σε προκλήσεις ασφάλειας συγκεκριμένες για GenAI
- Εξερεύνηση του περιβάλλοντος και των πόρων του Προγράμματος OWASP GenAI Security
- Αναγνώριση σημαντικών διαφορών μεταξύ παραδοσιακής ασφάλειας εφαρμογών και AI ασφάλειας
Θέματα που Καλύπτονται:
- Γενική εξ αστροπι λίγης των στόχων και πεδίου δράσης του Προγράμματος OWASP GenAI Security
- Εισαγωγή στη μεθοδολογία Threat Defense COMPASS
- Κατανόηση του πλαισίου απειλών AI και υποχρεώσεων συμμόρφωσης
- Επιθετικά περιβάλλοντα AI vs. παραδοσιακές ευαίσθητότητες διαδικτυακών εφαρμογών
Πρακτική Άσκηση: Δημιουργία του εργαλείου OWASP Threat Defense COMPASS και πρακτική αξιολόγηση απειλών
Μονάδα 2: OWASP Top 10 για LLMs - Μέρος 1 (2.5 ώρες)
Στόχοι Μαθήματος:
- Κυρίαρχη κατανόηση των πέντε πρώτων κρίσιμων ευαισθητοτήτων LLM
- Κατανόηση διαδρομών απειλής και τεχνικών εκμετάλλευσης
- Εφαρμογή πρακτικών στρατηγικών αποτροπής
Θέματα που Καλύπτονται:
LLM01: Εισαγωγή Προκειμένου
- Τεχνικές εισαγωγής προκειμένου μετόπωρη και ανεξάρτητα
- Επιθέσεις κρυφών διαταγών και ρύπανση πολλαπλών προκειμένων
- Πρακτικά παραδείγματα: Εξαγωγή chatbots και περίπηλυση μέτρων ασφάλειας
- Στρατηγικές αμύνης: Καθαρισμός εισόδου, φίλτρο προκειμένου, διαφορική ιδιωτικότητα
LLM02: Αποκάλυψη Ευαισθητών Πληροφοριών
- Έξαρση δεδομένων εκπαίδευσης και απόρροια συστήματος προκειμένου
- Ανάλυση συμπεριφοράς μοντέλων για αποκάλυψη ευαισθητών πληροφοριών
- Επιπτώσεις ιδιωτικότητας και υποχρεώσεις συμμόρφωσης
- Ανάληψη: φίλτρο εξόδου, ελέγχους πρόσβασης, ανώνυμοι δεδομένων
LLM03: Ευαισθητότητες Αλυσίδας Παροχής
- Έξαρση εξωτερικών μοντέλων και ασφάλεια πρόσθετων
- Επίθεση εξωτερικών δεδομένων και ρύπανση μοντέλου
- Αξιολόγηση κινδύνων προμηθευτών για AI συστήματα
- Εφαρμογή ασφαλών εξάρσεων και πρακτικές επαλήθευσης
Πρακτική Άσκηση: Πρακτικό λάβ που δείχνει επιθέσεις εισαγωγής προκειμένου κατά ευάλωτων LLM εφαρμογών και υλοποίηση μέτρων αμύνης
Μονάδα 3: OWASP Top 10 για LLMs - Μέρος 2 (2 ώρες)
Θέματα που Καλύπτονται:
LLM04: Ρύπανση Δεδομένων και Μοντέλων
- Τεχνικές μεταβολής δεδομένων εκπαίδευσης
- Μεταβολή συμπεριφοράς μοντέλου μέσω κακόβουλων εισόδων
- Επιθέσεις πίσω διαδρομή και αποδοχή ρύπανσης δεδομένων
- Πρόληψη: συμβολοθετία εξέτασης δεδομένων, παρακολούθηση προέλευσης
LLM05: Εξάρτηση Επεξεργασίας
- Ανακολουθική επεξεργασία περιεχομένου γεννημένου από LLM
- Εισάγωγη κώδικα μέσω απεξεργασιών AI
- Σύνδεση cross-site scripting (XSS) μέσω απεξεργασιών AI
- Φίλτρο εξόδου και καθαρισμός πλαίσιων
Πρακτική Άσκηση: Προσομοίωση επιθέσεων ρύπανσης δεδομένων και υλοποίηση αξιόπιστων μηχανισμών εξόδου
Μονάδα 4: Προχωρημένες Ευαισθητότητες LLM (1.5 ώρες)
Θέματα που Καλύπτονται:
LLM06: Υπερβολική Εξουσία
- Κινδύνοι αυτόνομης λήψης αποφάσεων και παραβίαση συνόρων
- Διαχείριση εξουσίας και αδειών των ομάδων
- Αναπόφευκτη αλληλεπίδραση συστήματος και εξουσιοδότηση
- Εφαρμογή πάνω πύλων και μηχανισμών ανθρώπινης υποψηφιότητας
LLM07: Απορροή Δεδομένων Προκειμένου
- Ευαισθητότητες απορροής διαταγών συστήματος
- Αποκάλυψη κυριείων και λογικής μέσω προκειμένου
- Τεχνικές επίθεσης για απορροή δεδομένων συστήματος
- Ασφάλεια προκειμένου και εξωτερικών διατάξεων
Πρακτική Άσκηση: Σχεδιασμός ασφαλών παραγωγικών πλατφόρμων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση
Ημέρα 2: Προχωρημένες Ευαισθητότητες και Υλοποίηση
Μονάδα 5: Αναδυόμενες AI Ευαισθητότητες (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των προχωρημένων απειλών AI
- Εφαρμογή προχωρημένων τεχνικών ανίχνευσης και πρόληψης
- Σχεδιασμός αντοχικών AI συστημάτων απέναντι σε προχωρημένες επιθέσεις
Θέματα που Καλύπτονται:
LLM08: Αδυναμίες Vector και Embedding
- Ευαισθητότητες συστήματος RAG και ασφάλεια βάσης δεδομένων vector
- Ρύπανση embedding και επιθέσεις αλληλεπίδρασης παρόμοια
- Εχθρικά παραδείγματα σε αναζήτηση νοηματικής εξυπηρέτησης
- Ασφάλεια βάσης δεδομένων vector και εφαρμογή ανίχνευσης ανώμαλων
LLM09: Ψευδοπληροφορία και Αξιοπιστία Μοντέλου
- Ανίχνευση και αντιμετώπιση ψευδοφανείων
- Εξαγόραση επικοινωνίας και σχετικά με τη δικαιοσύνη
- Μηχανισμοί αλήθευσης και επαλήθευσης πηγών
- Εξέταση περιεχομένου και την ολοκλήρωση εφαρμογής ανθρώπινης υποψηφιότητας
LLM10: Ανεπέκταστη Κατανάλωση
- Εξαντλισμός πόρων και αποδοχή επιθέσεων διακοπής υπηρεσίας (DoS)
- Εξαρχικοποίηση πόρων και στρατηγικές διαχείρισης
- Βελτιστοποίηση κόστους και ελεγχτικά όρια ανάθεσης πόρων
- Παρακολούθηση επίδοσης και συστήματα ειδοποιήσεων
Πρακτική Άσκηση: Δημιουργία ασφαλούς διαδικασίας RAG με προστασία βάσης δεδομένων vector και ανίχνευση ψευδοφανειών
Μονάδα 6: Ασφάλεια Αυτόνομου AI (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των μοναδικών προκλήσεων ασφάλειας των αυτόνομων AI agents
- Εφαρμογή της τaxinomίaς OWASP Agentic AI σε πρακτικά σύστηματα
- Εφαρμογή μέτρων ασφάλειας για πολυπλοκά περιβάλλοντα agents
Θέματα που Καλύπτονται:
- Εισαγωγή σε αυτόνομα AI και εξόδους
- Τaxinomία OWASP Agentic AI: Design, Memory, Planning, Tool Use, Deployment
- Ασφάλεια πολυπλοκών συστημάτων και ρίσκα συντονισμού
- Χρήση εργαλείων, ρύπανση μνήμης και απόκτηση στόχων
- Ασφάλεια επικοινωνίας agents και διαδικασίες λήψης αποφάσεων
Πρακτική Άσκηση: Μοντελοποίηση ρισκών απειλών χρησιμοποιώντας την τaxinomία OWASP Agentic AI σε πολυπλοκό σύστημα κεντρικής υπηρεσίας πελατών
Μονάδα 7: Εφαρμογή Threat Defense COMPASS (2 ώρες)
Στόχοι Μαθήματος:
- Εξειδίκευση στην πρακτική εφαρμογή του Threat Defense COMPASS
- Ολοκλήρωση αξιολόγησης AI κινδύνων στα προγράμματα ασφάλειας των επιχειρήσεων
- Σχεδιασμός ολοκληρωμένων στρατηγικών διαχείρισης κινδύνων AI
Θέματα που Καλύπτονται:
- Άνοιγμα στη μεθοδολογία Threat Defense COMPASS
- Ενσωμάτωση OODA Loop: Observe, Orient, Decide, Act (Παρακολούθηση, Διευθύνση, Λήψη απόφασης, Ενέργη)
- Αντιστοίχιση κινδύνων με τους πλάνους MITRE ATT&CK και ATLAS
- Δημιουργία Ταχυδρομικών Πινάκων Αντοχής απειλών AI
- Ενσωμάτωση με υφιστάμενα εργαλεία και διαδικασίες ασφάλειας
Πρακτική Άσκηση: Ολοκλήρωση αξιολόγησης κινδύνων χρησιμοποιώντας το COMPASS για ένα σενάριο διακυβέρνησης Microsoft Copilot
Μονάδα 8: Πρακτική Υλοποίηση και Καλύτερες Πρακτικές (2.5 ώρες)
Στόχοι Μαθήματος:
- Σχεδιασμός ασφαλών παραγωγικών AI από την αρχή
- Εφαρμογή παρακολούθησης και διαχείρισης περιστατικών για AI συστήματα
- Δημιουργία πλαισίων διαχείρισης και αξιοπιστίας AI
Θέματα που Καλύπτονται:
Ασφάλης Ανάπτυξη AI:
- Αρχές σχεδιασμού με ασφάλεια για εφαρμογές AI
- Πρακτικές κώδικα για την ολοκλήρωση LLM
- Μεθοδολογίες εξέτασης και ανίχνευσης ρισκών
- Ασφάλεια διακυβέρνησης και σκλήρυνση παραγωγικού κόσμου
Παρακολούθηση και Ανίχνευση:
- Συγκεκριμένες απαιτήσεις AI σε διακομικές και παρακολουθητικές εφαρμογές
- Ανίχνευση ανώμαλων για AI συστήματα
- Διαδικασίες διαχείρισης περιστατικών ασφάλειας για AI επεισοδία
- Τεχνικές διαμόρφωσης και έρευνας
Διαχείριση και Σύμπλεξη:
- Πλαίσια διαχείρισης κινδύνων AI και πολιτικές
- Υποχρεώσεις συμφωνίας υποχρεώσεων (GDPR, AI Act κλπ.)
- Αξιολόγηση κινδύνων τρίτων μερών για εκμεταλλευτές AI
- Διακυβέρνηση ασφάλειας και εκπαίδευση για ομάδες ανάπτυξης AI
Πρακτική Άσκηση: Σχεδιασμός σύστηματος ασφάλειας για επιχειρηματική AI chatbot, που περιλαμβάνει παρακολούθηση, διαχείριση και διαχείριση περιστατικών
Μονάδα 9: Εργαλεία και Τεχνολογίες (1 ώρα)
Στόχοι Μαθήματος:
- Αξιολόγηση και εφαρμογή εργαλείων ασφάλειας AI
- Κατανόηση του προσκυνητικού σχήματος λύσεων ασφάλειας AI
- Δημιουργία πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης
Θέματα που Καλύπτονται:
- Τεχνικό περιβάλλον εργαλείων ασφάλειας AI και τοποθέτηση προμηθευτών
- Ανοιχτός κώδικα εργαλείων ασφάλειας: Garak, PyRIT, Giskard
- Εμπορικές λύσεις για ασφάλεια AI και παρακολούθηση
- Πατρόν ενσωμάτωσης και στρατηγικές διακυβέρνησης
- Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης
Πρακτική Άσκηση: Δείκτης εργαλείων ασφάλειας AI και σχεδιασμός υλοποίησης
Μονάδα 10: Μέλλοντικές Τάσεις και Κατάληξη (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση των αναδυόμενων απειλών και μέλλοντικών προκλήσεων ασφάλειας
- Σχεδιασμός συνεχούς μάθησης και βελτιώνεις προκαταβολές
- Σύσταση εγχειριδίων για τα προγράμματα ασφάλειας AI των οργανισμών
Θέματα που Καλύπτονται:
- Αναδυόμενες απειλές: Deepfakes, προηγμένη εισαγωγή δεδομένων, μοντέλο inversion
- Ανάπτυξη και ρoadmap του προγράμματος OWASP GenAI
- Δημιουργία κοινότητες ασφάλειας AI και διαμόρφωση γνώσεων
- Συνεχής βελτίωση και ενσωμάτωση πληροφορικών απειλών
Άσκηση Εγχειρίδια: Συνταγή 90-ημερου εγχειριδίου για την εφαρμογή πρακτικών OWASP GenAI στις οργανισμούς των συμμετέχοντες
Απαιτήσεις
- Γενική κατανόηση των αρχών ασφάλειας διαδικτυακών εφαρμογών
- Βασική γνώση AI/ML καινοτομιών
- Εμπειρία με πλαίσια ασφάλειας ή μεθοδολογίες εκτίμησης κινδύνων προτιμώνται
Αυδιένσα
- Επαγγελματίες κυβερνοασφάλειας
- Προγραμματιστές AI
- Αρχιτέκτονες συστημάτων
- Υπαλλήλοι υποχρεώσεων συμμόρφωσης
- Εκτελεστικοί ασφάλειας
Σχόλια (1)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση