Εξέλιξη Κομματιού
Ημέρα 1: Θεμέλια και Κεντρικές Απειλές
Μονάδα 1: Εισαγωγή στο OWASP GenAI Security Project (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση της εξέλιξης από OWASP Top 10 σε προκλήσεις ασφάλειας συγκεκριμένες για GenAI
 - Εξερεύνηση του περιβάλλοντος και των πόρων του Προγράμματος OWASP GenAI Security
 - Αναγνώριση σημαντικών διαφορών μεταξύ παραδοσιακής ασφάλειας εφαρμογών και AI ασφάλειας
 
Θέματα που Καλύπτονται:
- Γενική εξ αστροπι λίγης των στόχων και πεδίου δράσης του Προγράμματος OWASP GenAI Security
 - Εισαγωγή στη μεθοδολογία Threat Defense COMPASS
 - Κατανόηση του πλαισίου απειλών AI και υποχρεώσεων συμμόρφωσης
 - Επιθετικά περιβάλλοντα AI vs. παραδοσιακές ευαίσθητότητες διαδικτυακών εφαρμογών
 
Πρακτική Άσκηση: Δημιουργία του εργαλείου OWASP Threat Defense COMPASS και πρακτική αξιολόγηση απειλών
Μονάδα 2: OWASP Top 10 για LLMs - Μέρος 1 (2.5 ώρες)
Στόχοι Μαθήματος:
- Κυρίαρχη κατανόηση των πέντε πρώτων κρίσιμων ευαισθητοτήτων LLM
 - Κατανόηση διαδρομών απειλής και τεχνικών εκμετάλλευσης
 - Εφαρμογή πρακτικών στρατηγικών αποτροπής
 
Θέματα που Καλύπτονται:
LLM01: Εισαγωγή Προκειμένου
- Τεχνικές εισαγωγής προκειμένου μετόπωρη και ανεξάρτητα
 - Επιθέσεις κρυφών διαταγών και ρύπανση πολλαπλών προκειμένων
 - Πρακτικά παραδείγματα: Εξαγωγή chatbots και περίπηλυση μέτρων ασφάλειας
 - Στρατηγικές αμύνης: Καθαρισμός εισόδου, φίλτρο προκειμένου, διαφορική ιδιωτικότητα
 
LLM02: Αποκάλυψη Ευαισθητών Πληροφοριών
- Έξαρση δεδομένων εκπαίδευσης και απόρροια συστήματος προκειμένου
 - Ανάλυση συμπεριφοράς μοντέλων για αποκάλυψη ευαισθητών πληροφοριών
 - Επιπτώσεις ιδιωτικότητας και υποχρεώσεις συμμόρφωσης
 - Ανάληψη: φίλτρο εξόδου, ελέγχους πρόσβασης, ανώνυμοι δεδομένων
 
LLM03: Ευαισθητότητες Αλυσίδας Παροχής
- Έξαρση εξωτερικών μοντέλων και ασφάλεια πρόσθετων
 - Επίθεση εξωτερικών δεδομένων και ρύπανση μοντέλου
 - Αξιολόγηση κινδύνων προμηθευτών για AI συστήματα
 - Εφαρμογή ασφαλών εξάρσεων και πρακτικές επαλήθευσης
 
Πρακτική Άσκηση: Πρακτικό λάβ που δείχνει επιθέσεις εισαγωγής προκειμένου κατά ευάλωτων LLM εφαρμογών και υλοποίηση μέτρων αμύνης
Μονάδα 3: OWASP Top 10 για LLMs - Μέρος 2 (2 ώρες)
Θέματα που Καλύπτονται:
LLM04: Ρύπανση Δεδομένων και Μοντέλων
- Τεχνικές μεταβολής δεδομένων εκπαίδευσης
 - Μεταβολή συμπεριφοράς μοντέλου μέσω κακόβουλων εισόδων
 - Επιθέσεις πίσω διαδρομή και αποδοχή ρύπανσης δεδομένων
 - Πρόληψη: συμβολοθετία εξέτασης δεδομένων, παρακολούθηση προέλευσης
 
LLM05: Εξάρτηση Επεξεργασίας
- Ανακολουθική επεξεργασία περιεχομένου γεννημένου από LLM
 - Εισάγωγη κώδικα μέσω απεξεργασιών AI
 - Σύνδεση cross-site scripting (XSS) μέσω απεξεργασιών AI
 - Φίλτρο εξόδου και καθαρισμός πλαίσιων
 
Πρακτική Άσκηση: Προσομοίωση επιθέσεων ρύπανσης δεδομένων και υλοποίηση αξιόπιστων μηχανισμών εξόδου
Μονάδα 4: Προχωρημένες Ευαισθητότητες LLM (1.5 ώρες)
Θέματα που Καλύπτονται:
LLM06: Υπερβολική Εξουσία
- Κινδύνοι αυτόνομης λήψης αποφάσεων και παραβίαση συνόρων
 - Διαχείριση εξουσίας και αδειών των ομάδων
 - Αναπόφευκτη αλληλεπίδραση συστήματος και εξουσιοδότηση
 - Εφαρμογή πάνω πύλων και μηχανισμών ανθρώπινης υποψηφιότητας
 
LLM07: Απορροή Δεδομένων Προκειμένου
- Ευαισθητότητες απορροής διαταγών συστήματος
 - Αποκάλυψη κυριείων και λογικής μέσω προκειμένου
 - Τεχνικές επίθεσης για απορροή δεδομένων συστήματος
 - Ασφάλεια προκειμένου και εξωτερικών διατάξεων
 
Πρακτική Άσκηση: Σχεδιασμός ασφαλών παραγωγικών πλατφόρμων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση
Ημέρα 2: Προχωρημένες Ευαισθητότητες και Υλοποίηση
Μονάδα 5: Αναδυόμενες AI Ευαισθητότητες (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των προχωρημένων απειλών AI
 - Εφαρμογή προχωρημένων τεχνικών ανίχνευσης και πρόληψης
 - Σχεδιασμός αντοχικών AI συστημάτων απέναντι σε προχωρημένες επιθέσεις
 
Θέματα που Καλύπτονται:
LLM08: Αδυναμίες Vector και Embedding
- Ευαισθητότητες συστήματος RAG και ασφάλεια βάσης δεδομένων vector
 - Ρύπανση embedding και επιθέσεις αλληλεπίδρασης παρόμοια
 - Εχθρικά παραδείγματα σε αναζήτηση νοηματικής εξυπηρέτησης
 - Ασφάλεια βάσης δεδομένων vector και εφαρμογή ανίχνευσης ανώμαλων
 
LLM09: Ψευδοπληροφορία και Αξιοπιστία Μοντέλου
- Ανίχνευση και αντιμετώπιση ψευδοφανείων
 - Εξαγόραση επικοινωνίας και σχετικά με τη δικαιοσύνη
 - Μηχανισμοί αλήθευσης και επαλήθευσης πηγών
 - Εξέταση περιεχομένου και την ολοκλήρωση εφαρμογής ανθρώπινης υποψηφιότητας
 
LLM10: Ανεπέκταστη Κατανάλωση
- Εξαντλισμός πόρων και αποδοχή επιθέσεων διακοπής υπηρεσίας (DoS)
 - Εξαρχικοποίηση πόρων και στρατηγικές διαχείρισης
 - Βελτιστοποίηση κόστους και ελεγχτικά όρια ανάθεσης πόρων
 - Παρακολούθηση επίδοσης και συστήματα ειδοποιήσεων
 
Πρακτική Άσκηση: Δημιουργία ασφαλούς διαδικασίας RAG με προστασία βάσης δεδομένων vector και ανίχνευση ψευδοφανειών
Μονάδα 6: Ασφάλεια Αυτόνομου AI (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των μοναδικών προκλήσεων ασφάλειας των αυτόνομων AI agents
 - Εφαρμογή της τaxinomίaς OWASP Agentic AI σε πρακτικά σύστηματα
 - Εφαρμογή μέτρων ασφάλειας για πολυπλοκά περιβάλλοντα agents
 
Θέματα που Καλύπτονται:
- Εισαγωγή σε αυτόνομα AI και εξόδους
 - Τaxinomία OWASP Agentic AI: Design, Memory, Planning, Tool Use, Deployment
 - Ασφάλεια πολυπλοκών συστημάτων και ρίσκα συντονισμού
 - Χρήση εργαλείων, ρύπανση μνήμης και απόκτηση στόχων
 - Ασφάλεια επικοινωνίας agents και διαδικασίες λήψης αποφάσεων
 
Πρακτική Άσκηση: Μοντελοποίηση ρισκών απειλών χρησιμοποιώντας την τaxinomία OWASP Agentic AI σε πολυπλοκό σύστημα κεντρικής υπηρεσίας πελατών
Μονάδα 7: Εφαρμογή Threat Defense COMPASS (2 ώρες)
Στόχοι Μαθήματος:
- Εξειδίκευση στην πρακτική εφαρμογή του Threat Defense COMPASS
 - Ολοκλήρωση αξιολόγησης AI κινδύνων στα προγράμματα ασφάλειας των επιχειρήσεων
 - Σχεδιασμός ολοκληρωμένων στρατηγικών διαχείρισης κινδύνων AI
 
Θέματα που Καλύπτονται:
- Άνοιγμα στη μεθοδολογία Threat Defense COMPASS
 - Ενσωμάτωση OODA Loop: Observe, Orient, Decide, Act (Παρακολούθηση, Διευθύνση, Λήψη απόφασης, Ενέργη)
 - Αντιστοίχιση κινδύνων με τους πλάνους MITRE ATT&CK και ATLAS
 - Δημιουργία Ταχυδρομικών Πινάκων Αντοχής απειλών AI
 - Ενσωμάτωση με υφιστάμενα εργαλεία και διαδικασίες ασφάλειας
 
Πρακτική Άσκηση: Ολοκλήρωση αξιολόγησης κινδύνων χρησιμοποιώντας το COMPASS για ένα σενάριο διακυβέρνησης Microsoft Copilot
Μονάδα 8: Πρακτική Υλοποίηση και Καλύτερες Πρακτικές (2.5 ώρες)
Στόχοι Μαθήματος:
- Σχεδιασμός ασφαλών παραγωγικών AI από την αρχή
 - Εφαρμογή παρακολούθησης και διαχείρισης περιστατικών για AI συστήματα
 - Δημιουργία πλαισίων διαχείρισης και αξιοπιστίας AI
 
Θέματα που Καλύπτονται:
Ασφάλης Ανάπτυξη AI:
- Αρχές σχεδιασμού με ασφάλεια για εφαρμογές AI
 - Πρακτικές κώδικα για την ολοκλήρωση LLM
 - Μεθοδολογίες εξέτασης και ανίχνευσης ρισκών
 - Ασφάλεια διακυβέρνησης και σκλήρυνση παραγωγικού κόσμου
 
Παρακολούθηση και Ανίχνευση:
- Συγκεκριμένες απαιτήσεις AI σε διακομικές και παρακολουθητικές εφαρμογές
 - Ανίχνευση ανώμαλων για AI συστήματα
 - Διαδικασίες διαχείρισης περιστατικών ασφάλειας για AI επεισοδία
 - Τεχνικές διαμόρφωσης και έρευνας
 
Διαχείριση και Σύμπλεξη:
- Πλαίσια διαχείρισης κινδύνων AI και πολιτικές
 - Υποχρεώσεις συμφωνίας υποχρεώσεων (GDPR, AI Act κλπ.)
 - Αξιολόγηση κινδύνων τρίτων μερών για εκμεταλλευτές AI
 - Διακυβέρνηση ασφάλειας και εκπαίδευση για ομάδες ανάπτυξης AI
 
Πρακτική Άσκηση: Σχεδιασμός σύστηματος ασφάλειας για επιχειρηματική AI chatbot, που περιλαμβάνει παρακολούθηση, διαχείριση και διαχείριση περιστατικών
Μονάδα 9: Εργαλεία και Τεχνολογίες (1 ώρα)
Στόχοι Μαθήματος:
- Αξιολόγηση και εφαρμογή εργαλείων ασφάλειας AI
 - Κατανόηση του προσκυνητικού σχήματος λύσεων ασφάλειας AI
 - Δημιουργία πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης
 
Θέματα που Καλύπτονται:
- Τεχνικό περιβάλλον εργαλείων ασφάλειας AI και τοποθέτηση προμηθευτών
 - Ανοιχτός κώδικα εργαλείων ασφάλειας: Garak, PyRIT, Giskard
 - Εμπορικές λύσεις για ασφάλεια AI και παρακολούθηση
 - Πατρόν ενσωμάτωσης και στρατηγικές διακυβέρνησης
 - Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης
 
Πρακτική Άσκηση: Δείκτης εργαλείων ασφάλειας AI και σχεδιασμός υλοποίησης
Μονάδα 10: Μέλλοντικές Τάσεις και Κατάληξη (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση των αναδυόμενων απειλών και μέλλοντικών προκλήσεων ασφάλειας
 - Σχεδιασμός συνεχούς μάθησης και βελτιώνεις προκαταβολές
 - Σύσταση εγχειριδίων για τα προγράμματα ασφάλειας AI των οργανισμών
 
Θέματα που Καλύπτονται:
- Αναδυόμενες απειλές: Deepfakes, προηγμένη εισαγωγή δεδομένων, μοντέλο inversion
 - Ανάπτυξη και ρoadmap του προγράμματος OWASP GenAI
 - Δημιουργία κοινότητες ασφάλειας AI και διαμόρφωση γνώσεων
 - Συνεχής βελτίωση και ενσωμάτωση πληροφορικών απειλών
 
Άσκηση Εγχειρίδια: Συνταγή 90-ημερου εγχειριδίου για την εφαρμογή πρακτικών OWASP GenAI στις οργανισμούς των συμμετέχοντες
Απαιτήσεις
- Γενική κατανόηση των αρχών ασφάλειας διαδικτυακών εφαρμογών
 - Βασική γνώση AI/ML καινοτομιών
 - Εμπειρία με πλαίσια ασφάλειας ή μεθοδολογίες εκτίμησης κινδύνων προτιμώνται
 
Αυδιένσα
- Επαγγελματίες κυβερνοασφάλειας
 - Προγραμματιστές AI
 - Αρχιτέκτονες συστημάτων
 - Υπαλλήλοι υποχρεώσεων συμμόρφωσης
 - Εκτελεστικοί ασφάλειας