OWASP GenAI Security Κομμάτι εκπαίδευσης

Ημέρα 1: Θεμελιώδεις Αρχές και Βασικές Απειλές

Μάθημα 1: Εισαγωγή στο Έργο OWASP GenAI Security (1 ώρα)

Στόχοι Μάθησης:

• Κατανόηση της εξέλιξης από το OWASP Top 10 στις προκλήσεις ασφαλείας συγκεκριμένες για GenAI
• Ανάλυση του οικοσυστήματος και των πόρων του Έργου OWASP GenAI Security
• Ταυτοποίηση των βασικών διαφορών μεταξύ ασφάλειας παραδοσιακών εφαρμογών και ασφάλειας ΤΝ

Θέματα που καλύπτονται:

• Επισκόπηση του αποστολικού και του πεδίου εφαρμογής του Έργου OWASP GenAI Security
• Εισαγωγή στο πλαίσιο Threat Defense COMPASS
• Κατανόηση τοπίου ασφαλείας ΤΝ και ρυθμιστικών απαιτήσεων
• Επιφάνειες επίθεσης ΤΝ έναντι παραδοσιακών ευπάθειες διαδικτυακών εφαρμογών

Πρακτική Άσκηση: Ρύθμιση του εργαλείου OWASP Threat Defense COMPASS και εκτέλεση αρχικής αξιολόγησης απειλών

Μάθημα 2: OWASP Top 10 για LLM - Μέρος 1 (2.5 ώρες)

Στόχοι Μάθησης:

• Εξοικείωση με τις πρώτες πέντε κρίσιμες ευπάθειες LLM
• Κατανόηση διόδων επίθεσης και τεχνικών εκμετάλλευσης
• Εφαρμογή πρακτικών στρατηγικών μετριασμού

Θέματα που καλύπτονται:

LLM01: Prompt Injection (Έγχυση Ενόρματος)

• Τεχνικές άμεσης και έμμεσης έγχυσης ενόρματος
• Επιθέσεις κρυφών εντολών και διαπότιση μεταξύ prompts
• Πρακτικά παραδείγματα: Jailbreaking chatbots και παράκαμψη μέτρων ασφαλείας
• Στρατηγικές άμυνας: Καθαρισμός εισόδου, φιλτράρισμα εντολών, διαφορική ιδιωτικότητα

LLM02: Αποκάλυψη Ευαίσθητων Πληροφοριών

• Αναγωγή δεδομένων εκπαίδευσης και διαρροή system prompt
• Ανάλυση συμπεριφοράς μοντέλου για έκθεση ευαίσθητων πληροφοριών
• Επιπτώσεις στην ιδιωτικότητα και σκέψεις συμμόρφωσης με κανονισμούς
• Μετριασμός: Φιλτράρισμα εξόδου, έλεγχοι πρόσβασης, ανωνυμοποίηση δεδομένων

LLM03: Ευπάθειες Αλυσίδας Προμήθειας

• Εξαρτήσεις μοντέλων τρίτων και ασφάλεια plugin
• Συντετριμμένα σύνολα δεδομένων εκπαίδευσης και δηλητηρίαση μοντέλου
• Αξιολόγηση κινδύνου προμηθευτών για στοιχεία ΤΝ
• Επιχειρήσεις ασφαλούς αποστολής μοντέλου και επαλήθευσης

Πρακτική Άσκηση: Εργαστήριο hands-on που demonstrεί επιθέσεις prompt injection σε εύθραυστες εφαρμογές LLM και υλοποίηση μέτρων άμυνας

Μάθημα 3: OWASP Top 10 για LLM - Μέρος 2 (2 ώρες)

Θέματα που καλύπτονται:

LLM04: Δηλητηρίαση Δεδομένων και Μοντέλου

• Τεχνικές χειραγώγησης δεδομένων εκπαίδευσης
• Τροποποίηση συμπεριφοράς μοντέλου μέσω δηλητερωμένων εισόδων
• Επιθέσεις backdoor και επαλήθευση ακεραιότητας δεδομένων
• Πρόληψη: Πινακοειδείς επαλήθευσης δεδομένων, ανίχνευση προέλευσης

LLM05: Μη Ορθή Διαχείριση Εξόδων

• Ασφαλής επεξεργασία περιεχομένου που δημιουργείται από LLM
• Έγχυση κώδικα μέσω εξόδων AI
• Cross-site scripting μέσω απαντήσεων AI
• Πλαίσια επαλήθευσης και καθαρισμού εξόδου

Πρακτική Άσκηση: Προσομοίωση επιθέσεων δηλητηρίασης δεδομένων και υλοποίηση ισχυρών μηχανισμών επαλήθευσης εξόδου

Μάθημα 4: Προηγμένες Απειλές LLM (1.5 ώρες)

Θέματα που καλύπτονται:

LLM06: Υπερβολική Πρακτορική Ικανότητα (Excessive Agency)

• Κίνδυνοι αυτονομίας στη λήψη αποφάσεων και παραβιάσεις ορίων
• Διαχείριση εξουσίας και δικαιωμάτων πρακτόρων
• Μη προγραμματισμένες αλληλεπιδράσεις συστημάτων και escalation προνομίων
• Υλοποίηση φραγμών ασφαλείας (guardrails) και ελέγχων ανθρώπινης εποπτείας

LLM07: Διαρροή System Prompt

• Ευπάθειες έκθεσης εντολών συστήματος
• Διαρροή διαπιστευτηρίων και λογικής μέσω prompts
• Τεχνικές επίθεσης για εξαγωγή system prompts
• Προστασία εντολών συστήματος και εξωτερική ρύθμιση

Πρακτική Άσκηση: Σχεδιασμός ασφαλών αρχιτεκτονικών πρακτόρων με κατάλληλους ελέγχους πρόσβασης και παρακολούθησης

Ημέρα 2: Προηγμένες Απειλές και Υλοποίηση

Μάθημα 5: Αναδυόμενες Απειλές ΤΝ (2 ώρες)

Στόχοι Μάθησης:

• Κατανόηση των πιο προηγμένων απειλών ασφαλείας ΤΝ
• Υλοποίηση τεχνικών προηγμένης ανίχνευσης και πρόληψης
• Σχεδιασμός ανθεκτικών συστημάτων ΤΝ contre sophisticated επιθέσεις

Θέματα που καλύπτονται:

LLM08: Αδυναμίες Vector και Embedding

• Ευπάθειες συστημάτων RAG και ασφάλεια vector databases
• Δηλητηρίαση embedding και επιθέσεις χειραγώγησης ομοιότητας
• Αντιμετωπιστικά παραδείγματα (adversarial examples) σε αναζήτηση σημασιολογίας
• Προστασία vector stores και υλοποίηση ανίχνευσης ανωμαλιών

LLM09: Παραπληροφόρηση και Αξιοπιστία Μοντέλου

• Ανίχνευση και μετριασμός παραισθήσεων (hallucination)
• Ενίσχυση προκατάληψης και σκέψεις δικαιοσύνης
• Μηχανισμοί επαλήθευσης γεγονότων και πηγών
• Επαλήθευση περιεχομένου και ενσωμάτωση ανθρώπινης εποπτείας

LLM10: Απεριόριστη Κατανάλωση

• Εξάντληση πόρων και επιθέσεις άρνησης υπηρεσίας (DoS)
• Στρατηγικές οριοθέτησης ροής (rate limiting) και διαχείρισης πόρων
• Βελτιστοποίηση κόστους και έλεγχοι προϋπολογισμού
• Παρακολούθηση απόδοσης και συστήματα ειδοποιήσεων

Πρακτική Άσκηση: Κατασκευή ασφαλούς αγωγού RAG με προστασία vector database και ανίχνευση παραισθήσεων

Μάθημα 6: Ασφάλεια Agentic AI (2 ώρες)

Στόχοι Μάθησης:

• Κατανόηση των μοναδικών προκλήσεων ασφαλείας των αυτονομών πρακτόρων ΤΝ
• Εφαρμογή της ταξινόμησης απειλών OWASP Agentic AI σε συστήματα πραγματικού κόσμου
• Υλοποίηση μέτρων ασφαλείας για περιβάλλοντα πολλαπλών πρακτόρων

Θέματα που καλύπτονται:

• Εισαγωγή στην Agentic AI και τα αυτονομά συστήματα
• Ταξινόμηση Απειλών OWASP Agentic AI: Σχεδιασμός Πράκτορα, Μνήμη, Σχεδιασμός, Χρήση Εργαλείων, Υλοποίηση
• Ασφάλεια και κίνδυνοι συντονισμού συστημάτων πολλαπλών πρακτόρων
• Επιθέσεις κακοχρησίας εργαλείων, δηλητηρίαση μνήμης και καταλήψης στόχου (goal hijacking)
• Προστασία επικοινωνίας πρακτόρων και διαδικασιών λήψης αποφάσεων

Πρακτική Άσκηση: Άσκηση μοντελοποίησης απειλών χρησιμοποιώντας την ταξινόμηση OWASP Agentic AI σε ένα σύστημα εξυπηρέτησης πελατών πολλαπλών πρακτόρων

Μάθημα 7: Υλοποίηση OWASP Threat Defense COMPASS (2 ώρες)

Στόχοι Μάθησης:

• Εξοικείωση με την πρακτική εφαρμογή του Threat Defense COMPASS
• Ενσωμάτωση αξιολόγησης απειλών ΤΝ στις προγράμματα ασφαλείας οργανισμών
• Ανάπτυξη ολοκληρωμένων στρατηγικών διαχείρισης κινδύνου ΤΝ

Θέματα που καλύπτονται:

• Bαθιά μελέτη της μεθοδολογίας Threat Defense COMPASS
• Ενσωμάτωση κύκλου OODA: Παρατήρηση, Προσανατολισμός, Απόφαση, Δράση
• Αντιστοίχιση απειλών στα πλαίσια MITRE ATT&CK και ATLAS
• Κατασκευή Dashboards Στρατηγικής Ανθεκτικότητας σε Απειλές ΤΝ
• Ενσωμάτωση με υπάρχοντα εργαλεία και διαδικασίες ασφαλείας

Πρακτική Άσκηση: Ολοκληρωμένη αξιολόγηση απειλών χρησιμοποιώντας το COMPASS για σενάριο υλοποίησης Microsoft Copilot

Μάθημα 8: Πρακτική Υλοποίηση και Βέλτιστες Πρακτικές (2.5 ώρες)

Στόχοι Μάθησης:

• Σχεδιασμός ασφαλών αρχιτεκτονικών ΤΝ από τη βάση
• Υλοποίηση παρακολούθησης και ανταπόκρισης σε περιστατικά για συστήματα ΤΝ
• Δημιουργία πλαισίων διακυβέρνησης για την ασφάλεια ΤΝ

Θέματα που καλύπτονται:

Ασφαλής Κύκλος Ζωής Ανάπτυξης ΤΝ:

• Αρχές "security-by-design" για εφαρμογές ΤΝ
• Πρακτικές αναθεώρησης κώδικα για ολοκληρώσεις LLM
• Μεθοδολογίες δοκιμών και σάρωσης ευπαθειών
• Ασφάλεια υλοποίησης και ενίσχυση παραγωγικού περιβάλλοντος

Παρακολούθηση και Ανίχνευση:

• Απαιτήσεις εγγραφής (logging) και παρακολούθησης συγκεκριμένες για ΤΝ
• Ανίχνευση ανωμαλιών για συστήματα ΤΝ
• Διαδικασίες ανταπόκρισης σε περιστατικά ασφαλείας ΤΝ
• Τεχνικές forensics και έρευνας

Διακυβέρνηση και Συμμόρφωση:

• Πλαίσια και πολιτικές διαχείρισης κινδύνου ΤΝ
• Σκέψεις συμμόρφωσης με κανονισμούς (GDPR, AI Act, κ.λπ.)
• Αξιολόγηση κινδύνου τρίτων προμηθευτών ΤΝ
• Εκπαίδευση ενημέρωσης ασφαλείας για ομάδες ανάπτυξης ΤΝ

Πρακτική Άσκηση: Σχεδιασμός μιας ολοκληρωμένης αρχιτεκτονικής ασφαλείας για ένα επιχειρηματικό chatbot ΤΝ, περιλαμβανομένων παρακολούθησης, διακυβέρνησης και διαδικασιών ανταπόκρισης σε περιστατικά

Μάθημα 9: Εργαλεία και Τεχνολογίες (1 ώρα)

Στόχοι Μάθησης:

• Αξιολόγηση και υλοποίηση εργαλείων ασφαλείας ΤΝ
• Κατανόηση του τοπίου των λύσεων ασφαλείας ΤΝ σήμερα
• Κατασκευή πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης

Θέματα που καλύπτονται:

• Οικοσύστημα και τοπίο προμηθευτών εργαλείων ασφαλείας ΤΝ
• Ανοικτού κώδικα εργαλεία ασφαλείας: Garak, PyRIT, Giskard
• Εμπορικές λύσεις για ασφάλεια και παρακολούθηση ΤΝ
• Πρότυπα ενσωμάτωσης και στρατηγικές υλοποίησης
• Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης

Πρακτική Άσκηση: Hands-on demonstration εργαλείων δοκιμών ασφαλείας ΤΝ και σχεδιασμός υλοποίησης

Μάθημα 10: Μελλοντικές Τάσεις και Σύνοψη (1 ώρα)

Στόχοι Μάθησης:

• Κατανόηση των αναδυόμενων απειλών και μελλοντικών προκλήσεων ασφαλείας
• Ανάπτυξη στρατηγικών συνεχιζόμενης μάθησης και βελτίωσης
• Δημιουργία σχεδίων δράσης για τα προγράμματα ασφαλείας ΤΝ των οργανισμών

Θέματα που καλύπτονται:

• Αναδυόμενες απειλές: Deepfakes, προηγμένη έγχυση ενόρματος, αντιστροφή μοντέλου
• Μελλοντικές εξελίξεις και χάρτης πορείας του έργου OWASP GenAI
• Κατασκευή κοινοτήτων ασφαλείας ΤΝ και διαμοιρασμός γνώσεων
• Συνεχής βελτίωση και ενσωμάτωση intelligence απειλών

Άσκηση Σχεδιασμού Δράσης: Ανάπτυξη ενός πλάνου δράσης 90 ημερών για την υλοποίηση πρακτικών ασφαλείας OWASP GenAI στους οργανισμούς των συμμετεχόντων