Εξέλιξη Κομματιού
Ημέρα 1: Θεμέλια και Κύριοι Κίνδυνοι
Μάθημα 1: Εισαγωγή στο Έργο Ασφάλειας GenAI της OWASP (1 ώρα)
Στόχοι Μάθησης:
- Κατανόηση της εξέλιξης από τα OWASP Top 10 στις ιδιαιτερωμένες προκλήσεις ασφαλείας GenAI
- Εξερεύνηση του οικοσυστήματος και των πόρων του Έργου Ασφάλειας GenAI της OWASP
- Εντοπισμός βασικών διαφορών μεταξύ παραδοσιακής ασφαλείας εφαρμογών και ασφαλείας Τέχνης
Θέματα που Καλύπτονται:
- Επισκόπηση της αποστολής και του πεδίου του Έργου Ασφάλειας GenAI της OWASP
- Εισαγωγή στο πλαίσιο Threat Defense COMPASS
- Κατανόηση του τοπίου ασφαλείας Τέχνης και των κανονιστικών απαιτήσεων
- Επίπεδα επίθεσης Τέχνης εναντίον ευπαθειών παραδοσιακών εφαρμογών δικτύου
Πρακτική Άσκηση: Ρύθμιση του εργαλείου OWASP Threat Defense COMPASS και εκτέλεση αρχικής αξιολόγησης κινδύνων
Μάθημα 2: OWASP Top 10 για LLMs - Μέρος 1 (2,5 ώρες)
Στόχοι Μάθησης:
- Κατανόηση των πρώτων πέντε κρίσιμων ευπαθειών LLM
- Κατανόηση των векторов επίθεσης και των τεχνικών εκμετάλλευσης
- Εφαρμογή πρακτικών στρατηγικών μετριασμού
Θέματα που Καλύπτονται:
LLM01: Ένσωματωση Εντολής (Prompt Injection)
- Τεχνικές άμεσας και έμμεσης ένσωματωσης εντολής
- Επιθέσεις κρυφών εντολών και διασταυρωμένη μολυσματικότητα εντολών
- Πρακτικά παραδείγματα: Jailbreaking chatbots και παρακάμψη μέτρων ασφαλείας
- Στρατηγικές άμυνας: Καθαρισμός εισόδου, φίλτρα εντολών, διαφορική ιδιωτικότητα
LLM02: Εκτεθειμένες Ευαίσθητες Πληροφορίες
- Εξαγωγή δεδομένων εκπαίδευσης και διαρροή συστημικών εντολών
- Ανάλυση συμπεριφοράς μοντέλου για την έκθεση ευαίσθητων πληροφοριών
- Συνέπειες ιδιωτικότητας και ζητήματα κανονιστικής συμμόρφωσης
- Μετριασμός: Φιλτράρισμα εξόδου, έλεγχοι πρόσβασης, ανώνυμοποίηση δεδομένων
LLM03: Ευπάθειες Λάντσης Εφοδιασμού
- Εξαρτήσεις μοντέλων τρίτων και ασφάλεια προσθηκών
- Μολυσμένα δεδομένα εκπαίδευσης και δηλητηρίαση μοντέλων
- Αξιολόγηση κινδύνου προμηθευτή για συστατικά Τέχνης
- Ασφαλής υλοποίηση και πρακτικές επαλήθευσης μοντέλων
Πρακτική Άσκηση: Πρακτικό εργαστήριο που επιδεικνύει επιθέσεις ένσωματωσης εντολών εναντίον ευάλωτων εφαρμογών LLM και υλοποίηση μέτρων άμυνας
Μάθημα 3: OWASP Top 10 για LLMs - Μέρος 2 (2 ώρες)
Θέματα που Καλύπτονται:
LLM04: Δεδομένα και Δηλητηρίαση Μοντέλων
- Τεχνικές χειραγωγίας δεδομένων εκπαίδευσης
- Τροποποίηση συμπεριφοράς μοντέλων μέσω δηλητηριασμένων εισόδων
- Επιθέσεις backdoor και επαλήθευση ακεραιότητας δεδομένων
- Προφύλαξη: Γραμμές επαλήθευσης δεδομένων, ιχνηλάτηση προέλευσης
LLM05: Μη Κατάλληλη Διαχείριση Εξόδου
- Μη ασφαλής επεξεργασίας περιεχομένου που δημιουργείται από LLM
- Ένσωματωση κώδικα μέσω εξόδου που δημιουργείται από Τέχνη
- Συνεπίπεδη γραφή (Cross-site scripting) μέσω απαντήσεων Τέχνης
- Πλαίσια επαλήθευσης και καθαρισμού εξόδου
Πρακτική Άσκηση: Προσομοίωση επιθέσεων δηλητηρίασης δεδομένων και υλοποίηση αποδοτικών μηχανισμών επαλήθευσης εξόδου
Μάθημα 4: Προηγμένοι Κίνδυνοι LLM (1,5 ώρες)
Θέματα που Καλύπτονται:
LLM06: Υπερβολική Επιστασία (Excessive Agency)
- Κίνδυνοι αυτόνομης λήψης αποφάσεων και παραβιάσεις ορίων
- Δικαίωμα πράξης και διαχείριση δικαιωμάτων πρακτορείων
- Μη επιθυμητές αλληλεπιδράσεις συστήματος και αναβάθμιση προνομίων
- Υλοποίηση προστατευτικών ράγδων (guardrails) και ελέγχων ανθρώπινης επίβλεψης
LLM07: Διαρροή Συστημικών Εντολών
- Ευπάθειες έκθεσης συστημικών οδηγιών
- Διαρροή διαπιστευτηρίων και λογικής μέσω εντολών
- Τεχνικές επίθεσης για την εξαγωγή συστημικών εντολών
- Προστασία συστημικών οδηγιών και εξωτερικής ρύθμισης
Πρακτική Άσκηση: Σχεδιασμός ασφαλών αρχιτεκτονικών πρακτορείων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση
Ημέρα 2: Προηγμένοι Κίνδυνοι και Υλοποίηση
Μάθημα 5: Επιβαίνουσες Απειλές Τέχνης (2 ώρες)
Στόχοι Μάθησης:
- Κατανόηση κινδύνων ασφαλείας Τέχνης προηγμένου επιπέδου
- Υλοποίηση προηγμένων τεχνικών ανίχνευσης και πρόληψης
- Σχεδιασμός ανθεκτικών συστημάτων Τέχνης εναντίον πολύπλοκων επιθέσεων
Θέματα που Καλύπτονται:
LLM08: Ασθένειες Βημάτων και Ενσωματώσεων
- Ευπάθειες συστημάτων RAG και ασφάλεια βάσεων δεδομένων βημάτων
- Δηλητηρίαση ενσωματώσεων και επιθέσεις χειραγωγίας ομοιότητας
- Αντίπαλα παραδείγματα σε σημασιολογική αναζήτηση
- Προστασία αποθεμάτων βημάτων και υλοποίηση ανίχνευσης ανωμαλιών
LLM09: Μισογλωσσία και Αξιοπιστία Μοντέλων
- Ανίχνευση και μετριασμός παραλογισμών (hallucinations)
- Ενίσχυση προκατάληψης και ζητήματα δικαιοσύνης
- Μηχανισμοί επαλήθευσης γεγονότων και πηγών
- Επαλήθευση περιεχομένου και ενσωμάτωση ανθρώπινης επίβλεψης
LLM10: Μη Περιορισμένη Κατανάλωση
- Εξαντλη πόρων και επιθέσεις άρνησης υπηρεσιών
- Στρατηγικοί έλεγχοι ρυθμού και διαχείριση πόρων
- Βελτιστοποίηση κόστους και έλεγχοι προϋπολογισμού
- Συστήματα παρακολούθησης απόδοσης και ειδοποιήσεων
Πρακτική Άσκηση: Κατασκευή ασφαλούς γραμμής RAG με προστασία βάσης δεδομένων βημάτων και ανίχνευση παραλογισμών
Μάθημα 6: Ασφάλεια Αυτόνομης Τέχνης (Agentic AI) (2 ώρες)
Στόχοι Μάθησης:
- Κατανόηση των μοναδικών προκλήσεων ασφαλείας των αυτόνομων πρακτορείων Τέχνης
- Εφαρμογή της ταξινόμησης OWASP Agentic AI σε συστήματα πραγματικού κόσμου
- Υλοποίηση ελέγχων ασφαλείας σε περιβάλλοντα πολλαπλών πρακτορείων
Θέματα που Καλύπτονται:
- Εισαγωγή στην Agentic AI και τα αυτόνομα συστήματα
- Ταξινόμηση Απειλών OWASP Agentic AI: Σχεδιασμός Πρακτορείου, Μνήμη, Σχέδια Χρήσης Εργαλείων, Υλοποίηση
- Ασφάλεια συστημάτων πολλαπλών πρακτορείων και κίνδυνοι συντονισμού
- Μη κατάλληλη χρήση εργαλείων, δηλητηρίαση μνήμης και επιθέσεις παράνοιας στόχων
- Προστασία επικοινωνίας και διαδικασιών λήψης αποφάσεων πρακτορείων
Πρακτική Άσκηση: Άσκηση μοντελοποίησης κινδύνων χρησιμοποιώντας τη ταξινόμηση OWASP Agentic AI σε σύστημα εξυπηρέτησης πελατών πολλαπλών πρακτορείων
Μάθημα 7: Υλοποίηση OWASP Threat Defense COMPASS (2 ώρες)
Στόχοι Μάθησης:
- Εκμάθηση της πρακτικής εφαρμογής της Threat Defense COMPASS
- Ενσωμάτωση αξιολόγησης κινδύνων Τέχνης σε οργανωτικά προγράμματα ασφαλείας
- Ανάπτυξη ολοκληρωμένων στρατηγικών διαχείρισης κινδύνων Τέχνης
Θέματα που Καλύπτονται:
- Εμβάθυνση στη μεθοδολογία Threat Defense COMPASS
- Ενσωμάτωση Ουδός (OODA Loop): Παρατήρηση, Προσανατολισμός, Απόφαση, Δράση
- Αντιστοίχιση απειλών στα πλαίσια MITRE ATT&CK και ATLAS
- Δημιουργία ταμπλό αντοχής απειλών Τέχνης
- Ενσωμάτωση με υπάρχουσες εργαλεία και διαδικασίες ασφαλείας
Πρακτική Άσκηση: Ολοκληρωμένη αξιολόγηση κινδύνων χρησιμοποιώντας COMPASS για ένα σενάριο υλοποίησης Microsoft Copilot
Μάθημα 8: Πρακτική Υλοποίηση και Καλές Πρακτικές (2,5 ώρες)
Στόχοι Μάθησης:
- Σχεδιασμός ασφαλών αρχιτεκτονικών Τέχνης από την αρχή
- Υλοποίηση παρακολούθησης και διαχείρισης περιστατικών για συστήματα Τέχνης
- Δημιουργία πλαισίων διαχείρισης για την ασφάλεια της Τέχνης
Θέματα που Καλύπτονται:
Ασφαλής Κύκλος Ζωής Ανάπτυξης Τέχνης:
- Αρχές ασφαλείας από τον σχεδιασμό για εφαρμογές Τέχνης
- Πρακτικές κώδικα αναφοράς για ενσωματώσεις LLM
- Μεθοδολογίες δοκιμών και σαρώσεις ευπαθειών
- Ασφάλεια υλοποίησης και ενίσχυση παραγωγής
Παρακολούθηση και Ανίχνευση:
- Απαιτήσεις ημερολογίου και παρακολούθησης ειδικής Τέχνης
- Ανίχνευση ανωμαλιών για συστήματα Τέχνης
- Διαδικασίες διαχείρισης περιστατικών για συμβάντα ασφαλείας Τέχνης
- Τεχνικές φωρενσικής και έρευνας
Διαχείριση και Συμμόρφωση:
- Πλαίσια και πολιτικές διαχείρισης κινδύνων Τέχνης
- Ζητήματα κανονιστικής συμμόρφωσης (GDPR, AI Act, κ.λπ.)
- Αξιολόγηση κινδύνου τρίτων για προμηθευτές Τέχνης
- Εκπαίδευση επίγνωσης ασφαλείας για ομάδες ανάπτυξης Τέχνης
Πρακτική Άσκηση: Σχεδιασμός πλήρους αρχιτεκτονικής ασφαλείας για ένα enterprise chatbot Τέχνης, συμπεριλαμβανομένων της παρακολούθησης, της διαχείρισης και των διαδικασιών διαχείρισης περιστατικών
Μάθημα 9: Εργαλεία και Τεχνολογίες (1 ώρα)
Στόχοι Μάθησης:
- Αξιολόγηση και υλοποίηση εργαλείων ασφαλείας Τέχνης
- Κατανόηση του τρέχοντος τοπίου λύσεων ασφαλείας Τέχνης
- Ανάπτυξη πρακτικών ικανοτήτων ανίχνευσης και πρόληψης
Θέματα που Καλύπτονται:
- Οικοσύστημα εργαλείων ασφαλείας Τέχνης και τοπίο προμηθευτών
- Εργαλεία ασφαλείας ανοιχτού κώδικα: Garak, PyRIT, Giskard
- Εμπορικές λύσεις για την ασφάλεια και την παρακολούθηση της Τέχνης
- Προτύπα ενσωμάτωσης και στρατηγικές υλοποίησης
- Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης
Πρακτική Άσκηση: Πρακτική επιδείκτυξη εργαλείων δοκιμών ασφαλείας Τέχνης και σχεδίαση υλοποίησης
Μάθημα 10: Τέρεντ και Κλείσιμο (1 ώρα)
Στόχοι Μάθησης:
- Κατανόηση επιβαίνουσων απειλών και μελλοντικών προκλήσεων ασφαλείας
- Ανάπτυξη στρατηγικής συνεχούς μάθησης και βελτίωσης
- Δημιουργία σχεδίων δράσης για οργανωτικά προγράμματα ασφαλείας Τέχνης
Θέματα που Καλύπτονται:
- Επιβαίνουσες απειλές: Deepfakes, προηγμένη ένσωματωση εντολών, αντιστροφή μοντέλου
- Μελλοντικές εξελίξεις και χάρτης πορείας του έργου GenAI της OWASP
- Δημιουργία κοινοτήτων ασφαλείας Τέχνης και ανταλλαγής γνώσεων
- Συνεχής βελτίωση και ενσωμάτωση αναλύσεων απειλών
Άσκηση Σχεδιασμού Δράσης: Ανάπτυξη σχεδίου δράσης 90 ημερών για την υλοποίηση των πρακτικών ασφαλείας OWASP GenAI στους οργανισμούς των συμμετεχόντων
Απαιτήσεις
- Γενική κατανόηση των αρχών ασφαλείας εφαρμογών διαδικτύου
- Βασική γνώση των مفισμών AI/ML
- Εμπειρία με πλαισίων ασφαλείας ή μεθόδων αξιολόγησης κινδύνων προτιμάται
Αудитория
- Επαγγελματίες κυβερνητικής ασφάλειας
- Αναπτύκτες Τέχνης
- Σχεδιαστές συστημάτων
- Υπεύθυνοι συμμόρφωσης
- Εφαρμοστικοί επαγγελματίες ασφαλείας
Σχόλια (1)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση