Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Ημέρα 1: Βασικές Αρχές και Κύριες Απειλές

Ενότητα 1: Εισαγωγή στο OWASP GenAI Security Project (1 ώρα)

Μαθησιακοί Στόχοι:

  • Κατανόηση της εξέλιξης από το OWASP Top 10 στις προκλήσεις ασφαλείας ειδικές για το GenAI
  • Εξερεύνηση του οικοσυστήματος και των πόρων του OWASP GenAI Security Project
  • Αναγνώριση βασικών διαφορών μεταξύ παραδοσιακής ασφάλειας εφαρμογών και ασφάλειας AI

Καλυπτόμενα Θέματα:

  • Επισκόπηση της αποστολής και του πεδίου του OWASP GenAI Security Project
  • Εισαγωγή στο πλαίσιο Threat Defense COMPASS
  • Κατανόηση του τοπίου ασφαλείας AI και των κανονιστικών απαιτήσεων
  • Επιφάνειες επίθεσης AI έναντι παραδοσιακών ευπαθειών διαδικτυακών εφαρμογών

Πρακτική Άσκηση: Ρύθμιση του εργαλείου OWASP Threat Defense COMPASS και εκτέλεση αρχικής αξιολόγησης απειλών

Ενότητα 2: OWASP Top 10 για LLM - Μέρος 1 (2,5 ώρες)

Μαθησιακοί Στόχοι:

  • Κατάκτηση των πρώτων πέντε κρίσιμων ευπαθειών LLM
  • Κατανόηση διανυσμάτων επίθεσης και τεχνικών εκμετάλλευσης
  • Εφαρμογή πρακτικών στρατηγικών μετριασμού

Καλυπτόμενα Θέματα:

LLM01: Prompt Injection

  • Τεχνικές άμεσης και έμμεσης εισχώρησης σε εντολές
  • Επιθέσεις με κρυφές οδηγίες και διασταυρούμενη μόλυνση εντολών
  • Πρακτικά παραδείγματα: Jailbreaking chatbots και παράκαμψη μέτρων ασφαλείας
  • Στρατηγικές άμυνας: Απολύμανση εισόδου, φιλτράρισμα εντολών, διαφορική ιδιωτικότητα

LLM02: Αποκάλυψη Ευαίσθητων Πληροφοριών

  • Εξαγωγή δεδομένων εκπαίδευσης και διαρροή εντολών συστήματος
  • Ανάλυση συμπεριφοράς μοντέλου για έκθεση ευαίσθητων πληροφοριών
  • Επιπτώσεις στην ιδιωτικότητα και εκτιμήσεις κανονιστικής συμμόρφωσης
  • Μετριασμός: Φιλτράρισμα εξόδου, έλεγχοι πρόσβασης, ανωνυμοποίηση δεδομένων

LLM03: Ευπάθειες Εφοδιαστικής Αλυσίδας

  • Εξαρτήσεις μοντέλων τρίτων και ασφάλεια προσθέτων
  • Παραβιασμένα σύνολα δεδομένων εκπαίδευσης και δηλητηρίαση μοντέλων
  • Αξιολόγηση κινδύνου προμηθευτή για συνιστώσες AI
  • Πρακτικές ασφαλούς ανάπτυξης και επαλήθευσης μοντέλων

Πρακτική Άσκηση: Εργαστηριακή άσκηση που επιδεικνύει επιθέσεις prompt injection σε ευάλωτες εφαρμογές LLM και εφαρμογή αμυντικών μέτρων

Ενότητα 3: OWASP Top 10 για LLM - Μέρος 2 (2 ώρες)

Καλυπτόμενα Θέματα:

LLM04: Δηλητηρίαση Δεδομένων και Μοντέλων

  • Τεχνικές χειραγώγησης δεδομένων εκπαίδευσης
  • Τροποποίηση συμπεριφοράς μοντέλου μέσω δηλητηριασμένων εισόδων
  • Επιθέσεις backdoor και επαλήθευση ακεραιότητας δεδομένων
  • Πρόληψη: Διαδικασίες επικύρωσης δεδομένων, ανίχνευση προέλευσης

LLM05: Ακατάλληλος Χειρισμός Εξόδου

  • Μη ασφαλής επεξεργασία περιεχομένου που παράγεται από LLM
  • Εισχώρηση κώδικα μέσω εξόδων παραγόμενων από AI
  • Cross-site scripting μέσω αποκρίσεων AI
  • Πλαίσια επικύρωσης και απολύμανσης εξόδου

Πρακτική Άσκηση: Προσομοίωση επιθέσεων δηλητηρίασης δεδομένων και εφαρμογή ισχυρών μηχανισμών επικύρωσης εξόδου

Ενότητα 4: Προηγμένες Απειλές LLM (1,5 ώρα)

Καλυπτόμενα Θέματα:

LLM06: Υπερβολική Αυτονομία

  • Κίνδυνοι αυτόνομης λήψης αποφάσεων και παραβιάσεις ορίων
  • Διαχείριση εξουσιοδότησης και αδειών πρακτόρων
  • Μη αναμενόμενες αλληλεπιδράσεις συστήματος και κλιμάκωση προνομίων
  • Εφαρμογή προστατευτικών κιγκλιδωμάτων και ελέγχων ανθρώπινης επίβλεψης

LLM07: Διαρροή Εντολών Συστήματος

  • Ευπάθειες έκθεσης οδηγιών συστήματος
  • Αποκάλυψη διαπιστευτηρίων και λογικής μέσω εντολών
  • Τεχνικές επίθεσης για εξαγωγή εντολών συστήματος
  • Ασφάλιση οδηγιών συστήματος και εξωτερικής διαμόρφωσης

Πρακτική Άσκηση: Σχεδιασμός αρχιτεκτονικών ασφαλών πρακτόρων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση

Ημέρα 2: Προηγμένες Απειλές και Υλοποίηση

Ενότητα 5: Αναδυόμενες Απειλές AI (2 ώρες)

Μαθησιακοί Στόχοι:

  • Κατανόηση απειλών ασφαλείας AI αιχμής
  • Εφαρμογή προηγμένων τεχνικών ανίχνευσης και πρόληψης
  • Σχεδιασμός ανθεκτικών συστημάτων AI έναντι εξελιγμένων επιθέσεων

Καλυπτόμενα Θέματα:

LLM08: Αδυναμίες σε Διανύσματα και Ενσωματώσεις

  • Ευπάθειες συστημάτων RAG και ασφάλεια διανυσματικών βάσεων δεδομένων
  • Δηλητηρίαση ενσωματώσεων και επιθέσεις χειραγώγησης ομοιότητας
  • Ανταγωνιστικά παραδείγματα στη σημασιολογική αναζήτηση
  • Ασφάλιση διανυσματικών αποθηκών και εφαρμογή ανίχνευσης ανωμαλιών

LLM09: Παραπληροφόρηση και Αξιοπιστία Μοντέλου

  • Ανίχνευση και μετριασμός παραισθήσεων
  • Ενίσχυση προκαταλήψεων και εκτιμήσεις δικαιοσύνης
  • Μηχανισμοί ελέγχου γεγονότων και επαλήθευσης πηγών
  • Επικύρωση περιεχομένου και ενσωμάτωση ανθρώπινης επίβλεψης

LLM10: Απεριόριστη Κατανάλωση

  • Εξάντληση πόρων και επιθέσεις denial-of-service
  • Περιορισμός ρυθμού και στρατηγικές διαχείρισης πόρων
  • Βελτιστοποίηση κόστους και έλεγχοι προϋπολογισμού
  • Παρακολούθηση απόδοσης και συστήματα ειδοποίησης

Πρακτική Άσκηση: Κατασκευή ασφαλούς διασωλήνωσης RAG με προστασία διανυσματικής βάσης και ανίχνευση παραισθήσεων

Ενότητα 6: Ασφάλεια Agentic AI (2 ώρες)

Μαθησιακοί Στόχοι:

  • Κατανόηση των μοναδικών προκλήσεων ασφαλείας των αυτόνομων πρακτόρων AI
  • Εφαρμογή της ταξινομίας OWASP Agentic AI σε πραγματικά συστήματα
  • Υλοποίηση ελέγχων ασφαλείας για περιβάλλοντα πολλαπλών πρακτόρων

Καλυπτόμενα Θέματα:

  • Εισαγωγή στο Agentic AI και τα αυτόνομα συστήματα
  • Ταξινομία Απειλών OWASP Agentic AI: Σχεδίαση Πράκτορα, Μνήμη, Σχεδιασμός, Χρήση Εργαλείων, Ανάπτυξη
  • Ασφάλεια συστημάτων πολλαπλών πρακτόρων και κίνδυνοι συντονισμού
  • Κακή χρήση εργαλείων, δηλητηρίαση μνήμης και επιθέσεις κατάληψης στόχων
  • Ασφάλιση επικοινωνίας πρακτόρων και διαδικασιών λήψης αποφάσεων

Πρακτική Άσκηση: Άσκηση μοντελοποίησης απειλών με χρήση της ταξινομίας OWASP Agentic AI σε ένα σύστημα εξυπηρέτησης πελατών πολλαπλών πρακτόρων

Ενότητα 7: Υλοποίηση OWASP Threat Defense COMPASS (2 ώρες)

Μαθησιακοί Στόχοι:

  • Κατάκτηση της πρακτικής εφαρμογής του Threat Defense COMPASS
  • Ενσωμάτωση της αξιολόγησης απειλών AI σε οργανωσιακά προγράμματα ασφαλείας
  • Ανάπτυξη ολοκληρωμένων στρατηγικών διαχείρισης κινδύνου AI

Καλυπτόμενα Θέματα:

  • Εμβάθυνση στη μεθοδολογία Threat Defense COMPASS
  • Ενσωμάτωση του κύκλου OODA: Παρατηρώ, Προσανατολίζομαι, Αποφασίζω, Ενεργώ
  • Χαρτογράφηση απειλών στα πλαίσια MITRE ATT&CK και ATLAS
  • Δημιουργία πινάκων στρατηγικής ανθεκτικότητας απειλών AI
  • Ενσωμάτωση με υφιστάμενα εργαλεία και διαδικασίες ασφαλείας

Πρακτική Άσκηση: Πλήρης αξιολόγηση απειλών με χρήση COMPASS για ένα σενάριο ανάπτυξης Microsoft Copilot

Ενότητα 8: Πρακτική Υλοποίηση και Βέλτιστες Πρακτικές (2,5 ώρες)

Μαθησιακοί Στόχοι:

  • Σχεδιασμός ασφαλών αρχιτεκτονικών AI από την αρχή
  • Υλοποίηση παρακολούθησης και απόκρισης σε περιστατικά για συστήματα AI
  • Δημιουργία πλαισίων διακυβέρνησης για την ασφάλεια AI

Καλυπτόμενα Θέματα:

Κύκλος Ζωής Ασφαλούς Ανάπτυξης AI:

  • Αρχές ασφάλειας από το σχεδιασμό για εφαρμογές AI
  • Πρακτικές ανασκόπησης κώδικα για ενσωματώσεις LLM
  • Μεθοδολογίες δοκιμών και σάρωση ευπαθειών
  • Ασφάλεια ανάπτυξης και ενίσχυση παραγωγής

Παρακολούθηση και Ανίχνευση:

  • Απαιτήσεις καταγραφής και παρακολούθησης ειδικές για AI
  • Ανίχνευση ανωμαλιών για συστήματα AI
  • Διαδικασίες απόκρισης σε περιστατικά για συμβάντα ασφαλείας AI
  • Τεχνικές εγκληματολογικής ανάλυσης και έρευνας

Διακυβέρνηση και Συμμόρφωση:

  • Πλαίσια διαχείρισης κινδύνου AI και πολιτικές
  • Εκτιμήσεις κανονιστικής συμμόρφωσης (GDPR, AI Act, κ.λπ.)
  • Αξιολόγηση κινδύνου τρίτων για προμηθευτές AI
  • Εκπαίδευση ευαισθητοποίησης ασφαλείας για ομάδες ανάπτυξης AI

Πρακτική Άσκηση: Σχεδιασμός πλήρους αρχιτεκτονικής ασφαλείας για ένα επιχειρηματικό chatbot AI συμπεριλαμβανομένων διαδικασιών παρακολούθησης, διακυβέρνησης και απόκρισης σε περιστατικά

Ενότητα 9: Εργαλεία και Τεχνολογίες (1 ώρα)

Μαθησιακοί Στόχοι:

  • Αξιολόγηση και υλοποίηση εργαλείων ασφαλείας AI
  • Κατανόηση του τρέχοντος τοπίου λύσεων ασφαλείας AI
  • Δημιουργία πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης

Καλυπτόμενα Θέματα:

  • Οικοσύστημα εργαλείων ασφαλείας AI και τοπίο προμηθευτών
  • Εργαλεία ασφαλείας ανοικτού κώδικα: Garak, PyRIT, Giskard
  • Εμπορικές λύσεις για ασφάλεια και παρακολούθηση AI
  • Πρότυπα ενσωμάτωσης και στρατηγικές ανάπτυξης
  • Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης

Πρακτική Άσκηση: Πρακτική επίδειξη εργαλείων δοκιμών ασφαλείας AI και σχεδιασμός υλοποίησης

Ενότητα 10: Μελλοντικές Τάσεις και Κλείσιμο (1 ώρα)

Μαθησιακοί Στόχοι:

  • Κατανόηση αναδυόμενων απειλών και μελλοντικών προκλήσεων ασφαλείας
  • Ανάπτυξη στρατηγικών συνεχούς μάθησης και βελτίωσης
  • Δημιουργία σχεδίων δράσης για οργανωσιακά προγράμματα ασφαλείας AI

Καλυπτόμενα Θέματα:

  • Αναδυόμενες απειλές: Deepfakes, προηγμένες prompt injection, αντιστροφή μοντέλων
  • Μελλοντικές εξελίξεις και οδικός χάρτης του OWASP GenAI project
  • Δημιουργία κοινοτήτων ασφαλείας AI και ανταλλαγή γνώσεων
  • Συνεχής βελτίωση και ενσωμάτωση πληροφοριών απειλών

Άσκηση Σχεδιασμού Δράσης: Ανάπτυξη σχεδίου δράσης 90 ημερών για την εφαρμογή πρακτικών ασφαλείας OWASP GenAI στους οργανισμούς των συμμετεχόντων

Απαιτήσεις

  • Γενική κατανόηση των αρχών ασφαλείας διαδικτυακών εφαρμογών
  • Βασική εξοικείωση με έννοιες AI/ML
  • Εμπειρία με πλαίσια ασφαλείας ή μεθοδολογίες αξιολόγησης κινδύνου επιθυμητή

Κοινό

  • Επαγγελματίες κυβερνοασφάλειας
  • Προγραμματιστές AI
  • Αρχιτέκτονες συστημάτων
  • Υπεύθυνοι συμμόρφωσης
  • Επαγγελματίες ασφαλείας
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Σχόλια (1)

Εφεξής Μαθήματα

Σχετικές Κατηγορίες