Εξέλιξη Κομματιού
Ημέρα 1: Θεμέλια και Κεντρικές Απειλές
Μονάδα 1: Εισαγωγή στο OWASP GenAI Security Project (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση της εξέλιξης από OWASP Top 10 σε προκλήσεις ασφάλειας συγκεκριμένες για GenAI
- Εξερεύνηση του περιβάλλοντος και των πόρων του Προγράμματος OWASP GenAI Security
- Αναγνώριση σημαντικών διαφορών μεταξύ παραδοσιακής ασφάλειας εφαρμογών και AI ασφάλειας
Θέματα που Καλύπτονται:
- Γενική εξ αστροπι λίγης των στόχων και πεδίου δράσης του Προγράμματος OWASP GenAI Security
- Εισαγωγή στη μεθοδολογία Threat Defense COMPASS
- Κατανόηση του πλαισίου απειλών AI και υποχρεώσεων συμμόρφωσης
- Επιθετικά περιβάλλοντα AI vs. παραδοσιακές ευαίσθητότητες διαδικτυακών εφαρμογών
Πρακτική Άσκηση: Δημιουργία του εργαλείου OWASP Threat Defense COMPASS και πρακτική αξιολόγηση απειλών
Μονάδα 2: OWASP Top 10 για LLMs - Μέρος 1 (2.5 ώρες)
Στόχοι Μαθήματος:
- Κυρίαρχη κατανόηση των πέντε πρώτων κρίσιμων ευαισθητοτήτων LLM
- Κατανόηση διαδρομών απειλής και τεχνικών εκμετάλλευσης
- Εφαρμογή πρακτικών στρατηγικών αποτροπής
Θέματα που Καλύπτονται:
LLM01: Εισαγωγή Προκειμένου
- Τεχνικές εισαγωγής προκειμένου μετόπωρη και ανεξάρτητα
- Επιθέσεις κρυφών διαταγών και ρύπανση πολλαπλών προκειμένων
- Πρακτικά παραδείγματα: Εξαγωγή chatbots και περίπηλυση μέτρων ασφάλειας
- Στρατηγικές αμύνης: Καθαρισμός εισόδου, φίλτρο προκειμένου, διαφορική ιδιωτικότητα
LLM02: Αποκάλυψη Ευαισθητών Πληροφοριών
- Έξαρση δεδομένων εκπαίδευσης και απόρροια συστήματος προκειμένου
- Ανάλυση συμπεριφοράς μοντέλων για αποκάλυψη ευαισθητών πληροφοριών
- Επιπτώσεις ιδιωτικότητας και υποχρεώσεις συμμόρφωσης
- Ανάληψη: φίλτρο εξόδου, ελέγχους πρόσβασης, ανώνυμοι δεδομένων
LLM03: Ευαισθητότητες Αλυσίδας Παροχής
- Έξαρση εξωτερικών μοντέλων και ασφάλεια πρόσθετων
- Επίθεση εξωτερικών δεδομένων και ρύπανση μοντέλου
- Αξιολόγηση κινδύνων προμηθευτών για AI συστήματα
- Εφαρμογή ασφαλών εξάρσεων και πρακτικές επαλήθευσης
Πρακτική Άσκηση: Πρακτικό λάβ που δείχνει επιθέσεις εισαγωγής προκειμένου κατά ευάλωτων LLM εφαρμογών και υλοποίηση μέτρων αμύνης
Μονάδα 3: OWASP Top 10 για LLMs - Μέρος 2 (2 ώρες)
Θέματα που Καλύπτονται:
LLM04: Ρύπανση Δεδομένων και Μοντέλων
- Τεχνικές μεταβολής δεδομένων εκπαίδευσης
- Μεταβολή συμπεριφοράς μοντέλου μέσω κακόβουλων εισόδων
- Επιθέσεις πίσω διαδρομή και αποδοχή ρύπανσης δεδομένων
- Πρόληψη: συμβολοθετία εξέτασης δεδομένων, παρακολούθηση προέλευσης
LLM05: Εξάρτηση Επεξεργασίας
- Ανακολουθική επεξεργασία περιεχομένου γεννημένου από LLM
- Εισάγωγη κώδικα μέσω απεξεργασιών AI
- Σύνδεση cross-site scripting (XSS) μέσω απεξεργασιών AI
- Φίλτρο εξόδου και καθαρισμός πλαίσιων
Πρακτική Άσκηση: Προσομοίωση επιθέσεων ρύπανσης δεδομένων και υλοποίηση αξιόπιστων μηχανισμών εξόδου
Μονάδα 4: Προχωρημένες Ευαισθητότητες LLM (1.5 ώρες)
Θέματα που Καλύπτονται:
LLM06: Υπερβολική Εξουσία
- Κινδύνοι αυτόνομης λήψης αποφάσεων και παραβίαση συνόρων
- Διαχείριση εξουσίας και αδειών των ομάδων
- Αναπόφευκτη αλληλεπίδραση συστήματος και εξουσιοδότηση
- Εφαρμογή πάνω πύλων και μηχανισμών ανθρώπινης υποψηφιότητας
LLM07: Απορροή Δεδομένων Προκειμένου
- Ευαισθητότητες απορροής διαταγών συστήματος
- Αποκάλυψη κυριείων και λογικής μέσω προκειμένου
- Τεχνικές επίθεσης για απορροή δεδομένων συστήματος
- Ασφάλεια προκειμένου και εξωτερικών διατάξεων
Πρακτική Άσκηση: Σχεδιασμός ασφαλών παραγωγικών πλατφόρμων με κατάλληλους ελέγχους πρόσβασης και παρακολούθηση
Ημέρα 2: Προχωρημένες Ευαισθητότητες και Υλοποίηση
Μονάδα 5: Αναδυόμενες AI Ευαισθητότητες (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των προχωρημένων απειλών AI
- Εφαρμογή προχωρημένων τεχνικών ανίχνευσης και πρόληψης
- Σχεδιασμός αντοχικών AI συστημάτων απέναντι σε προχωρημένες επιθέσεις
Θέματα που Καλύπτονται:
LLM08: Αδυναμίες Vector και Embedding
- Ευαισθητότητες συστήματος RAG και ασφάλεια βάσης δεδομένων vector
- Ρύπανση embedding και επιθέσεις αλληλεπίδρασης παρόμοια
- Εχθρικά παραδείγματα σε αναζήτηση νοηματικής εξυπηρέτησης
- Ασφάλεια βάσης δεδομένων vector και εφαρμογή ανίχνευσης ανώμαλων
LLM09: Ψευδοπληροφορία και Αξιοπιστία Μοντέλου
- Ανίχνευση και αντιμετώπιση ψευδοφανείων
- Εξαγόραση επικοινωνίας και σχετικά με τη δικαιοσύνη
- Μηχανισμοί αλήθευσης και επαλήθευσης πηγών
- Εξέταση περιεχομένου και την ολοκλήρωση εφαρμογής ανθρώπινης υποψηφιότητας
LLM10: Ανεπέκταστη Κατανάλωση
- Εξαντλισμός πόρων και αποδοχή επιθέσεων διακοπής υπηρεσίας (DoS)
- Εξαρχικοποίηση πόρων και στρατηγικές διαχείρισης
- Βελτιστοποίηση κόστους και ελεγχτικά όρια ανάθεσης πόρων
- Παρακολούθηση επίδοσης και συστήματα ειδοποιήσεων
Πρακτική Άσκηση: Δημιουργία ασφαλούς διαδικασίας RAG με προστασία βάσης δεδομένων vector και ανίχνευση ψευδοφανειών
Μονάδα 6: Ασφάλεια Αυτόνομου AI (2 ώρες)
Στόχοι Μαθήματος:
- Κατανόηση των μοναδικών προκλήσεων ασφάλειας των αυτόνομων AI agents
- Εφαρμογή της τaxinomίaς OWASP Agentic AI σε πρακτικά σύστηματα
- Εφαρμογή μέτρων ασφάλειας για πολυπλοκά περιβάλλοντα agents
Θέματα που Καλύπτονται:
- Εισαγωγή σε αυτόνομα AI και εξόδους
- Τaxinomία OWASP Agentic AI: Design, Memory, Planning, Tool Use, Deployment
- Ασφάλεια πολυπλοκών συστημάτων και ρίσκα συντονισμού
- Χρήση εργαλείων, ρύπανση μνήμης και απόκτηση στόχων
- Ασφάλεια επικοινωνίας agents και διαδικασίες λήψης αποφάσεων
Πρακτική Άσκηση: Μοντελοποίηση ρισκών απειλών χρησιμοποιώντας την τaxinomία OWASP Agentic AI σε πολυπλοκό σύστημα κεντρικής υπηρεσίας πελατών
Μονάδα 7: Εφαρμογή Threat Defense COMPASS (2 ώρες)
Στόχοι Μαθήματος:
- Εξειδίκευση στην πρακτική εφαρμογή του Threat Defense COMPASS
- Ολοκλήρωση αξιολόγησης AI κινδύνων στα προγράμματα ασφάλειας των επιχειρήσεων
- Σχεδιασμός ολοκληρωμένων στρατηγικών διαχείρισης κινδύνων AI
Θέματα που Καλύπτονται:
- Άνοιγμα στη μεθοδολογία Threat Defense COMPASS
- Ενσωμάτωση OODA Loop: Observe, Orient, Decide, Act (Παρακολούθηση, Διευθύνση, Λήψη απόφασης, Ενέργη)
- Αντιστοίχιση κινδύνων με τους πλάνους MITRE ATT&CK και ATLAS
- Δημιουργία Ταχυδρομικών Πινάκων Αντοχής απειλών AI
- Ενσωμάτωση με υφιστάμενα εργαλεία και διαδικασίες ασφάλειας
Πρακτική Άσκηση: Ολοκλήρωση αξιολόγησης κινδύνων χρησιμοποιώντας το COMPASS για ένα σενάριο διακυβέρνησης Microsoft Copilot
Μονάδα 8: Πρακτική Υλοποίηση και Καλύτερες Πρακτικές (2.5 ώρες)
Στόχοι Μαθήματος:
- Σχεδιασμός ασφαλών παραγωγικών AI από την αρχή
- Εφαρμογή παρακολούθησης και διαχείρισης περιστατικών για AI συστήματα
- Δημιουργία πλαισίων διαχείρισης και αξιοπιστίας AI
Θέματα που Καλύπτονται:
Ασφάλης Ανάπτυξη AI:
- Αρχές σχεδιασμού με ασφάλεια για εφαρμογές AI
- Πρακτικές κώδικα για την ολοκλήρωση LLM
- Μεθοδολογίες εξέτασης και ανίχνευσης ρισκών
- Ασφάλεια διακυβέρνησης και σκλήρυνση παραγωγικού κόσμου
Παρακολούθηση και Ανίχνευση:
- Συγκεκριμένες απαιτήσεις AI σε διακομικές και παρακολουθητικές εφαρμογές
- Ανίχνευση ανώμαλων για AI συστήματα
- Διαδικασίες διαχείρισης περιστατικών ασφάλειας για AI επεισοδία
- Τεχνικές διαμόρφωσης και έρευνας
Διαχείριση και Σύμπλεξη:
- Πλαίσια διαχείρισης κινδύνων AI και πολιτικές
- Υποχρεώσεις συμφωνίας υποχρεώσεων (GDPR, AI Act κλπ.)
- Αξιολόγηση κινδύνων τρίτων μερών για εκμεταλλευτές AI
- Διακυβέρνηση ασφάλειας και εκπαίδευση για ομάδες ανάπτυξης AI
Πρακτική Άσκηση: Σχεδιασμός σύστηματος ασφάλειας για επιχειρηματική AI chatbot, που περιλαμβάνει παρακολούθηση, διαχείριση και διαχείριση περιστατικών
Μονάδα 9: Εργαλεία και Τεχνολογίες (1 ώρα)
Στόχοι Μαθήματος:
- Αξιολόγηση και εφαρμογή εργαλείων ασφάλειας AI
- Κατανόηση του προσκυνητικού σχήματος λύσεων ασφάλειας AI
- Δημιουργία πρακτικών δυνατοτήτων ανίχνευσης και πρόληψης
Θέματα που Καλύπτονται:
- Τεχνικό περιβάλλον εργαλείων ασφάλειας AI και τοποθέτηση προμηθευτών
- Ανοιχτός κώδικα εργαλείων ασφάλειας: Garak, PyRIT, Giskard
- Εμπορικές λύσεις για ασφάλεια AI και παρακολούθηση
- Πατρόν ενσωμάτωσης και στρατηγικές διακυβέρνησης
- Κριτήρια επιλογής εργαλείων και πλαίσια αξιολόγησης
Πρακτική Άσκηση: Δείκτης εργαλείων ασφάλειας AI και σχεδιασμός υλοποίησης
Μονάδα 10: Μέλλοντικές Τάσεις και Κατάληξη (1 ώρα)
Στόχοι Μαθήματος:
- Κατανόηση των αναδυόμενων απειλών και μέλλοντικών προκλήσεων ασφάλειας
- Σχεδιασμός συνεχούς μάθησης και βελτιώνεις προκαταβολές
- Σύσταση εγχειριδίων για τα προγράμματα ασφάλειας AI των οργανισμών
Θέματα που Καλύπτονται:
- Αναδυόμενες απειλές: Deepfakes, προηγμένη εισαγωγή δεδομένων, μοντέλο inversion
- Ανάπτυξη και ρoadmap του προγράμματος OWASP GenAI
- Δημιουργία κοινότητες ασφάλειας AI και διαμόρφωση γνώσεων
- Συνεχής βελτίωση και ενσωμάτωση πληροφορικών απειλών
Άσκηση Εγχειρίδια: Συνταγή 90-ημερου εγχειριδίου για την εφαρμογή πρακτικών OWASP GenAI στις οργανισμούς των συμμετέχοντες
Απαιτήσεις
- Γενική κατανόηση των αρχών ασφάλειας διαδικτυακών εφαρμογών
- Βασική γνώση AI/ML καινοτομιών
- Εμπειρία με πλαίσια ασφάλειας ή μεθοδολογίες εκτίμησης κινδύνων προτιμώνται
Αυδιένσα
- Επαγγελματίες κυβερνοασφάλειας
- Προγραμματιστές AI
- Αρχιτέκτονες συστημάτων
- Υπαλλήλοι υποχρεώσεων συμμόρφωσης
- Εκτελεστικοί ασφάλειας
Σχόλια (2)
Η εξέταση των διάφορων χρήσεων και εφαρμογών της Τεχνητής Νοημοσύνης ήταν χρήσιμη. Απολάβηκα την περιήγηση στους διάφορους Τεχνητούς Συμβουλές.
Axel Schulz - CANARIE Inc
Κομμάτι - Microsoft 365 Copilot: AI Productivity Across Word, Excel, PowerPoint, Outlook, and Teams
Μηχανική Μετάφραση
Μου άρεσε πως ο εκπαιδευτής είχε πολύ γνώσεις και τις μοιράστηκε μαζί μας
Daria Pawlak - LKQ POLSKA SPOLKA Z OGRANICZONA ODPOWIEDZIALNOSCIA
Κομμάτι - Microsoft 365 Copilot Chat for Word, Excel, PowerPoint, and Outlook
Μηχανική Μετάφραση