Εξέλιξη Κομματιού
Ενότητα 1 — Πώς Σπάνε οι Εφαρμογές ΤΝ
Εργαστήριο: κανένα — περιήγηση αρχιτεκτονικής & συζήτηση
Ένα νοητικό μοντέλο δημιουργού για την επιφάνεια επίθεσης.
Θέματα:
- Αρχιτεκτονικές LLM, RAG και πρακτόρων από την πλευρά του προγραμματιστή
- ο κύκλος ζωής αιτήματος/απόκρισης μιας λειτουργίας ΤΝ
- ροή prompt: μηνύματα συστήματος, προγραμματιστή, χρήστη και εργαλείου
- πού εισέρχονται (και επανεισέρχονται) τα μη αξιόπιστα δεδομένα στο μοντέλο
- τα όρια εμπιστοσύνης που ανήκουν στον προγραμματιστή έναντι αυτών που κληρονομεί
- γιατί οι επιθέσεις ΤΝ είναι σημασιολογικές, όχι συντακτικές
- αντιστοίχιση του OWASP LLM Top 10 με τον κώδικα που γράφετε
Βασικό συμπέρασμα: Κάθε σημείο όπου μη αξιόπιστο κείμενο φτάνει στο μοντέλο — ή το αποτέλεσμα του μοντέλου φτάνει στον κώδικά σας — είναι ένα όριο που σας ανήκει.
Ενότητα 2 — Εισαγωγή Prompts για Δημιουργούς
Εργαστήριο: Lab 01 — 01-Prompt-Injection
Η «στιγμή SQL injection» για την ΤΝ — αλλά δεν μπορείτε να ξεφύγετε πλήρως.
Θέματα:
- άμεση vs. έμμεση εισαγωγή prompts
- κρυφές οδηγίες σε έγγραφα, ιστοσελίδες, αποτελέσματα εργαλείων
- jailbreaks και σύγχυση ρόλων
- γιατί έχει σημασία ο διαχωρισμός οδηγιών/δεδομένων
- αμυντικός σχεδιασμός prompts (οριοθέτες, δομή, ελάχιστη εξουσία)
- γιατί η πρόληψη είναι μερική — σχεδιάστε για περιορισμό
Πρακτική εξάσκηση:
- επιτεθείτε στο δικό σας chatbot
- παρακάμψτε ένα απλοϊκό φίλτρο
- αναδιαρθρώστε το prompt για να μειώσετε την ακτίνα επιπτώσεων
Ενότητα 3 — Αντιμετωπίζοντας το Αποτέλεσμα του Μοντέλου ως Μη Αξιόπιστο
Εργαστήριο: Lab 02 — 02-Output-Handling
Η κατηγορία σφαλμάτων που οι προγραμματιστές υποτιμούν περισσότερο.
Θέματα:
- το αποτέλεσμα του μοντέλου ως μη αξιόπιστη είσοδος για την υπόλοιπη εφαρμογή
- μη ασφαλής διαχείριση εξόδου (LLM02): XSS, SSRF, command/SQL injection σε επόμενα στάδια
- ποτέ μην κάνετε eval/exec/απόδοση ακατέργαστου αποτελέσματος μοντέλου
- δομημένα αποτελέσματα και επικύρωση σχήματος
- κωδικοποίηση εξόδου και λίστες επιτρεπόμενων
- ασφαλής απόδοση σε περιβάλλοντα web/UI
Πρακτική εξάσκηση:
- βρείτε και διορθώστε μια ευπάθεια μη ασφαλούς διαχείρισης εξόδου
- επιβάλετε ένα σχήμα JSON στις αποκρίσεις του μοντέλου
Ενότητα 4 — Ασφάλεια RAG
Εργαστήριο: Lab 03 — 03-RAG-Security
Μία από τις μεγαλύτερες νέες επιφάνειες επίθεσης — και είναι δική σας να χτίσετε.
Θέματα:
- απειλές διανυσματικής βάσης δεδομένων και ανάκτησης
- εξυγίανση εισαγωγής
- προέλευση εγγράφων και βαθμολόγηση εμπιστοσύνης
- περιορισμός πεδίου ανάκτησης και απομόνωση μεταδεδομένων
- κρυφές οδηγίες σε ανακτημένο περιεχόμενο (έμμεση εισαγωγή)
- εξαγωγή δεδομένων μέσω ανάκτησης
Πρακτική εξάσκηση: - δηλητηριάστε ένα pipeline RAG με ένα κακόβουλο έγγραφο - προσθέστε εξυγίανση εισαγωγής και περιορισμό πεδίου ανάκτησης για να το υπερασπιστείτε
Ενότητα 5 — Ασφάλεια Πρακτόρων & Εργαλείων
Εργαστήριο: Lab 04 — 04-Agent-Safety
Εκεί που ένα σφάλμα γίνεται ενέργεια.
Θέματα:
- υπερβολική εξουσία (LLM06) και κατάχρηση εργαλείων
- ελάχιστα προνόμια για πράκτορες
- λίστες επιτρεπόμενων εργαλείων και επικύρωση ορισμάτων
- πύλες έγκρισης και ανθρώπινη παρέμβαση (human-in-the-loop)
- απομόνωση εκτέλεσης εργαλείων (sandboxing)
- περιορισμένα, βραχύβια διαπιστευτήρια για πράκτορες
- περιορισμός αυτόνομων βρόχων και αλυσιδωτών ενεργειών
Πρακτική εξάσκηση:
- κλειδώστε έναν πράκτορα με υπερβολικά δικαιώματα
- προσθέστε μια λίστα επιτρεπόμενων + πύλη έγκρισης σε ένα επικίνδυνο εργαλείο
Ενότητα 6 — Μυστικά, Ταυτότητα & Κόστος
Εργαστήριο: Lab 05 — 05-Secrets-and-Cost
Τα λειτουργικά λάθη που πονάνε ταχύτερα.
Θέματα:
- διαχείριση κλειδιών API και μυστικών (ποτέ σε prompts, κώδικα ή αρχεία καταγραφής)
- αυθεντικοποίηση και εξουσιοδότηση ανά χρήστη για λειτουργίες ΤΝ
- διάδοση της ταυτότητας χρήστη σε εργαλεία και ανάκτηση
- denial-of-wallet: απεριόριστη κατανάλωση tokens/κόστους
- όρια ρυθμού, προϋπολογισμοί tokens και χρονικά όρια
- καταγραφή χωρίς διαρροή μυστικών ή προσωπικών δεδομένων (PII)
Πρακτική εξάσκηση:
- αφαιρέστε μυστικά από τη διαδρομή prompt/κώδικα
- προσθέστε όρια ρυθμού ανά χρήστη και έναν προϋπολογισμό token/κόστους
Ενότητα 7 — Βιβλιοθήκες Προστατευτικών Κιγκλιδωμάτων (Guardrails)
Εργαστήριο: Lab 06 — 06-Guardrails
Αγορά vs. κατασκευή για ασφάλεια εισόδου/εξόδου.
Θέματα:
- τι κάνουν (και τι δεν κάνουν) τα πλαίσια προστατευτικών κιγκλιδωμάτων
- κιγκλιδώματα εισόδου: ταξινομητές εισαγωγής/PII/θέματος
- κιγκλιδώματα εξόδου: επικύρωση, φιλτράρισμα, έλεγχοι τεκμηρίωσης (grounding)
- πότε είναι κατάλληλο ένα κιγκλίδωμα έναντι του δικού σας ντετερμινιστικού ελέγχου
- επίπεδη εφαρμογή κιγκλιδωμάτων με τους ελέγχους από προηγούμενες ενότητες
- απόδοση, ψευδώς θετικά και τρόποι αποτυχίας
Πρακτική εξάσκηση:
- προσθέστε ένα επίπεδο κιγκλιδωμάτων εισόδου/εξόδου σε μια λειτουργία ΤΝ
- μετρήστε τι πιάνει και τι χάνει
Ενότητα 8 — Προσομοίωση Επίθεσης (Red-Teaming) στη Δική σας Εφαρμογή
Εργαστήριο: Lab 07 — 07-Red-Teaming
Παραδώστε την σαν να την έχει ήδη στα χέρια του ένας επιτιθέμενος.
Θέματα:
- δημιουργία σουίτας δοκιμών κατάχρησης για λειτουργίες ΤΝ
- αυτοματοποιημένες δοκιμές εισαγωγής prompts και jailbreak
- δοκιμές παλινδρόμησης για κιγκλιδώματα και πολιτικές
- εκτέλεση ελέγχων ασφαλείας ΤΝ στο CI
- αλυσίδα εφοδιασμού μοντέλου και εξαρτήσεων (προέλευση, καθήλωση εκδόσεων)
- μια λίστα ελέγχου ασφαλείας πριν από την παράδοση για λειτουργίες ΤΝ
Πρακτική εξάσκηση:
- γράψτε αυτοματοποιημένες δοκιμές προσομοίωσης επίθεσης για μια λειτουργία ΤΝ
- συνδέστε τες σε έναν έλεγχο CI
Ενότητα 9 — Βαθμολόγηση Ασφάλειας ΤΝ: Το Πλαίσιο SAIS-100
Εργαστήριο: κανένα — άσκηση βαθμολόγησης (χρησιμοποιεί την εφαρμογή Capstone)
Μετατρέψτε όλα όσα έχετε δημιουργήσει σε μια επαναλήψιμη βαθμολογία.
Θέματα:
- το Εξάγωνο Ασφάλειας ΤΝ: έξι ερωτήσεις αντί για «είναι ασφαλές;»
- οι έξι βαθμολογούμενες κατηγορίες (Δεδομένα, Prompt, Πράκτορας, Αλυσίδα Εφοδιασμού, Ανίχνευση, Διακυβέρνηση)
- η κλίμακα βαθμολόγησης 100 πόντων και οι συντελεστές βαρύτητάς της
- ζώνες ετυμηγορίας και ο κανόνας παράκαμψης μίας κατηγορίας
- το Elephant Scale Secure AI Score (SAIS-100) ως ένα επώνυμο, επανεκτελέσιμο πλαίσιο
- βαθμολόγηση πριν/μετά την ενίσχυση ως μέτρηση
Πρακτική εξάσκηση:
- βαθμολογήστε την εφαρμογή Capstone στην κλίμακα 100 πόντων
- ονομάστε τη μοναδική αλλαγή που αυξάνει περισσότερο τη βαθμολογία
Βασικό συμπέρασμα: Οι τρεις κατηγορίες με την υψηλότερη βαρύτητα αντιστοιχούν στα όρια εμπιστοσύνης που ανήκουν στον προγραμματιστή — έτσι η βαθμολογία μετρά ακριβώς αυτό που δίδαξε αυτό το μάθημα.
Capstone
Οι εκπαιδευόμενοι ενισχύουν μια σκόπιμα ευάλωτη εφαρμογή ΤΝ από άκρη σε άκρη.
Η αρχική εφαρμογή περιέχει:
- ένα ευάλωτο σε εισαγωγή prompt
- μη ασφαλή διαχείριση εξόδου
- ένα pipeline RAG χωρίς περιορισμό πεδίου
- έναν πράκτορα με υπερβολικά δικαιώματα
- μυστικά στη διαδρομή του prompt
- κανένα όριο κόστους
Οι εκπαιδευόμενοι εφαρμόζουν το μάθημα:
- αναδιαρθρώνουν τα prompts για περιορισμό
- επικυρώνουν και κωδικοποιούν το αποτέλεσμα του μοντέλου
- εξυγιαίνουν και περιορίζουν το πεδίο ανάκτησης
- εφαρμόζουν ελάχιστα προνόμια και πύλες έγκρισης στον πράκτορα
- απομακρύνουν τα μυστικά και προσθέτουν όρια κόστους/ρυθμού
- προσθέτουν προστατευτικά κιγκλιδώματα και αυτοματοποιημένες δοκιμές προσομοίωσης επίθεσης
Παραδοτέο: μια ενισχυμένη εφαρμογή συν μια σύντομη αυτοαξιολόγηση OWASP LLM Top 10.
Αντιστοίχιση Ενοτήτων - Εργαστηρίων
Τα εργαστήρια εκτελούνται με τη σειρά των εργαστηρίων, η οποία ακολουθεί τη σειρά των ενοτήτων. Το μάθημα έχει 9 ενότητες και 7 εργαστήρια: Η Ενότητα 1 είναι μια περιήγηση/συζήτηση αρχιτεκτονικής και η Ενότητα 9 είναι μια άσκηση βαθμολόγησης, επομένως καμία δεν έχει τον δικό της φάκελο εργαστηρίου.
- Lab 01 - 01-Prompt-Injection: Επιτεθείτε στο chatbot σας & σχεδιάστε για περιορισμό (Ενότητα 2)
- Lab 02 - 02-Output-Handling: Διορθώστε ένα σφάλμα μη ασφαλούς διαχείρισης εξόδου (Ενότητα 3)
- Lab 03 - 03-RAG-Security: Δηλητηριάστε και μετά υπερασπιστείτε ένα pipeline RAG (Ενότητα 4)
- Lab 04 - 04-Agent-Safety: Κλειδώστε έναν πράκτορα με υπερβολικά δικαιώματα (Ενότητα 5)
- Lab 05 - 05-Secrets-and-Cost: Ασφαλίστε κλειδιά + προσθέστε κιγκλιδώματα κόστους (Ενότητα 6)
- Lab 06 - 06-Guardrails: Προσθέστε ένα επίπεδο κιγκλιδωμάτων εισόδου/εξόδου (Ενότητα 7)
- Lab 07 - 07-Red-Teaming: Αυτοματοποιημένες δοκιμές προσομοίωσης επίθεσης στο CI (Ενότητα 8)
Η Ενότητα 1 (Πώς Σπάνε οι Εφαρμογές ΤΝ) δεν έχει εργαστήριο — εκτελείται ως περιήγηση αρχιτεκτονικής και συζήτηση. Η Ενότητα 9 (Βαθμολόγηση Ασφάλειας ΤΝ) δεν έχει φάκελο εργαστηρίου — εκτελείται ως άσκηση βαθμολόγησης πάνω στην εφαρμογή Capstone.
Απαιτήσεις
- Επίπεδο δεξιοτήτων: Ενδιάμεσο.
- Οι εκπαιδευόμενοι θα πρέπει να είναι εξοικειωμένοι με: την κατασκευή και κατανάλωση REST APIs, μια γλώσσα σεναρίων (τα εργαστήρια χρησιμοποιούν Python), βασική αυθεντικοποίηση εφαρμογών, git και το CLI.
- Δεν απαιτείται υπόβαθρο μηχανικής μάθησης — αυτό είναι ένα μάθημα ασφάλειας εφαρμογών για άτομα που κατασκευάζουν με LLMs, όχι που τα εκπαιδεύουν.
Κοινό
- Μηχανικοί λογισμικού / backend που κατασκευάζουν λειτουργίες LLM
- Προγραμματιστές full-stack και API
- Μηχανικοί εφαρμογών AI/ML
- Μηχανικοί πλατφόρμας που παραδίδουν copilots και πράκτορες
- Επικεφαλής τεχνολογίας και ανώτεροι μηχανικοί που είναι υπεύθυνοι για λειτουργίες ΤΝ
Σχόλια (2)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση
Η επαγγελματική γνώση και ο τρόπος με τον οποίο την παρουσίασε απέναντι σε μας
Miroslav Nachev - PUBLIC COURSE
Κομμάτι - Cybersecurity in AI Systems
Μηχανική Μετάφραση
