Εξέλιξη Κομματιού
Ενότητα 1 — Συστήματα ΤΝ για Μηχανικούς Ασφαλείας
Εργαστήριο: Lab 01 — 01-Εισαγωγή
Κατανόηση της αρχιτεκτονικής.
Θέματα:
- LLM vs κανονικές εφαρμογές
- Διοχετεύσεις (Pipelines) Συμπερασμού ΤΝ
- Ροή Προτροπής (Prompt Flow)
- Αρχιτεκτονική RAG
- Διανυσματικές Βάσεις Δεδομένων/Ενσωματώσεις (Embeddings)
- Ροές Εργασίας Πρακτόρων (Agentic Workflows)
- Κλήση Εργαλείων (Tool Calling)
- Πύλες ΤΝ (AI Gateways)
- Copilots
- Πρωτόκολλα MCP και Πρακτόρων
- Πού υπάρχει ορατότητα WAF
- Πού εξαφανίζεται η ορατότητα WAF
Βασική διαπίστωση: Τα παραδοσιακά WAF συχνά χάνουν την ορατότητα αφού η προτροπή φτάσει στο μοντέλο.
Ενότητα 2 — OWASP GenAI Top 10
Εργαστήριο: κανένα — διαδραστική ανακεφαλαίωση/συζήτηση
Βασικές κατηγορίες επιθέσεων ΤΝ.
Θέματα:
- Έγχυση Προτροπής (Prompt Injection)
- Μη Ασφαλής Διαχείριση Εξόδου (Insecure Output Handling)
- Δηλητηρίαση Δεδομένων Εκπαίδευσης (Training Data Poisoning)
- Άρνηση Υπηρεσίας σε Μοντέλα (Model DoS)
- Ευπάθειες Εφοδιαστικής Αλυσίδας (Supply Chain Vulnerabilities)
- Αποκάλυψη Ευαίσθητων Πληροφοριών (Sensitive Information Disclosure)
- Υπερβολική Εξουσιοδότηση (Excessive Agency)
- Αδυναμίες Διανυσμάτων/Ενσωματώσεων (Vector/Embedding Weaknesses)
- Παραπληροφόρηση (Misinformation)
- Απεριόριστη Κατανάλωση (Unbounded Consumption)
Περιλαμβάνει:
- Διαφορές από το κλασικό OWASP
- Αντιστοίχιση σε αμυντικούς ελέγχους (WAF, πύλη, επίπεδο εφαρμογής)
- Πού βοηθά κάθε έλεγχος
- Πού αποτυγχάνει κάθε έλεγχος
Ενότητα 3 — Ανίχνευση Έγχυσης Προτροπής
Εργαστήριο: Lab 02 — 02-Prompt-Injection
Η «στιγμή SQL injection» για την ΤΝ.
Θέματα:
- Άμεση έγχυση προτροπής (Direct prompt injection)
- Έμμεση έγχυση προτροπής (Indirect prompt injection)
- Κρυφές οδηγίες (Hidden instructions)
- Επιθέσεις μέσω Εγγράφων (Document-based attacks)
- Έγχυση HTML/Markdown
- Μοτίβα Jailbreak
- Επιθέσεις Παράκαμψης Πλαισίου (Context override attacks)
- Επιθέσεις Σύγχυσης Ρόλων (Role confusion attacks)
Στρατηγικές ανίχνευσης:
- Ευρετική ανάλυση λέξεων-κλειδιών (keyword heuristics)
- Σημασιολογική ταξινόμηση (semantic classification)
- Έλεγχος προτροπής (prompt linting)
- Επιβολή ορίων οδηγιών (instruction boundary enforcement)
- Πολιτικές Επιτρεπόμενων/Μη (allow/deny policies)
- Μοτίβα regex με επίγνωση ΤΝ
Πρακτικά εργαστήρια:
- Επίθεση σε ένα chatbot
- Παράκαμψη αφελών φίλτρων
- Δημιουργία ανίχνευσης σε επίπεδα
Ενότητα 4 — Κανόνες WAF με Επίγνωση ΤΝ
Εργαστήριο: Lab 03 — 03-WAF-Basics
Πώς εξελίσσονται οι κανόνες WAF για συστήματα ΤΝ.
- Θέματα:
- Προστασία τερματικών σημείων (endpoints) LLM
- Προστασία API συμπερασμού (inference API)
- Περιορισμός ρυθμού βάσει tokens (token-aware rate limiting)
- Επιθεώρηση μεγέθους προτροπής (prompt size inspection)
- Υπογραφές ειδικές για ΤΝ (AI-specific signatures)
- Ανίχνευση ανωμαλιών συνομιλίας (conversation anomaly detection)
- Μοτίβα κατάχρησης πολλαπλών γύρων (multi-turn abuse patterns)
- Απόπειρες απαρίθμησης μοντέλων (model enumeration attempts)
- Απόξεση συμπερασμού (inference scraping)
- Προστασία denial-of-wallet
Παραδείγματα:
- προστασία του /v1/chat/completions
- υπεράσπιση streaming APIs
- αποκλεισμός αναδρομικών κλήσεων πράκτορα
Ενότητα 5 — Ασφάλιση Διοχετεύσεων (Pipelines) RAG
Εργαστήριο: Lab 04 — 04-RAG-Security
Μία από τις μεγαλύτερες νέες επιφάνειες επίθεσης.
Θέματα:
- Απειλές για διανυσματικές βάσεις δεδομένων (vector DB threats)
- Δηλητηρίαση ενσωματώσεων (embedding poisoning)
- Κακόβουλα PDFs/έγγραφα
- Χειραγώγηση ανάκτησης (retrieval manipulation)
- Σημασιολογική δηλητηρίαση (semantic poisoning)
- Κρυφές οδηγίες σε έγγραφα
- Διασταυρούμενη μόλυνση εγγράφων (cross-document contamination)
- Διαρροή δεδομένων μέσω ανάκτησης (data exfiltration via retrieval)
Άμυνες:
- Εξυγίανση κατά την εισαγωγή (ingestion sanitization)
- Βαθμολόγηση εμπιστοσύνης (trust scoring)
- Απομόνωση μεταδεδομένων (metadata isolation)
- Προέλευση εγγράφου (document provenance)
- Πολιτικές ανάκτησης (retrieval policies)
- Τμηματοποίηση (segmentation)
Μελέτη περίπτωσης: «Ανεβάστε ένα δηλητηριασμένο PDF και καταλάβετε τον βοηθό ΤΝ.»
Ενότητα 6 — Ασφάλεια Πρακτόρων ΤΝ (Agentic AI)
Εργαστήριο: Lab 05 — 05-Agent-Security
Εκεί που τα πράγματα γίνονται επικίνδυνα.
Θέματα:
- Υπερβολική εξουσιοδότηση (excessive agency)
- Κατάχρηση εργαλείων (tool abuse)
- Αλυσίδωση API (API chaining)
- Αυτόνομοι βρόχοι (autonomous loops)
- Κλιμάκωση δικαιωμάτων (permission escalation)
- Δηλητηρίαση μνήμης (memory poisoning)
- Έμμεση εκτέλεση εργαλείων (indirect tool execution)
- Πλαστοπροσωπία πράκτορα (agent impersonation)
- Διαρροή διαπιστευτηρίων (credential leakage)
- Επιθέσεις πολλαπλών πρακτόρων (multi-agent attacks)
Άμυνες:
- Αρχή ελάχιστων προνομίων για πράκτορες (least privilege)
- Πύλες έγκρισης (approval gates)
- Μηχανές πολιτικής χρόνου εκτέλεσης (runtime policy engines)
- Περιορισμός σε ασφαλές περιβάλλον (sandboxing)
- Περιορισμένα διαπιστευτήρια (scoped credentials)
- Λίστα επιτρεπόμενων εργαλείων (tool whitelisting)
- Ανθρώπινη παρέμβαση στον βρόχο (human-in-the-loop)
Αυτή είναι η ενότητα για την οποία συνήθως ενδιαφέρονται περισσότερο τα διευθυντικά στελέχη, επειδή ο κίνδυνος γίνεται λειτουργικός και επηρεάζει την επιχείρηση.
Ενότητα 7 — Ασφάλεια API για ΤΝ
Εργαστήριο: Lab 06 — 06-Denial-of-Wallet
Τα συστήματα ΤΝ βασίζονται σε μεγάλο βαθμό σε API.
Θέματα:
- Πύλες API
- Κίνδυνοι GraphQL για ΤΝ
- Κατάχρηση MCP/API
- Προστασία JWT
- Ασφάλεια προσθέτων ΤΝ (AI plugin security)
- Αυθεντικοποίηση πράκτορα
- Εκχωρημένη εξουσιοδότηση (delegated authorization)
- Διαχείριση μυστικών (secret management)
- Υπογεγραμμένες προτροπές (signed prompts)
- Απογραφή API για ΤΝ
Σύνδεση με: OWASP API Security Top 10
Ενότητα 8 — Μηχανική Ανίχνευσης & Ενσωμάτωση στο SOC
Εργαστήριο: Lab 07 — 07-Detection
Επιχειρησιακή άμυνα.
Θέματα:
- Τηλεμετρία ΤΝ (AI telemetry)
- Καταγραφή προτροπών (prompt logging)
- Ανάλυση tokens (token analytics)
- Ανίχνευση ανωμαλιών (anomaly detection)
- Σημασιολογικές διοχετεύσεις SIEM (semantic SIEM pipelines)
- Δείκτες επίθεσης ΤΝ (AI attack indicators)
- Κυνήγι απειλών για κατάχρηση LLM (threat hunting)
- Παρατηρησιμότητα χρόνου εκτέλεσης ΤΝ (AI runtime observability)
Παραδείγματα:
- ανίχνευση εκστρατειών jailbreak
- εντοπισμός αυτοματοποιημένης κατάχρησης πρακτόρων
- αναγνώριση απόξεσης μοντέλων (model scraping)
Ενότητα 9 — Cloud WAF και Ασφάλεια ΤΝ
Εργαστήριο: κανένα — διαδραστική ανακεφαλαίωση/συζήτηση
Υλοποιήσεις συγκεκριμένων προμηθευτών.
Θέματα:
- AWS WAF για API ΤΝ
- Azure WAF
- Cloudflare AI Gateway
- Πύλες API
- Φιλτράρισμα ΤΝ με Envoy
- Kong AI Gateway
- Μοτίβα ασφαλείας ΤΝ για NGINX
Σύγκριση:
- παραδοσιακό WAF vs πύλη ΤΝ vs κιγκλίδωμα επιπέδου εφαρμογής
- φιλτράρισμα βάσει διαμεσολαβητή (proxy) vs σημασιολογικό φιλτράρισμα
Ενότητα 10 — Χτίζοντας μια Πολυεπίπεδη Άμυνα ΤΝ
Εργαστήριο: Lab 08 — 08-Layered-Defense
Σημαντικό φιλοσοφικό συμπέρασμα:
Κανένα μεμονωμένο επίπεδο δεν μπορεί να ασφαλίσει την ΤΝ (και λιγότερο από όλα, ένα WAF από μόνο του).
Οι μαθητές χτίζουν ένα μοντέλο πολλαπλών επιπέδων:
- WAF
- Πύλη API
- Πύλη ΤΝ
- Κιγκλιδώματα (Guardrails)
- Παρακολούθηση Χρόνου Εκτέλεσης
- Ταυτότητα/Εξουσιοδότηση
- Ασφαλές Περιβάλλον (Sandbox)
- Ανθρώπινη Έγκριση
- Παρατηρησιμότητα
- Απόκριση Περιστατικών
Αυτό ευθυγραμμίζεται ισχυρά με το μοντέλο «ασφάλειας πολλαπλών επιπέδων».
Αντιστοίχιση Ενοτήτων ↔ Εργαστηρίων
Τα εργαστήρια εκτελούνται με τη σειρά των ενοτήτων.
Το μάθημα έχει 10 ενότητες αλλά 8 εργαστήρια: Οι Ενότητες 2 και 9 είναι διαδραστική ανακεφαλαίωση/συζήτηση και δεν έχουν εργαστήριο.
Κάθε εργαστήριο φέρει την ένδειξη της ενότητάς του σε όλο αυτό το περίγραμμα.
- Lab 01 (Ενότητα 1)
- Φάκελος: 01-Introduction
- Τίτλος: Εξερευνήστε ένα σύστημα ΤΝ — τι υπάρχει στη γραμμή δικτύου
- Lab 02 (Ενότητα 3)
- Φάκελος: 02-Prompt-Injection
- Τίτλος: Επιτεθείτε σε ένα chatbot & παρακάμψτε το αφελές φιλτράρισμα
- Lab 03 (Ενότητα 4)
- Φάκελος: 03-WAF-Basics
- Τίτλος: Δημιουργήστε κανόνες WAF με επίγνωση ΤΝ
- Lab 04 (Ενότητα 5)
- Φάκελος: 04-RAG-Security
- Τίτλος: Δηλητηριάστε μια διοχέτευση (pipeline) RAG
- Lab 05 (Ενότητα 6)
- Φάκελος: 05-Agent-Security
- Τίτλος: Ασφαλίστε έναν αυτόνομο πράκτορα
- Lab 06 (Ενότητα 7)
- Φάκελος: 06-Denial-of-Wallet
- Τίτλος: Ανιχνεύστε επιθέσεις denial-of-wallet
- Lab 07 (Ενότητα 8)
- Φάκελος: 07-Detection
- Τίτλος: Παρακολουθήστε μοτίβα κατάχρησης ΤΝ σε αρχεία καταγραφής
- Lab 08 (Ενότητα 10)
- Φάκελος: 08-Layered-Defense
- Τίτλος: Χτίστε μια αρχιτεκτονική πολυεπίπεδης άμυνας ΤΝ
Επιστέγασμα (Capstone)
Οι μαθητές υπερασπίζονται έναν προσομοιωμένο εταιρικό βοηθό ΤΝ.
Οι επιτιθέμενοι επιχειρούν:
- Έγχυση προτροπής
- Κατάχρηση εργαλείων
- Κλοπή διαπιστευτηρίων
- Δηλητηρίαση ανάκτησης
- Υπερβολική κατανάλωση API
- Κλιμάκωση πράκτορα
Οι ομάδες δημιουργούν:
- Κανόνες WAF
- Πολιτικές πύλης ΤΝ
- Ανίχνευση χρόνου εκτέλεσης
- Κιγκλιδώματα (guardrails)
- Απόκριση περιστατικών
Απαιτήσεις
- Οι μαθητές θα πρέπει να κατανοούν ήδη την ασφάλεια HTTP/API, τους διαμεσολαβητές/αντίστροφους διαμεσολαβητές, την αυθεντικοποίηση, το OWASP Top 10, τα REST APIs και τη βασική δικτύωση cloud.
Κοινό
- Μηχανικοί Ασφαλείας & AppSec
- Αναλυτές SOC & Μηχανικοί Ανίχνευσης
- Μηχανικοί Ασφαλείας API
- Ασφάλεια Cloud / API / Πλατφόρμας
- Μηχανικοί DevSecOps
- Αρχιτέκτονες Ασφαλείας
- Ειδικοί WAF / Ασφάλειας Δικτύων
- Μηχανικοί Πλατφόρμας ΤΝ
Σχόλια (2)
Απολάμβανα πραγματικά τη μάθηση για τις επιθέσεις με AI και τα εργαλεία που υπάρχουν για να ξεκινήσω να ασχολούμαι και να χρησιμοποιώ ενεργά σε δοκιμές ασφαλείας. Κέρδισα πολλές γνώσεις που δεν είχα στην αρχή, και το μάθημα εκπλήρωσε τις προσδοκίες μου. Το αγαπημένο μου μέρος από την εκπαίδευση ήταν ο Comet Browser, και ξαφνιάστηκα από τις δυνατότητές του. Σίγουρα θα το διερευνήσω περισσότερο. Συνολικά ήταν ένα εξαιρετικό μάθημα και απολάμβανα τη μάθηση όλων των OWASP GenAI Top 10.
Patrick Collins - Optum
Κομμάτι - OWASP GenAI Security
Μηχανική Μετάφραση
Η επαγγελματική γνώση και ο τρόπος με τον οποίο την παρουσίασε απέναντι σε μας
Miroslav Nachev - PUBLIC COURSE
Κομμάτι - Cybersecurity in AI Systems
Μηχανική Μετάφραση
