LLM Security και Evaluation – Κίνδυνοι, έλεγχοι και μετρικές
Η ασφάλεια ενός LLM δεν εξαρτάται μόνο από το ίδιο το μοντέλο. Εξαρτάται από τα δεδομένα, τα prompts, τα εργαλεία, τα δικαιώματα, το backend και τον τρόπο με τον οποίο χρησιμοποιείται η έξοδος. Η αξιολόγηση πρέπει να καλύπτει τόσο την ποιότητα όσο και την ασφάλεια ολόκληρης της εφαρμογής.
1. Prompt Injection
Το prompt injection συμβαίνει όταν μη έμπιστο περιεχόμενο επιχειρεί να επηρεάσει τις οδηγίες του μοντέλου. Μπορεί να προέρχεται από τον χρήστη, ανακτημένα έγγραφα, ιστοσελίδες ή tool outputs. Η απλή προσθήκη μιας οδηγίας «αγνόησε κακόβουλα prompts» δεν αποτελεί επαρκή άμυνα.
2. Data leakage και privacy
Ευαίσθητα δεδομένα μπορεί να εκτεθούν μέσω prompts, logs, retrieval, model outputs ή υπερβολικών δικαιωμάτων εργαλείων. Εφάρμοσε data minimization, access control, retention policy, redaction όπου απαιτείται και σαφή ενημέρωση για τη χρήση δεδομένων.
3. Insecure output handling
Η έξοδος ενός LLM πρέπει να αντιμετωπίζεται ως μη έμπιστη. Μην εκτελείς παραγόμενο SQL, shell command, HTML ή κώδικα χωρίς ανεξάρτητο validation και ασφαλή μηχανισμό εκτέλεσης. Χρησιμοποίησε parameterized queries, escaping, sandboxing και allowlists ανάλογα με το είδος της ενέργειας.
4. Excessive agency και tool security
Δώσε στο μοντέλο μόνο τα εργαλεία και τα δικαιώματα που χρειάζεται. Διαχώρισε read από write operations, όρισε όρια χρήσης και απαίτησε έγκριση για κρίσιμες ενέργειες. Το LLM δεν πρέπει να αποτελεί το μοναδικό επίπεδο εξουσιοδότησης.
5. RAG poisoning και retrieval risks
Κακόβουλα ή αλλοιωμένα έγγραφα μπορούν να επηρεάσουν τα αποτελέσματα retrieval και τις απαντήσεις. Έλεγξε την προέλευση και την ακεραιότητα των πηγών, διατήρησε metadata, εφάρμοσε permissions πριν από την ανάκτηση και παρακολούθησε αλλαγές στο corpus.
6. Guardrails και defense in depth
- Input validation και έλεγχος μεγέθους/τύπου δεδομένων.
- Authentication, authorization και least privilege.
- Απομόνωση μη έμπιστων δεδομένων από τις οδηγίες.
- Output validation και ασφαλής απόδοση περιεχομένου.
- Sandboxing για εκτέλεση κώδικα ή εντολών.
- Rate limits, quotas και monitoring.
- Audit logs και διαδικασία incident response.
7. Αξιολόγηση ποιότητας
| Μετρική | Τι εξετάζει |
|---|---|
| Correctness / Accuracy | Αν η απάντηση είναι πραγματολογικά σωστή. |
| Relevance | Αν απαντά στο ζητούμενο. |
| Faithfulness | Αν στηρίζεται στις διαθέσιμες πηγές. |
| Completeness | Αν καλύπτει τα απαραίτητα στοιχεία. |
| Latency | Χρόνος απόκρισης. |
| Cost | Κόστος ανά αίτημα ή εργασία. |
8. Evaluation datasets και test cases
Δημιούργησε σταθερό σύνολο αντιπροσωπευτικών ερωτήσεων με αναμενόμενα κριτήρια αξιολόγησης. Συμπερίλαβε κανονικές περιπτώσεις, edge cases, αμφίσημα ερωτήματα, ελλιπές context, μη υποστηριζόμενες απαιτήσεις και adversarial inputs. Κράτησε ξεχωριστό test set που δεν χρησιμοποιείται για prompt tuning.
9. Human evaluation και LLM-as-a-judge
Η ανθρώπινη αξιολόγηση παραμένει σημαντική για υποκειμενικά ή υψηλού κινδύνου tasks. Ένα δεύτερο LLM μπορεί να χρησιμοποιηθεί ως evaluator, αλλά έχει δικές του προκαταλήψεις και σφάλματα. Χρειάζεται βαθμονόμηση με ανθρώπινα παραδείγματα και σαφή rubric.
10. Red teaming
Το red teaming εξετάζει συστηματικά πώς αποτυγχάνει η εφαρμογή υπό κακόβουλες ή ασυνήθιστες εισόδους. Έλεγξε prompt injection, διαρροή δεδομένων, παραβίαση permissions, unsafe tool calls, malformed outputs και προσπάθειες παράκαμψης των ορίων της εφαρμογής.
11. Release checklist
- Έχουν ελεγχθεί οι πηγές και τα δικαιώματα χρήσης δεδομένων;
- Έχουν εφαρμοστεί authentication και authorization;
- Επικυρώνονται arguments και outputs;
- Υπάρχουν όρια σε tokens, κόστος, χρόνο και αριθμό tool calls;
- Έχουν εκτελεστεί functional και security tests;
- Υπάρχει monitoring, logging και διαδικασία αντιμετώπισης περιστατικών;
- Είναι σαφές στον χρήστη πότε η απάντηση είναι αβέβαιη ή χρειάζεται ανθρώπινο έλεγχο;