RAG – Retrieval-Augmented Generation: Πλήρης τεχνικός οδηγός
Το Retrieval-Augmented Generation (RAG) είναι αρχιτεκτονική που συνδυάζει ένα LLM με εξωτερική ανάκτηση πληροφοριών. Πριν δημιουργηθεί η απάντηση, το σύστημα αναζητά σχετικά δεδομένα και τα προσθέτει στο context του μοντέλου. Έτσι μπορεί να απαντά με βάση ιδιωτικά, εξειδικευμένα ή πιο πρόσφατα δεδομένα χωρίς να απαιτείται απαραίτητα επανεκπαίδευση του LLM.
1. RAG pipeline
Documents
↓
Parsing / Cleaning
↓
Chunking + Metadata
↓
Embedding Model
↓
Vector Database
↓
Query Embedding
↓
Retrieval / Hybrid Search
↓
Reranking
↓
Context Assembly
↓
LLM Generation
↓
Answer + Sources
2. Ingestion και document processing
Τα δεδομένα μπορεί να προέρχονται από PDF, HTML, βάσεις δεδομένων, Markdown, αρχεία κειμένου ή εσωτερικά APIs. Πριν από το indexing χρειάζονται parsing, αφαίρεση θορύβου, κανονικοποίηση κειμένου και διατήρηση χρήσιμων metadata όπως τίτλος, URL, ημερομηνία, κατηγορία και δικαιώματα πρόσβασης.
3. Chunking
Τα μεγάλα έγγραφα χωρίζονται σε μικρότερα chunks. Πολύ μικρά chunks μπορεί να χάνουν το απαραίτητο context, ενώ πολύ μεγάλα chunks μειώνουν την ακρίβεια retrieval και αυξάνουν το κόστος context. Η επιλογή μεγέθους εξαρτάται από το είδος των εγγράφων και τις ερωτήσεις.
Συνηθισμένες προσεγγίσεις είναι fixed-size chunking, recursive splitting και structure-aware chunking που σέβεται headings, παραγράφους ή ενότητες κώδικα. Το overlap μπορεί να διατηρεί πληροφορία στα όρια των chunks, αλλά αυξάνει τον όγκο του index.
4. Embeddings και vector databases
Ένα embedding model μετατρέπει κείμενο σε αριθμητικό διάνυσμα. Η vector database αποθηκεύει τα διανύσματα και επιτρέπει αναζήτηση κοντινών vectors. Συχνές μετρικές είναι cosine similarity, dot product και Euclidean distance, ανάλογα με το μοντέλο και τη ρύθμιση indexing.
5. Semantic, keyword και hybrid search
Η semantic search αναζητά εννοιολογικά σχετικά αποτελέσματα μέσω embeddings. Η keyword search εντοπίζει ακριβείς όρους και identifiers. Η hybrid search συνδυάζει τις δύο προσεγγίσεις, κάτι που είναι χρήσιμο όταν τα ερωτήματα περιέχουν ονόματα προϊόντων, κωδικούς, τεχνικούς όρους ή φυσική γλώσσα.
6. Reranking
Μετά το αρχικό retrieval, ένας reranker βαθμολογεί ξανά τα υποψήφια chunks με βάση τη συνάφειά τους με το ερώτημα. Έτσι το τελικό context μπορεί να περιλαμβάνει λιγότερα αλλά πιο σχετικά αποσπάσματα. Ο reranking αυξάνει συνήθως το latency και το υπολογιστικό κόστος.
7. Context assembly και generation
Τα επιλεγμένα chunks οργανώνονται σε context μαζί με σαφείς οδηγίες. Το prompt πρέπει να ζητά από το μοντέλο να στηρίζεται στις παρεχόμενες πηγές, να αναφέρει όταν δεν υπάρχουν επαρκή στοιχεία και να διατηρεί την αντιστοίχιση απάντησης–πηγής. Η τελική απάντηση πρέπει να ελέγχεται από την εφαρμογή.
8. Αξιολόγηση RAG
| Στάδιο | Τι μετράμε |
|---|---|
| Retrieval | Recall@k, Precision@k, MRR ή nDCG. |
| Context | Συνάφεια, κάλυψη και θόρυβος των ανακτημένων chunks. |
| Generation | Faithfulness, correctness και relevance. |
| System | Latency, κόστος, διαθεσιμότητα και ποσοστό αποτυχιών. |
9. Συχνά προβλήματα
- Κακό parsing ή ελλιπές κείμενο από τα έγγραφα.
- Chunking που διασπά πίνακες, κώδικα ή λογικές ενότητες.
- Ακατάλληλο embedding model για τη γλώσσα ή το domain.
- Retrieval άσχετων ή παλιών εγγράφων.
- Υπερβολικά μεγάλο context με θόρυβο.
- Απουσία citations ή λανθασμένη αντιστοίχιση πηγών.
- Μη εφαρμογή δικαιωμάτων πρόσβασης στα ανακτημένα δεδομένα.
10. Ασφάλεια RAG
Τα έγγραφα που ανακτώνται είναι μη έμπιστο περιεχόμενο. Μπορεί να περιλαμβάνουν prompt injection ή κακόβουλες οδηγίες. Εφάρμοσε access control πριν από το retrieval, απομόνωσε τις οδηγίες από τα δεδομένα, μην επιτρέπεις σε retrieved text να παρακάμπτει system policies και έλεγξε τις ενέργειες που μπορεί να εκτελέσει το μοντέλο.
11. Πότε να χρησιμοποιήσεις RAG;
Το RAG είναι κατάλληλο όταν χρειάζεται αναζήτηση σε τεκμηρίωση, εσωτερική γνώση, συχνά ενημερωμένο περιεχόμενο ή δεδομένα που δεν πρέπει να ενσωματωθούν στα weights. Δεν αποτελεί εγγύηση αλήθειας: η ποιότητα εξαρτάται από τα έγγραφα, το retrieval, το prompt και την αξιολόγηση.