LLM Architecture – Transformers, Tokens και Attention
Η αρχιτεκτονική ενός Large Language Model (LLM) καθορίζει τον τρόπο με τον οποίο μετατρέπεται το κείμενο σε αριθμητικές αναπαραστάσεις, επεξεργάζεται από νευρωνικά επίπεδα και μετατρέπεται ξανά σε έξοδο. Τα περισσότερα σύγχρονα LLM βασίζονται στην αρχιτεκτονική Transformer.
1. Από το κείμενο στα tokens
Ο tokenizer χωρίζει το input σε tokens. Δεν αντιστοιχεί απαραίτητα ένα token σε μία λέξη: μπορεί να είναι λέξη, υπολέξη, σημείο στίξης ή ειδικό token. Κάθε token αντιστοιχίζεται σε ένα αριθμητικό ID από το vocabulary του μοντέλου.
Κείμενο → Tokenizer → [token_1, token_2, token_3]
↓
[ID_1, ID_2, ID_3]
Το μέγεθος και η σχεδίαση του vocabulary επηρεάζουν την αποδοτικότητα της αναπαράστασης, το πλήθος tokens ανά κείμενο και τη συμπεριφορά σε διαφορετικές γλώσσες.
2. Embeddings και positional information
Κάθε token ID αντιστοιχίζεται σε ένα διάνυσμα μέσω ενός embedding table. Επειδή το Transformer δεν έχει από μόνο του εγγενή αντίληψη της σειράς των tokens, χρειάζεται positional information. Ανάλογα με το μοντέλο χρησιμοποιούνται learned positional embeddings, sinusoidal encodings ή τεχνικές όπως το Rotary Positional Embedding (RoPE).
3. Η αρχιτεκτονική Transformer
Ένα Transformer αποτελείται από επαναλαμβανόμενα blocks. Σε ένα τυπικό block συναντάμε attention, feed-forward network, residual connections και normalization. Η ακριβής σειρά και υλοποίηση διαφέρει μεταξύ αρχιτεκτονικών.
Self-attention και Q, K, V
Οι αναπαραστάσεις των tokens προβάλλονται σε Query (Q), Key (K) και Value (V). Τα Q και K χρησιμοποιούνται για να υπολογιστεί πόσο σχετική είναι κάθε θέση με τις υπόλοιπες, ενώ τα V περιέχουν την πληροφορία που συνδυάζεται.
Attention(Q,K,V) = softmax(QKᵀ / √dₖ) V
Στα decoder-only μοντέλα χρησιμοποιείται causal mask: κάθε θέση μπορεί να λαμβάνει υπόψη προηγούμενα tokens, όχι μελλοντικά. Έτσι διατηρείται η autoregressive πρόβλεψη του επόμενου token.
Multi-head attention
Πολλαπλά attention heads εκτελούν παράλληλους υπολογισμούς σε διαφορετικές προβολές των αναπαραστάσεων. Τα αποτελέσματα συνδυάζονται ώστε το μοντέλο να μπορεί να συσχετίζει διαφορετικά στοιχεία της ακολουθίας.
Feed-forward network, residuals και normalization
Το feed-forward network εφαρμόζει μη γραμμικούς μετασχηματισμούς ανά θέση. Οι residual connections διευκολύνουν τη ροή της πληροφορίας και των gradients, ενώ τα normalization layers σταθεροποιούν την εκπαίδευση.
4. Encoder, Decoder και Decoder-only
| Αρχιτεκτονική | Χαρακτηριστικά | Τυπικές εργασίες |
|---|---|---|
| Encoder-only | Bidirectional context μέσα στην είσοδο. | Classification, embeddings, κατανόηση κειμένου. |
| Decoder-only | Causal attention και autoregressive παραγωγή. | Chat, text generation, code generation. |
| Encoder-decoder | Encoder για input και decoder για output. | Translation, summarization, sequence-to-sequence. |
5. Dense μοντέλα και Mixture of Experts
Σε ένα dense μοντέλο, μεγάλο μέρος των παραμέτρων ενεργοποιείται για κάθε token. Σε ένα Mixture of Experts (MoE), ένας μηχανισμός routing επιλέγει συγκεκριμένα expert υποδίκτυα. Έτσι μπορεί να υπάρχει μεγάλο συνολικό πλήθος παραμέτρων χωρίς να ενεργοποιούνται όλες σε κάθε βήμα. Αυτό δεν σημαίνει ότι το μοντέλο δεν έχει κόστος μνήμης: τα weights και οι απαιτήσεις serving εξακολουθούν να χρειάζονται προσεκτικό σχεδιασμό.
6. Από τα logits στην παραγωγή
Η τελική αναπαράσταση μετατρέπεται σε logits για κάθε token του vocabulary. Η διαδικασία decoding εφαρμόζει κανόνες επιλογής, όπως greedy decoding, temperature ή top-p sampling. Το επιλεγμένο token προστίθεται στην ακολουθία και η διαδικασία επαναλαμβάνεται.
7. Βασικοί όροι
- Vocabulary: το σύνολο των tokens που γνωρίζει ο tokenizer.
- Hidden size: η διάσταση των εσωτερικών αναπαραστάσεων.
- Layers: τα επαναλαμβανόμενα Transformer blocks.
- Attention head: ανεξάρτητη υπομονάδα attention.
- Context length: το μέγιστο μήκος ακολουθίας που υποστηρίζει η συγκεκριμένη διαμόρφωση.
- Autoregressive: παραγωγή κάθε νέου token με βάση τα προηγούμενα.