LLM Inference και Local Models – Deployment, Quantization και Performance
Inference είναι η εκτέλεση ενός ήδη εκπαιδευμένου μοντέλου για να παραχθεί έξοδος. Σε πραγματικές εφαρμογές, η απόδοση εξαρτάται όχι μόνο από το μοντέλο αλλά και από το hardware, το runtime, το context length, το batching και τον τρόπο εξυπηρέτησης των αιτημάτων.
1. Prefill και Decode
Στο prefill, το σύστημα επεξεργάζεται τα input tokens και δημιουργεί τις αρχικές εσωτερικές αναπαραστάσεις. Στο decode, παράγονται διαδοχικά νέα tokens. Το prefill επηρεάζεται έντονα από το μήκος του prompt και το διαθέσιμο compute, ενώ το decode συχνά περιορίζεται από την ταχύτητα ανάγνωσης weights και το memory bandwidth.
2. KV Cache
Το Key-Value cache αποθηκεύει ενδιάμεσα K και V tensors από προηγούμενα tokens, ώστε να μη χρειάζεται να υπολογίζονται ξανά σε κάθε βήμα autoregressive generation. Επιταχύνει το decode, αλλά καταναλώνει μνήμη και η χρήση του αυξάνεται με το context length, το batch size και τη διαμόρφωση του μοντέλου.
3. Quantization
Η quantization αναπαριστά τα weights ή/και τις ενεργοποιήσεις με χαμηλότερη αριθμητική ακρίβεια. Μπορεί να μειώσει σημαντικά τη μνήμη και να επιτρέψει την εκτέλεση μεγαλύτερων μοντέλων σε περιορισμένο hardware. Το αποτέλεσμα εξαρτάται από τη μέθοδο, το μοντέλο και το runtime.
| Μορφή | Γενική περιγραφή |
|---|---|
| FP32 | Υψηλή ακρίβεια και υψηλές απαιτήσεις μνήμης. |
| FP16 / BF16 | Συχνές μορφές μειωμένης ακρίβειας για GPU inference. |
| INT8 | Κβαντισμένη αναπαράσταση 8-bit. |
| INT4 | Ακόμη μικρότερη αναπαράσταση με πιθανότερο quality trade-off. |
Formats και εργαλεία όπως GGUF, GPTQ, AWQ και bitsandbytes έχουν διαφορετικούς στόχους, συμβατότητες και απαιτήσεις. Δεν είναι εναλλάξιμα σε κάθε runtime.
4. Εκτίμηση μνήμης
Μια πολύ απλοποιημένη εκτίμηση για τη μνήμη των weights είναι:
Weight memory ≈ Number of parameters × Bytes per parameter
Για παράδειγμα, ένα μοντέλο 7 δισεκατομμυρίων παραμέτρων σε 16-bit αναπαράσταση χρειάζεται περίπου 14 GB μόνο για τα weights (πριν από overheads). Στην πράξη χρειάζεται επιπλέον μνήμη για KV cache, activations, runtime, buffers και λειτουργικό σύστημα. Η πραγματική απαίτηση εξαρτάται από το backend και τις ρυθμίσεις.
5. Batching και throughput
Το batching ομαδοποιεί requests ώστε το hardware να αξιοποιείται καλύτερα. Το continuous batching επιτρέπει δυναμική ένταξη και αποχώρηση requests κατά τη διάρκεια του generation. Η βελτιστοποίηση πρέπει να λαμβάνει υπόψη τόσο το throughput όσο και το latency που αντιλαμβάνεται κάθε χρήστης.
6. Local LLM runtimes
Υπάρχουν runtimes που διευκολύνουν την τοπική εκτέλεση μοντέλων σε CPU ή GPU. Η επιλογή εξαρτάται από το format των weights, το λειτουργικό σύστημα, τη GPU, το διαθέσιμο RAM/VRAM και το αν χρειάζεσαι απλό desktop usage ή production API serving.
7. Production serving
- Χρησιμοποίησε authentication και rate limiting.
- Όρισε timeouts, retries και όρια μεγέθους input/output.
- Παρακολούθησε latency, throughput, errors και GPU utilization.
- Κατέγραψε κόστος και κατανάλωση tokens.
- Προστάτευσε prompts, logs και προσωπικά δεδομένα.
- Έλεγξε συμβατότητα model, tokenizer και runtime κατά τα deployments.
8. Βασικοί δείκτες performance
| Μετρική | Ερμηνεία |
|---|---|
| Time to First Token (TTFT) | Χρόνος μέχρι να εμφανιστεί το πρώτο token. |
| Tokens per second | Ρυθμός παραγωγής tokens. |
| Throughput | Requests ή tokens που εξυπηρετούνται ανά χρονική μονάδα. |
| GPU/VRAM utilization | Χρήση επιταχυντή και μνήμης. |
| Error rate | Ποσοστό αποτυχημένων requests. |