Skip to content
Λογότυπο GrCode Club σε μαύρο Λογότυπο GrCode Club σε λευκό GrCode Club

GrCode Club

Λογότυπο GrCode Club σε μαύρο Λογότυπο GrCode Club σε λευκό GrCode Club

GrCode Club

  • Αρχική
  • Προγραμματισμός
    • Developer
    • Web Development
    • Γλώσσες Προγραμματισμού
    • LLMs
    • Docker
  • Δίκτυα
    • Βασικές Πληροφορίες
    • Πρωτόκολλα Δικτύων
    • Υπηρεσίες & Θύρες
    • Cloud Computing
  • Λειτουργικά Συστήματα
    • Βασικές Πληροφορίες
    • Linux
    • Microsoft Windows
  • Κυβερνοασφάλεια
    • Βασικές Πληροφορίες
    • Κυβερνοεπιθέσεις
    • Εργαλεία Κυβερνοασφάλειας
  • Hardware
    • Βασικές Πληροφορίες
    • Εξαρτήματα Υπολογιστή
    • Οθόνες & Τηλεοράσεις
    • Υποστήριξη Υπολογιστή
    • Πιστοποίηση IP
  • Κινητά
    • Βασικές Πληροφορίες
    • Android
    • iPhone
  • Κοινότητα
    • Σύνδεση / Λογαριασμός
    • Μέλη
    • Γίνε Content Creator
    • Projects Μελών
    • Ξεκινήστε να Μαθαίνετε
  • Αρχική
  • Προγραμματισμός
    • Developer
    • Web Development
    • Γλώσσες Προγραμματισμού
    • LLMs
    • Docker
  • Δίκτυα
    • Βασικές Πληροφορίες
    • Πρωτόκολλα Δικτύων
    • Υπηρεσίες & Θύρες
    • Cloud Computing
  • Λειτουργικά Συστήματα
    • Βασικές Πληροφορίες
    • Linux
    • Microsoft Windows
  • Κυβερνοασφάλεια
    • Βασικές Πληροφορίες
    • Κυβερνοεπιθέσεις
    • Εργαλεία Κυβερνοασφάλειας
  • Hardware
    • Βασικές Πληροφορίες
    • Εξαρτήματα Υπολογιστή
    • Οθόνες & Τηλεοράσεις
    • Υποστήριξη Υπολογιστή
    • Πιστοποίηση IP
  • Κινητά
    • Βασικές Πληροφορίες
    • Android
    • iPhone
  • Κοινότητα
    • Σύνδεση / Λογαριασμός
    • Μέλη
    • Γίνε Content Creator
    • Projects Μελών
    • Ξεκινήστε να Μαθαίνετε

LLM Architecture – Transformers, Tokens και Attention

Η αρχιτεκτονική ενός Large Language Model (LLM) καθορίζει τον τρόπο με τον οποίο μετατρέπεται το κείμενο σε αριθμητικές αναπαραστάσεις, επεξεργάζεται από νευρωνικά επίπεδα και μετατρέπεται ξανά σε έξοδο. Τα περισσότερα σύγχρονα LLM βασίζονται στην αρχιτεκτονική Transformer.

1. Από το κείμενο στα tokens

Ο tokenizer χωρίζει το input σε tokens. Δεν αντιστοιχεί απαραίτητα ένα token σε μία λέξη: μπορεί να είναι λέξη, υπολέξη, σημείο στίξης ή ειδικό token. Κάθε token αντιστοιχίζεται σε ένα αριθμητικό ID από το vocabulary του μοντέλου.

Κείμενο → Tokenizer → [token_1, token_2, token_3]
                         ↓
                    [ID_1, ID_2, ID_3]

Το μέγεθος και η σχεδίαση του vocabulary επηρεάζουν την αποδοτικότητα της αναπαράστασης, το πλήθος tokens ανά κείμενο και τη συμπεριφορά σε διαφορετικές γλώσσες.

2. Embeddings και positional information

Κάθε token ID αντιστοιχίζεται σε ένα διάνυσμα μέσω ενός embedding table. Επειδή το Transformer δεν έχει από μόνο του εγγενή αντίληψη της σειράς των tokens, χρειάζεται positional information. Ανάλογα με το μοντέλο χρησιμοποιούνται learned positional embeddings, sinusoidal encodings ή τεχνικές όπως το Rotary Positional Embedding (RoPE).

3. Η αρχιτεκτονική Transformer

Ένα Transformer αποτελείται από επαναλαμβανόμενα blocks. Σε ένα τυπικό block συναντάμε attention, feed-forward network, residual connections και normalization. Η ακριβής σειρά και υλοποίηση διαφέρει μεταξύ αρχιτεκτονικών.

Self-attention και Q, K, V

Οι αναπαραστάσεις των tokens προβάλλονται σε Query (Q), Key (K) και Value (V). Τα Q και K χρησιμοποιούνται για να υπολογιστεί πόσο σχετική είναι κάθε θέση με τις υπόλοιπες, ενώ τα V περιέχουν την πληροφορία που συνδυάζεται.

Attention(Q,K,V) = softmax(QKᵀ / √dₖ) V

Στα decoder-only μοντέλα χρησιμοποιείται causal mask: κάθε θέση μπορεί να λαμβάνει υπόψη προηγούμενα tokens, όχι μελλοντικά. Έτσι διατηρείται η autoregressive πρόβλεψη του επόμενου token.

Multi-head attention

Πολλαπλά attention heads εκτελούν παράλληλους υπολογισμούς σε διαφορετικές προβολές των αναπαραστάσεων. Τα αποτελέσματα συνδυάζονται ώστε το μοντέλο να μπορεί να συσχετίζει διαφορετικά στοιχεία της ακολουθίας.

Feed-forward network, residuals και normalization

Το feed-forward network εφαρμόζει μη γραμμικούς μετασχηματισμούς ανά θέση. Οι residual connections διευκολύνουν τη ροή της πληροφορίας και των gradients, ενώ τα normalization layers σταθεροποιούν την εκπαίδευση.

4. Encoder, Decoder και Decoder-only

ΑρχιτεκτονικήΧαρακτηριστικάΤυπικές εργασίες
Encoder-onlyBidirectional context μέσα στην είσοδο.Classification, embeddings, κατανόηση κειμένου.
Decoder-onlyCausal attention και autoregressive παραγωγή.Chat, text generation, code generation.
Encoder-decoderEncoder για input και decoder για output.Translation, summarization, sequence-to-sequence.

5. Dense μοντέλα και Mixture of Experts

Σε ένα dense μοντέλο, μεγάλο μέρος των παραμέτρων ενεργοποιείται για κάθε token. Σε ένα Mixture of Experts (MoE), ένας μηχανισμός routing επιλέγει συγκεκριμένα expert υποδίκτυα. Έτσι μπορεί να υπάρχει μεγάλο συνολικό πλήθος παραμέτρων χωρίς να ενεργοποιούνται όλες σε κάθε βήμα. Αυτό δεν σημαίνει ότι το μοντέλο δεν έχει κόστος μνήμης: τα weights και οι απαιτήσεις serving εξακολουθούν να χρειάζονται προσεκτικό σχεδιασμό.

6. Από τα logits στην παραγωγή

Η τελική αναπαράσταση μετατρέπεται σε logits για κάθε token του vocabulary. Η διαδικασία decoding εφαρμόζει κανόνες επιλογής, όπως greedy decoding, temperature ή top-p sampling. Το επιλεγμένο token προστίθεται στην ακολουθία και η διαδικασία επαναλαμβάνεται.

7. Βασικοί όροι

  • Vocabulary: το σύνολο των tokens που γνωρίζει ο tokenizer.
  • Hidden size: η διάσταση των εσωτερικών αναπαραστάσεων.
  • Layers: τα επαναλαμβανόμενα Transformer blocks.
  • Attention head: ανεξάρτητη υπομονάδα attention.
  • Context length: το μέγιστο μήκος ακολουθίας που υποστηρίζει η συγκεκριμένη διαμόρφωση.
  • Autoregressive: παραγωγή κάθε νέου token με βάση τα προηγούμενα.

Social Media

  • Facebook
  • X
  • Instagram
  • TikTok
  • YouTube
  • Linkedin
  • Discord
Email Επικοινωνίας

info@grcodeclub.gr

Για Τεχνικά Θέματα

support@grcodeclub.gr

Πολιτική Cookies (ΕΕ)

Πολιτική απορρήτου

Όροι και Προϋποθέσεις

GrCode Club by @dimitridedou
Διαχείριση Συγκατάθεσης
Για να παρέχουμε την καλύτερη εμπειρία, χρησιμοποιούμε τεχνολογίες όπως cookies για την αποθήκευση ή/και την πρόσβαση σε πληροφορίες συσκευών. Η συγκατάθεση για τις εν λόγω τεχνολογίες θα μας επιτρέψει να επεξεργαστούμε δεδομένα προσωπικού χαρακτήρα, όπως συμπεριφορά περιήγησης ή μοναδικά αναγνωριστικά σε αυτόν τον ιστότοπο. Η μη συγκατάθεση ή η ανάκληση της συγκατάθεσης, μπορεί να επηρεάσει αρνητικά ορισμένες λειτουργίες και δυνατότητες.
Λειτουργικά Πάντα ενεργό
Η τεχνική αποθήκευση ή πρόσβαση είναι απολύτως απαραίτητη για τον νόμιμο σκοπό της δυνατότητας χρήσης συγκεκριμένης υπηρεσίας που ζητείται ρητά από τον συνδρομητή ή τον χρήστη ή με αποκλειστικό σκοπό τη μετάδοση επικοινωνίας μέσω δικτύου ηλεκτρονικών επικοινωνιών.
Προτιμήσεις
Η τεχνική αποθήκευση ή πρόσβαση είναι απαραίτητη για τον νόμιμο σκοπό της αποθήκευσης προτιμήσεων που δεν ζητούνται από τον συνδρομητή ή τον χρήστη.
Στατιστικά
Η τεχνική αποθήκευση ή πρόσβαση που χρησιμοποιείται αποκλειστικά για στατιστικούς σκοπούς. Η τεχνική αποθήκευση ή πρόσβαση που χρησιμοποιείται αποκλειστικά για ανώνυμους στατιστικούς σκοπούς. Χωρίς κλήτευση, η εθελοντική συμμόρφωση εκ μέρους του Παρόχου Υπηρεσιών Διαδικτύου ή πρόσθετες καταγραφές από τρίτο μέρος, οι πληροφορίες που αποθηκεύονται ή ανακτώνται για το σκοπό αυτό από μόνες τους δεν μπορούν συνήθως να χρησιμοποιηθούν για την αναγνώρισή σας.
Εμπορικής Προώθησης
Η τεχνική αποθήκευση ή πρόσβαση απαιτείται για τη δημιουργία προφίλ χρηστών, για την αποστολή διαφημίσεων ή για την καταγραφή του χρήστη σε έναν ιστότοπο ή σε διάφορους ιστότοπους για παρόμοιους σκοπούς εμπορικής προώθησης.
  • Διαχείριση επιλογών
  • Διαχείριση υπηρεσιών
  • Manage {vendor_count} vendors
  • Διαβάστε περισσότερα για αυτούς τους σκοπούς
Προβολή προτιμήσεων
  • {title}
  • {title}
  • {title}