Glosario LLM — Arquitectura Transformer

1. Entrada / Representación

Token: Unidad mínima en que se divide el texto (palabra, subpalabra o carácter) antes de ser procesada por el modelo.
Tokenización: Proceso de segmentar el texto crudo en tokens, usando algoritmos como BPE o WordPiece.
id-token: Número entero que identifica a cada token dentro del vocabulario del modelo; es lo que realmente recibe la red.
Matriz embedding: Tabla aprendida que convierte cada id-token en un vector denso de dimensión fija, capturando relaciones semánticas.
Embedding posicional: Vector adicional que codifica la posición del token en la secuencia, ya que el self-attention no tiene noción de orden por sí mismo.
Vocabulario: Conjunto finito de tokens posibles que el modelo puede reconocer y generar.

Self-attention: Mecanismo que permite a cada token ponderar la relevancia de todos los demás tokens en la secuencia para construir su representación contextual.
Multi-head attention: Varias cabezas de atención en paralelo, cada una aprendiendo distintos tipos de relaciones entre tokens.
Query, Key, Value (Q, K, V): Tres proyecciones lineales de los embeddings sobre las que se calcula la atención: consulta, clave y valor.
Feed-forward network (FFN): Capa densa aplicada token a token después de la atención, típicamente con expansión y contracción de dimensión.
Layer normalization: Normalización que estabiliza el entrenamiento y acelera la convergencia en cada subcapa del bloque.
Residual connection: Conexión que suma la entrada de una subcapa a su salida, facilitando el flujo de gradientes en redes profundas.

Logits: Puntuaciones sin normalizar sobre el vocabulario para el siguiente token candidato.
Softmax: Función que convierte logits en una distribución de probabilidad sobre el vocabulario.
Decodificación autoregresiva: Generación secuencial donde cada token predicho se añade a la entrada para predecir el siguiente.
Encoder: Bloque que procesa toda la secuencia de entrada a la vez para producir una representación contextual completa.
Contexto: Ventana de tokens (pasados y a veces futuros) que el modelo puede "ver" al procesar o generar una posición dada.
Temperatura: Hiperparámetro que escala los logits antes del softmax, controlando qué tan determinista o aleatoria es la generación.