Dos modelos reales aprenden la misma tarea: ordenar 6 letras. Uno es una red neuronal densa (MLP, perceptrón multicapa), que contesta las 6 letras de golpe. El otro es un GPT, que escribe una letra cada vez, como ChatGPT. Ninguno conoce la regla: la aprenden con ejemplos.
| Red neuronal densa (MLP) | GPT | |
|---|---|---|
| Entrada | Las 6 letras | Las 6 letras, más las que ya ha escrito |
| Por dentro | Capas de neuronas con conexiones fijas | Capas de neuronas más atención: cada letra "mira" a las demás y decide cuáles importan |
| Salida | Las 6 letras de golpe | Una letra, que se añade a la entrada; y vuelta a empezar |
Las dos son redes neuronales y reciben las mismas letras. El GPT es más complejo por dentro (la atención) y, sobre todo, cambia la forma de responder: pieza a pieza, reutilizando lo que ya ha escrito.
Arriba, la red densa. Abajo, el GPT: cada letra se convierte en números, pasa por 2 bloques y sale una probabilidad para A, B y C. Cada bloque tiene una parte de atención (las letras se miran entre sí) y una red densa como la de arriba (en naranja). El GPT contiene redes densas; lo que añade es la atención.
Calcula las 6 letras a la vez.
Escribe una letra, la añade y calcula la siguiente.
Cada fila es una letra que escribe el GPT, en orden. Las casillas verdes muestran en qué letras se fija (atención) para escribirla: más oscura, más atención. A la derecha, la probabilidad que da a A, B y C y la letra que elige. Al principio mira a todas por igual y elige casi al azar; con el entrenamiento aprende a fijarse en las letras útiles.
Izquierda: las 6 letras de entrada (se enciende la que hay en cada posición). Centro: 16 de sus 64 neuronas ocultas (más oscura = más activa). Derecha: la probabilidad de A, B y C en cada posición de la salida. Líneas verdes: pesos positivos; rojas: negativos; más gruesa = más peso. La red densa decide cada posición por separado, así que puede escribir, por ejemplo, tres A aunque en la entrada solo haya dos.
Cada cuadrito es una combinación de entrada. Verde: la ordena bien. Rojo: mal. El porcentaje es sobre las combinaciones que el modelo nunca vio al entrenar.
Los dos modelos de esta página estudiaron solo 145 de las 729 combinaciones (el 20 %). El resto no lo vieron nunca. Si solo memorizaran, fallarían con ellas. El GPT entrenado con distintas cantidades de ejemplos acierta en las que nunca vio:
| Ejemplos que vio al entrenar | Aciertos del GPT en combinaciones nuevas |
|---|---|
| 5 % (36 de 729) | 92 % |
| 10 % (72 de 729) | 98 % |
| 20 % (145 de 729) | 99 % |
Le pedimos que continúe la frase "La capital de Andalucía es". No escribe la respuesta entera: calcula qué palabra es más probable, la añade y repite.
Probabilidades ilustrativas. Un GPT real elige entre unas 100.000 palabras y trozos de palabra posibles. Es exactamente lo que has visto hacer a nuestro GPT con las letras A, B y C.
Con las letras hemos podido comparar los dos modelos porque la tarea es cerrada: siempre entran 6 letras, siempre salen 6 y solo hay 3 letras posibles. Una red densa necesita justo eso, una entrada y una salida de tamaño fijo.
Con palabras, responder de golpe con una red densa sería casi imposible:
El matiz: el problema no es tanto la red densa como contestar de golpe. Uno de los primeros modelos de lenguaje con redes neuronales (Yoshua Bengio, 2003) era una red densa que predecía la siguiente palabra, como un GPT. Funcionaba, pero solo podía mirar unas pocas palabras hacia atrás.
En una frase: con letras de tamaño fijo, una red densa puede competir con un GPT; con lenguaje real, la clave es escribir palabra a palabra y usar la atención para no perder el hilo.