Ir al contenido principal

Glosario de IA Models & Architecture

¿Qué es GPT (generative pre-trained transformer)?

GPT (Generative Pre-trained Transformer)

← Todos los términos del glosario
En pocas palabras

Generative pre-trained transformer: tipo de modelo de lenguaje preentrenado con grandes corpus de texto para predecir el siguiente token, que después genera texto.

Explicación

GPT son las siglas de generative pre-trained transformer, un enfoque para construir modelos de lenguaje que presentó OpenAI. El modelo usa la arquitectura transformer, se preentrena primero con un volumen enorme de texto para predecir el siguiente token y después puede adaptarse a tareas concretas. Como genera el texto token a token, cada uno condicionado por los anteriores, se dice que es autorregresivo. GPT es también el nombre de la familia de modelos de OpenAI que hay detrás de ChatGPT, pero el mismo paradigma está en muchos otros grandes modelos de lenguaje.

Qué significa cada palabra

  • Generative (generativo): el modelo produce texto nuevo, no solo lo clasifica.
  • Pre-trained (preentrenado): primero aprende patrones generales del lenguaje con muchísimo texto sin etiquetar, antes de adaptarse a una tarea.
  • Transformer: la arquitectura de red neuronal que usa, basada en la atención, que permite a cada palabra tener en cuenta todas las demás de su contexto.

Cómo funciona

En el preentrenamiento, el modelo lee texto y aprende a predecir el siguiente token, una palabra o un trozo de palabra. Hacerlo sobre un corpus enorme le obliga a captar gramática, hechos, estilos y patrones de razonamiento.

Para generar, toma un prompt, predice el siguiente token más probable, lo añade y repite. Modelos posteriores mostraron que, con escala suficiente, el mismo modelo puede hacer tareas nuevas a partir de unos pocos ejemplos en el prompt, sin reentrenarlo. Los modelos de chat como ChatGPT añaden entrenamiento con feedback humano para que sigan instrucciones y respondan de forma útil.

Límites

  • Predice texto verosímil, así que puede escribir con soltura cosas falsas.
  • Su conocimiento se queda fijo en el momento del entrenamiento, salvo que se conecte a datos actuales.
  • Trabaja dentro de una ventana de contexto limitada.
  • El coste y la latencia crecen con el tamaño del modelo y con la longitud de entrada y salida.

Preguntas frecuentes

¿Qué significa GPT?

GPT son las siglas de generative pre-trained transformer, transformer generativo preentrenado. El nombre describe un modelo de lenguaje que genera texto, se preentrena con grandes cantidades de texto y usa la arquitectura transformer.

¿GPT y ChatGPT son lo mismo?

No. GPT se refiere a la arquitectura y a la familia de modelos de OpenAI. ChatGPT es una aplicación de chat construida sobre modelos GPT, con entrenamiento adicional para seguir instrucciones y mantener una conversación.

¿GPT es un gran modelo de lenguaje?

Sí. Los modelos GPT son grandes modelos de lenguaje (LLM). Muchos otros LLM, de distintos proveedores y proyectos open source, siguen el mismo diseño de transformer autorregresivo.

¿Quién inventó GPT?

OpenAI presentó el enfoque en un artículo de 2018 de Radford y otros, «Improving Language Understanding by Generative Pre-Training». Se apoyaba en la arquitectura transformer que habían publicado investigadores de Google en 2017.

Dónde aparece en Thinkia

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA