Glosario de IA Models & Architecture
¿Qué es BERT en procesamiento del lenguaje natural?
← Todos los términos del glosarioModelo de lenguaje Transformer de Google, preentrenado para leer el contexto en ambas direcciones; muy usado en búsqueda, clasificación y embeddings.
Explicación
BERT (Bidirectional Encoder Representations from Transformers) es un modelo de lenguaje que presentaron investigadores de Google en 2018. Se preentrena con grandes cantidades de texto sin etiquetar ocultando algunas palabras y aprendiendo a predecirlas a partir de las que tienen a ambos lados, lo que le da una buena comprensión del contexto. Después, un BERT preentrenado se ajusta con una sola capa de salida adicional para tareas como responder preguntas, clasificar o reconocer entidades. Lee y representa el texto en lugar de generarlo, y los codificadores tipo BERT siguen siendo la base de muchos sistemas de búsqueda semántica y embeddings.
Cómo funciona BERT
BERT usa solo la parte codificadora (encoder) de la arquitectura Transformer. Durante el preentrenamiento se ocultan algunas palabras de cada frase y el modelo aprende a rellenarlas con las palabras de antes y de después. El artículo original explica que este objetivo de modelado de lenguaje enmascarado se inspira en la tarea Cloze, el clásico ejercicio de rellenar huecos.
El resultado es un modelo que genera una representación contextual de cada palabra: la misma palabra recibe un vector distinto según la frase que la rodea. Esas representaciones son el punto de partida de las tareas posteriores.
BERT frente a los LLM tipo GPT
- BERT es un codificador: lee texto y produce representaciones. Los modelos tipo GPT son decodificadores: generan texto token a token.
- BERT mira el contexto en ambas direcciones a la vez; los modelos generativos predicen el siguiente token a partir de lo anterior.
- Los modelos tipo BERT son lo bastante pequeños y rápidos para clasificar y recuperar a gran volumen; los LLM generativos son más flexibles, pero más pesados.
- En muchos sistemas RAG conviven los dos: un codificador para embeddings y reordenación, y un modelo generativo para la respuesta.
Para qué se sigue usando
Los codificadores herederos de BERT siguen siendo habituales donde importan la velocidad, el coste y la previsibilidad: búsqueda semántica y embeddings, reordenación de fragmentos recuperados, clasificación de incidencias o correos, detección de entidades en documentos y filtrado de contenido. Las versiones destiladas, más pequeñas, permiten ejecutarlos en hardware modesto.
Preguntas frecuentes
¿Qué significa BERT?
BERT son las siglas de Bidirectional Encoder Representations from Transformers, «representaciones de codificador bidireccional a partir de Transformers». Bidireccional se refiere a usar el contexto a ambos lados de cada palabra; codificador, a la parte de la arquitectura Transformer que emplea.
¿BERT es un modelo de lenguaje grande (LLM)?
Es un modelo de lenguaje preentrenado y un antecesor importante de los LLM actuales, pero es mucho más pequeño que los modelos generativos de hoy y no genera texto libre. Se suele describir como modelo codificador más que como LLM en el sentido actual.
¿Se sigue usando BERT?
Sí. BERT y sus descendientes se usan mucho para embeddings, búsqueda semántica, reordenación y clasificación, porque son eficientes y bien conocidos. Para generar texto abierto se usan LLM generativos.
¿Qué diferencia hay entre BERT y ChatGPT?
BERT lee texto y lo convierte en representaciones que otros componentes usan para buscar o clasificar. ChatGPT se apoya en modelos generativos que redactan respuestas. Resuelven partes distintas de un problema y a menudo se usan juntos.
¿Cómo se usa BERT en buscadores?
Los modelos tipo BERT convierten consultas y documentos en vectores para que los resultados se emparejen por significado, no solo por palabras clave. También sirven para reordenar una lista corta de resultados según lo bien que cada uno responde a la consulta.
Dónde aparece en Thinkia
Para seguir leyendo
Términos relacionados
Fuentes
- Devlin et al. · BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (en inglés)
- Google Research · Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing (en inglés)
- Hugging Face · BERT (Transformers documentation) (en inglés)
Actualizado: 2026-10-21