Glosario de IA Operations
¿Qué es la evaluación de modelos de IA?
← Todos los términos del glosarioProceso de medir lo bien que funciona un modelo o una aplicación de IA: exactitud, relevancia, seguridad, sesgo, coste y otros criterios.
Explicación
La evaluación es la medición sistemática de lo bien que funciona un modelo o una aplicación de IA según los criterios que importan para su uso: exactitud, relevancia, fidelidad a las fuentes, seguridad, sesgo, estabilidad ante cambios, latencia y coste. En modelos de lenguaje combina métricas automáticas, conjuntos de prueba con respuestas conocidas, valoraciones hechas por otros modelos y revisión por personas. Los benchmarks públicos comparan modelos en general; tus propias evaluaciones te dicen si un sistema funciona con tu tarea y tus datos. Hace falta una buena evaluación antes de llevar un modelo a producción y de nuevo cada vez que cambian el modelo, el prompt o los datos.
Cómo se evalúa un sistema de IA
- Pruebas con referencia: entradas con salidas esperadas, puntuadas de forma automática por coincidencia, parecido o corrección.
- Evaluación por modelo: otro modelo puntúa las respuestas con una rúbrica; sirve para texto abierto, pero también hay que comprobarla.
- Revisión humana: expertos valoran una muestra de salidas; es la señal más fiable de calidad y la más cara.
- Pruebas adversarias: red teaming y pruebas de estrés para encontrar comportamientos inseguros o rotos.
- Evaluación en línea: señales del uso real en producción, como valoraciones de usuarios, derivaciones y tareas completadas.
Benchmarks frente a tus propias evals
Los benchmarks públicos miden modelos en tareas compartidas para poder compararlos. Sirven para preseleccionar, pero rara vez reflejan tus documentos, tus usuarios o lo que tú consideras una buena respuesta, y los modelos se pueden ajustar para puntuar bien en ellos.
Tu conjunto de evaluación propio se construye con casos reales de tu dominio y con las respuestas que tus expertos darían por buenas. Es la única forma de saber si un cambio de modelo, de prompt o de recuperación mejora o empeora tu sistema.
Evaluar agentes y RAG
En sistemas con recuperación, evalúa las piezas por separado: ¿la recuperación encontró los pasajes correctos?, ¿la respuesta se ciñó a ellos? Si no mides las dos cosas, los fallos de una parecen fallos de la otra.
En agentes no basta con la respuesta final. Mira el camino: qué herramientas llamó, con qué argumentos, si los pasos eran seguros y si paró cuando debía. El coste y el número de pasos también cuentan.
Preguntas frecuentes
¿Qué son las evals en IA?
Las evals son las pruebas con las que se mide el comportamiento de un sistema de IA: un conjunto de entradas, resultados esperados o reglas de puntuación y una forma de ejecutarlas una y otra vez. Funcionan como una batería de tests de software, pero puntúan calidad en lugar de dar solo aprobado o suspenso.
¿Cómo se evalúa un LLM?
Define qué es una buena salida para tu caso de uso, reúne casos de prueba representativos y puntúa las salidas combinando comprobaciones automáticas, rúbricas puntuadas por modelo y revisión humana. Ejecuta el mismo conjunto cada vez que cambies modelo, prompt o datos, y compara.
¿Qué es LLM-as-a-judge?
Es usar un modelo de lenguaje para puntuar las salidas de otro modelo según una rúbrica. Escala mejor que la revisión humana, pero tiene sus propios sesgos, así que conviene contrastar sus notas con valoraciones humanas en una muestra.
¿Qué métricas se usan para evaluar modelos de IA?
Depende de la tarea. Son habituales la exactitud, la precisión y la exhaustividad (recall) en clasificación; la relevancia y la fidelidad en recuperación y generación; y además seguridad, sesgo, estabilidad, latencia y coste. Marcos como HELM, de Stanford, miden varias de estas a la vez.
¿Por qué es importante evaluar antes de desplegar IA?
Porque un modelo que luce en una demo puede fallar con casos reales, y hacer daño a los usuarios o al negocio. La evaluación da pruebas de calidad y riesgo antes del lanzamiento y una línea base para detectar regresiones después. Marcos de riesgo como el AI RMF del NIST tratan la medición como una función central.
Guías de decisión que usan este término
- Un único proveedor de IA vs estrategia multimodelo: ¿conviene apostar por uno solo?
- Piloto de IA vs producción: ¿qué cambia de verdad al escalar?
- Framework de agentes u orquestación propia: ¿adoptar un framework o escribir tu propio bucle de agente?
- Evals automáticas o revisión humana: ¿cómo garantizas la calidad de la IA en la empresa?
- Modelos de razonamiento o LLM estándar: ¿cuándo compensa pagar por pensar más?
- Datos sintéticos o datos reales: ¿con qué entrenar, ajustar y probar tu IA?
Cómo llevarlo a la práctica
Dónde aparece en Thinkia
Para seguir leyendo
Términos relacionados
Fuentes
- Liang et al. · Holistic Evaluation of Language Models (HELM, arXiv, en inglés)
- NIST · AI Risk Management Framework (AI RMF 1.0, en inglés)
- Zheng et al. · Judging LLM-as-a-judge with MT-Bench and Chatbot Arena (arXiv) (en inglés)
Actualizado: 2026-10-21