Glosario de IA Operations
¿Qué es la observabilidad de LLM?
Observabilidad LLM (LLM Observability)
← Todos los términos del glosarioTrazas, métricas y logs de prompts, recuperación, herramientas, coste y calidad para ver qué hizo una aplicación con LLM y por qué.
Explicación
La observabilidad de LLM consiste en registrar lo que pasa dentro de una aplicación construida sobre modelos de lenguaje: los prompts enviados, los documentos recuperados, las herramientas llamadas, las respuestas y la latencia, el consumo de tokens y el coste de cada paso. Aplica la idea general de observabilidad, entender el estado interno de un sistema a partir de lo que emite, a sistemas cuyo comportamiento es probabilístico. Junto a las señales técnicas se guardan puntuaciones de calidad y la opinión de los usuarios. Cierra el ciclo entre la experimentación y los agentes fiables en producción, porque hace visibles y rastreables los problemas que solo aparecen con usuarios reales.
Qué registra
- Trazas: el recorrido completo de una petición, desde la entrada del usuario, pasando por la recuperación y las llamadas al modelo y a herramientas, hasta la respuesta final.
- Entradas y salidas de cada paso, incluido el prompt que se envió de verdad y el contexto recuperado.
- Latencia, número de tokens y coste, por llamada y por conversación.
- Errores, tiempos de espera agotados, reintentos y cambios de modelo.
- Señales de calidad: puntuaciones de evaluación automática, saltos de guardrails y valoraciones de usuarios.
Monitorización frente a observabilidad
La monitorización te dice que algo va mal: suben los errores, la latencia es alta, la factura ha crecido. La observabilidad te deja averiguar por qué, siguiendo una petición paso a paso y viendo qué recibió y qué produjo el modelo.
Con los LLM la diferencia pesa más de lo normal. Una respuesta puede ser rápida, sin errores y aun así incorrecta. Solo viendo juntos el contexto, el prompt y la salida sabes si el fallo estuvo en la recuperación, en las instrucciones, en el modelo o en una herramienta.
Cómo hacerlo bien
- Instrumenta desde el primer prototipo, no después del lanzamiento: las sorpresas llegan con los primeros usuarios reales.
- Usa estándares abiertos como OpenTelemetry para no atar las trazas a un proveedor.
- Decide qué guardas: prompts y salidas pueden contener datos personales o confidenciales, así que aplica enmascarado, plazos de retención y control de acceso.
- Enlaza trazas y evaluaciones, para que cada caso que falla se convierta en un caso de prueba.
- Mide el coste por tarea, no solo por llamada, para saber cuánto cuesta de verdad cada caso de uso.
Preguntas frecuentes
¿Por qué necesitan observabilidad las aplicaciones con LLM?
Porque su comportamiento no se deduce del todo del código. La misma entrada puede dar salidas distintas, y una respuesta puede parecer correcta sin serlo. La observabilidad te da las pruebas para depurar fallos, controlar el coste y demostrar qué hizo el sistema.
¿Qué es una traza en observabilidad de LLM?
Una traza es el registro de una petición mientras recorre el sistema. Se compone de spans, uno por cada paso, como una recuperación, una llamada al modelo o una llamada a una herramienta, con sus entradas, salidas, tiempos y metadatos.
¿Qué métricas conviene seguir de un LLM en producción?
Lo básico es latencia, tasa de errores, consumo de tokens y coste. Además, sigue señales de calidad como las puntuaciones de evaluación, si las respuestas se apoyan en las fuentes, los saltos de guardrails y la opinión de los usuarios. Coste y calidad por caso de uso suelen servir más que las medias globales.
¿OpenTelemetry sirve para IA generativa?
Sí. OpenTelemetry tiene convenciones semánticas para IA generativa que normalizan los nombres de atributos de peticiones, respuestas y consumo de tokens. Cuando se escribió esta entrada seguían marcadas como en desarrollo, así que los nombres pueden cambiar.
¿La observabilidad de LLM es un riesgo para la privacidad?
Puede serlo, porque los logs pueden guardar datos personales o confidenciales de prompts y documentos. Enmascara los campos sensibles, limita la retención, restringe el acceso y asegúrate de que el registro está cubierto por tu evaluación de protección de datos.
Guías de decisión que usan este término
- Un único proveedor de IA vs estrategia multimodelo: ¿conviene apostar por uno solo?
- Piloto de IA vs producción: ¿qué cambia de verdad al escalar?
- Framework de agentes u orquestación propia: ¿adoptar un framework o escribir tu propio bucle de agente?
- Humano en el bucle o agentes autónomos: ¿cuánto debe decidir un agente de IA por su cuenta?
- Evals automáticas o revisión humana: ¿cómo garantizas la calidad de la IA en la empresa?
Cómo llevarlo a la práctica
Dónde aparece en Thinkia
Para seguir leyendo
Términos relacionados
Fuentes
- OpenTelemetry · Observability primer (en inglés)
- OpenTelemetry · Semantic conventions for generative AI systems (en inglés)
- MLflow · LLM tracing and agent observability (en inglés)
- Langfuse · Get started with LLM tracing (en inglés)
Actualizado: 2026-10-21