Ir al contenido principal

Glosario de IA Operations

¿Qué es la observabilidad de LLM?

Observabilidad LLM (LLM Observability)

← Todos los términos del glosario
En pocas palabras

Trazas, métricas y logs de prompts, recuperación, herramientas, coste y calidad para ver qué hizo una aplicación con LLM y por qué.

Explicación

La observabilidad de LLM consiste en registrar lo que pasa dentro de una aplicación construida sobre modelos de lenguaje: los prompts enviados, los documentos recuperados, las herramientas llamadas, las respuestas y la latencia, el consumo de tokens y el coste de cada paso. Aplica la idea general de observabilidad, entender el estado interno de un sistema a partir de lo que emite, a sistemas cuyo comportamiento es probabilístico. Junto a las señales técnicas se guardan puntuaciones de calidad y la opinión de los usuarios. Cierra el ciclo entre la experimentación y los agentes fiables en producción, porque hace visibles y rastreables los problemas que solo aparecen con usuarios reales.

Qué registra

  • Trazas: el recorrido completo de una petición, desde la entrada del usuario, pasando por la recuperación y las llamadas al modelo y a herramientas, hasta la respuesta final.
  • Entradas y salidas de cada paso, incluido el prompt que se envió de verdad y el contexto recuperado.
  • Latencia, número de tokens y coste, por llamada y por conversación.
  • Errores, tiempos de espera agotados, reintentos y cambios de modelo.
  • Señales de calidad: puntuaciones de evaluación automática, saltos de guardrails y valoraciones de usuarios.

Monitorización frente a observabilidad

La monitorización te dice que algo va mal: suben los errores, la latencia es alta, la factura ha crecido. La observabilidad te deja averiguar por qué, siguiendo una petición paso a paso y viendo qué recibió y qué produjo el modelo.

Con los LLM la diferencia pesa más de lo normal. Una respuesta puede ser rápida, sin errores y aun así incorrecta. Solo viendo juntos el contexto, el prompt y la salida sabes si el fallo estuvo en la recuperación, en las instrucciones, en el modelo o en una herramienta.

Cómo hacerlo bien

  • Instrumenta desde el primer prototipo, no después del lanzamiento: las sorpresas llegan con los primeros usuarios reales.
  • Usa estándares abiertos como OpenTelemetry para no atar las trazas a un proveedor.
  • Decide qué guardas: prompts y salidas pueden contener datos personales o confidenciales, así que aplica enmascarado, plazos de retención y control de acceso.
  • Enlaza trazas y evaluaciones, para que cada caso que falla se convierta en un caso de prueba.
  • Mide el coste por tarea, no solo por llamada, para saber cuánto cuesta de verdad cada caso de uso.

Preguntas frecuentes

¿Por qué necesitan observabilidad las aplicaciones con LLM?

Porque su comportamiento no se deduce del todo del código. La misma entrada puede dar salidas distintas, y una respuesta puede parecer correcta sin serlo. La observabilidad te da las pruebas para depurar fallos, controlar el coste y demostrar qué hizo el sistema.

¿Qué es una traza en observabilidad de LLM?

Una traza es el registro de una petición mientras recorre el sistema. Se compone de spans, uno por cada paso, como una recuperación, una llamada al modelo o una llamada a una herramienta, con sus entradas, salidas, tiempos y metadatos.

¿Qué métricas conviene seguir de un LLM en producción?

Lo básico es latencia, tasa de errores, consumo de tokens y coste. Además, sigue señales de calidad como las puntuaciones de evaluación, si las respuestas se apoyan en las fuentes, los saltos de guardrails y la opinión de los usuarios. Coste y calidad por caso de uso suelen servir más que las medias globales.

¿OpenTelemetry sirve para IA generativa?

Sí. OpenTelemetry tiene convenciones semánticas para IA generativa que normalizan los nombres de atributos de peticiones, respuestas y consumo de tokens. Cuando se escribió esta entrada seguían marcadas como en desarrollo, así que los nombres pueden cambiar.

¿La observabilidad de LLM es un riesgo para la privacidad?

Puede serlo, porque los logs pueden guardar datos personales o confidenciales de prompts y documentos. Enmascara los campos sensibles, limita la retención, restringe el acceso y asegúrate de que el registro está cubierto por tu evaluación de protección de datos.

Guías de decisión que usan este término

Cómo llevarlo a la práctica

Dónde aparece en Thinkia

Productos

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA