Ir al contenido principal

Glosario de IA Operations

¿Qué es la inferencia en IA?

← Todos los términos del glosario
En pocas palabras

Fase en la que un modelo ya entrenado se usa para producir resultados, como una predicción, una clasificación o un texto, a partir de entradas nuevas.

Explicación

La inferencia es el momento en que un modelo entrenado se pone a trabajar: recibe una entrada nueva y produce una salida, como una previsión, una etiqueta, una imagen o la respuesta de un modelo de lenguaje. El entrenamiento ocurre una vez o cada cierto tiempo; la inferencia ocurre cada vez que alguien usa el sistema. Por eso, en producción, la mayor parte del coste de operación y la sensación de velocidad que tiene el usuario dependen de la inferencia. Optimizarla es equilibrar latencia, capacidad, coste y calidad eligiendo bien el tamaño del modelo, el hardware y las técnicas de servicio.

Entrenamiento frente a inferencia

El entrenamiento ajusta los parámetros del modelo con grandes conjuntos de datos y mucho cómputo. La inferencia deja esos parámetros fijos y solo ejecuta el modelo sobre cada entrada nueva.

Una llamada de inferencia cuesta mucho menos que un entrenamiento, pero se repite en cada petición, con cada usuario y cada día. En un asistente con mucho uso, el coste acumulado de la inferencia puede superar al de construirlo.

Qué determina la latencia y el coste

  • El tamaño del modelo: más parámetros, más cómputo por token o por predicción.
  • La longitud de la entrada y la salida: en modelos de lenguaje, prompts y respuestas largos cuestan más.
  • El hardware: GPU, TPU, otros aceleradores o CPU, en la nube o en el dispositivo.
  • La concurrencia: cuántas peticiones se atienden a la vez y cómo se agrupan.
  • La memoria: en los LLM, la caché clave-valor (KV cache) que guarda el contexto mientras se genera.

Cómo se optimiza

  • Elige el modelo más pequeño que cumpla el nivel de calidad y manda solo los casos difíciles a uno mayor.
  • Cuantiza o destila los modelos para que necesiten menos memoria y cómputo.
  • Usa motores de servicio que agrupen peticiones y gestionen bien la memoria, como vLLM.
  • Cachea los prompts y resultados que se repiten.
  • Ejecuta la inferencia en el edge cuando la latencia o la ubicación de los datos lo pidan.
  • Mide a la vez latencia, coste por petición y calidad, no una cosa cada vez.

Preguntas frecuentes

¿Qué es la inferencia en machine learning?

Es usar un modelo entrenado para hacer predicciones sobre datos nuevos. Un modelo de fraude que puntúa una transacción nueva o un modelo de lenguaje que responde una pregunta están haciendo inferencia.

¿Qué diferencia hay entre entrenamiento e inferencia?

En el entrenamiento el modelo aprende de los datos y sus parámetros cambian. En la inferencia se usa el modelo terminado y sus parámetros no se tocan. El entrenamiento es puntual y pesado; la inferencia es continua y tiene que ser rápida.

¿Por qué es cara la inferencia de IA?

Porque los modelos grandes necesitan mucho cómputo y memoria en cada petición, y las peticiones se suman. En los modelos de lenguaje el coste crece además con el número de tokens que se procesan y se generan, así que los prompts y las respuestas largas cuestan más.

¿Qué es la latencia de inferencia?

Es el tiempo que pasa entre enviar una petición y recibir el resultado. En chat y en voz cuentan tanto el tiempo hasta el primer token como la velocidad de generación, porque deciden si la conversación resulta natural.

¿Dónde se ejecuta la inferencia?

Puede ejecutarse en la nube mediante una API, en tus propios servidores o en dispositivos como móviles, cámaras y equipos industriales. La elección depende de la latencia, el coste, la protección de datos y el tamaño del modelo.

Guías de decisión que usan este término

Dónde aparece en Thinkia

Productos

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA