Ir al contenido principal

Glosario de IA Models & Architecture

¿Qué es la cuantización en modelos de IA?

Cuantización (Quantization)

← Todos los términos del glosario
En pocas palabras

Reducir la precisión numérica de los pesos o activaciones de un modelo, por ejemplo a INT8 o INT4, para que ocupe menos y la inferencia sea más rápida y barata.

Explicación

La cuantización es una técnica que guarda y calcula los números de un modelo con menos bits, por ejemplo enteros de 8 o 4 bits en lugar de coma flotante de 16 o 32 bits. El modelo ocupa menos memoria, mueve menos datos y puede ir más rápido en GPU, TPU, NPU o incluso CPU. A cambio pierde algo de precisión, que los métodos actuales mantienen baja en muchas tareas. Es clave para desplegar grandes modelos de lenguaje con un coste razonable y para ejecutarlos en hardware más pequeño, en las instalaciones propias o en dispositivos.

Cómo funciona

Los pesos de un modelo se suelen guardar como números en coma flotante. La cuantización los lleva a un conjunto de valores más pequeño, como enteros en un rango fijo, más unos factores de escala que permiten reconstruirlos de forma aproximada.

  • Cuantización posentrenamiento: se aplica a un modelo ya entrenado, a menudo con un pequeño conjunto de datos de calibración. Métodos como GPTQ están pensados para grandes modelos generativos.
  • Entrenamiento consciente de la cuantización: el modelo se entrena o ajusta simulando la precisión baja, para que aprenda a tolerarla.
  • Solo pesos o pesos y activaciones: cuantizar solo los pesos ahorra memoria; cuantizar también las activaciones puede acelerar además el cálculo.

Qué ganas y qué arriesgas

  • Menos memoria, así que el modelo cabe en menos GPU o en GPU más pequeñas.
  • Inferencia más rápida y menor coste por petición en muchas configuraciones.
  • La opción de ejecutar modelos en instalaciones propias, en el edge o en dispositivos.
  • Algo de pérdida de calidad, normalmente mayor con precisiones muy bajas y en tareas exigentes como razonamiento, código o idiomas menos comunes.

Lo que se gana depende del hardware y del software de servicio, que tienen que soportar el formato elegido.

Cuándo tiene sentido

Conviene plantearla cuando el coste de servir el modelo o los límites del hardware son el cuello de botella, cuando los datos deben quedarse en casa o en el dispositivo, o cuando importa la latencia. Antes de usar un modelo cuantizado en producción, evalúalo con tus propias tareas y compáralo con el original: los benchmarks generales pueden no mostrar la pérdida en tu caso concreto.

También se combina con otras técnicas. QLoRA, por ejemplo, ajusta adaptadores sobre un modelo cuantizado a 4 bits para reducir la memoria necesaria al entrenar.

Preguntas frecuentes

¿Qué es la cuantización en los LLM?

Es reducir el número de bits con que se representan los pesos del modelo y, a veces, sus activaciones. Un LLM cuantizado necesita menos memoria y cálculo, así que es más barato y a menudo más rápido de ejecutar, a cambio de algo de precisión.

¿Qué diferencia hay entre cuantizar a INT8 y a INT4?

INT8 usa enteros de 8 bits e INT4 enteros de 4 bits. INT4 vuelve a reducir la memoria a la mitad respecto a INT8, pero la pérdida de precisión es mayor, así que hay que vigilar más la calidad.

¿La cuantización empeora la precisión?

Normalmente un poco. Con métodos actuales y precisiones moderadas, como 8 bits, la diferencia suele ser pequeña en muchas tareas. Con precisiones más bajas, o en tareas exigentes, la pérdida puede notarse, así que conviene medirla con tus propios casos de uso.

¿Qué diferencia hay entre cuantización y destilación?

La cuantización mantiene el mismo modelo y guarda sus números con menos precisión. La destilación entrena un modelo nuevo y más pequeño para que imite a uno grande. Las dos bajan el coste y se pueden combinar.

Guías de decisión que usan este término

Dónde aparece en Thinkia

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA