¿Qué es la destilación de conocimiento en IA?

Explicación

La destilación de conocimiento transfiere lo que ha aprendido un modelo profesor grande a un modelo alumno más pequeño. En lugar de aprender solo de las etiquetas correctas, el alumno aprende de las salidas del profesor, que llevan más información, por ejemplo cuán probable le parecía cada respuesta alternativa. El resultado es un modelo compacto, más barato y rápido de ejecutar en producción, a menudo con una pérdida de calidad moderada en la tarea objetivo. Se suele combinar con la cuantización y con modelos de lenguaje pequeños (SLM) para construir asistentes eficientes.

Cómo funciona la destilación de conocimiento

Se ejecuta el modelo profesor sobre un conjunto de entradas y sus salidas se convierten en objetivos de entrenamiento para el alumno. En el método que describieron Hinton, Vinyals y Dean, las probabilidades del profesor se suavizan con un parámetro de temperatura para que el alumno aprenda también qué respuestas incorrectas le parecían plausibles al profesor. Si hay etiquetas reales, el alumno se entrena con ambas.

Con modelos de lenguaje, la destilación suele ser más sencilla: un modelo grande genera respuestas de calidad para muchos ejemplos de una tarea y un modelo más pequeño se ajusta con ellas.

Para qué se usa

• Reducir el coste y la latencia de inferencia en tareas de mucho volumen.
• Ejecutar modelos en hardware modesto, en dispositivos o en local, donde no caben los grandes.
• Crear modelos pequeños especializados en una tarea, como clasificar o extraer datos, a partir de un modelo general grande.
• Obtener codificadores compactos, como las versiones destiladas de BERT, para búsqueda y embeddings.

Cuándo tiene sentido

• La tarea está bien definida y es estable, así que un modelo más pequeño puede especializarse.
• El volumen es lo bastante alto como para que importe el coste o la latencia por petición.
• Hay un conjunto de evaluación para confirmar que el alumno es suficientemente bueno.
• La licencia del modelo profesor permite usar sus salidas para entrenar otros modelos; compruébalo antes de empezar.

Preguntas frecuentes

Guías de decisión que usan este término

• Modelos de lenguaje pequeños o grandes: ¿cuál debe resolver tu caso de uso?

Para seguir leyendo

• Infraestructura de IA generativa: guía para la alta dirección
• Modelos de Lenguaje Pequeños: La Clave del ROI y el Rendimiento de la IA Empresarial
• Optimización automatizada de modelos: por qué dMX cambia la economía del despliegue de LLM

Términos relacionados

• Producción Entorno en vivo donde un sistema de IA sirve a usuarios reales con datos reales, frente a desarrollo, pruebas o un piloto.
• Cuantización Reducir la precisión numérica de los pesos o activaciones de un modelo, por ejemplo a INT8 o INT4, para que ocupe menos y la inferencia sea más rápida y barata.
• SLM Modelo de lenguaje compacto pensado para tareas acotadas, con menos coste y latencia que los modelos frontera y capaz de funcionar en hardware modesto.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.
• Agente IA Software que persigue un objetivo decidiendo sus propios pasos, usando herramientas y datos, y actuando sobre sistemas con poca intervención humana.