¿Qué son los parámetros de un modelo de IA?

Explicación

Los parámetros son los valores numéricos, sobre todo los pesos de las conexiones de una red neuronal, que un modelo ajusta durante el entrenamiento para adaptarse a sus datos. En conjunto guardan lo que el modelo ha aprendido y, cuando termina el entrenamiento, quedan fijos salvo que se haga un fine-tuning. Los grandes modelos de lenguaje tienen miles de millones de parámetros, y las etiquetas de tamaño de los nombres de modelo, como 7B o 70B, se refieren a ese número. Más parámetros suelen permitir más capacidad, pero también piden más memoria y más cómputo para funcionar.

Cómo funcionan los parámetros

Una red neuronal está hecha de capas de operaciones sencillas. Cada conexión tiene un peso, y cada unidad puede tener un sesgo; esos son los parámetros. Al entrenar, el modelo ve ejemplos, mide su error y ajusta un poco cada parámetro para reducirlo. Repetido con grandes cantidades de datos, esos ajustes hacen que la red capte patrones del lenguaje, de las imágenes o de otros datos.

Los parámetros no son lo mismo que los hiperparámetros, que son los ajustes que eligen las personas antes de entrenar, como la tasa de aprendizaje o el número de capas.

Parámetros, tamaño y coste

El número de parámetros es una guía aproximada del tamaño de un modelo. Marca cuánta memoria hace falta para cargarlo y cuánto cómputo cuesta cada respuesta, y eso afecta a la latencia y al coste. La investigación sobre leyes de escalado mostró que, en los modelos de lenguaje, la calidad mejora de forma predecible cuando crecen a la vez los parámetros, los datos y el cómputo.

Aun así, el número no lo es todo. También cuentan los datos de entrenamiento, el método y la arquitectura. Los modelos mixture-of-experts, por ejemplo, tienen muchos parámetros pero solo usan una parte en cada token. Un modelo más pequeño y bien entrenado puede igualar a otro mayor en tareas concretas.

Por qué importa a las empresas

• Elección de modelo: uno más pequeño puede ser más barato y rápido para una tarea acotada.
• Despliegue: el número de parámetros marca en gran parte el hardware necesario para ejecutar un modelo en tus servidores o en un dispositivo.
• Técnicas como la cuantización guardan los parámetros con menos bits para reducir memoria y coste, con cierta pérdida de calidad que hay que medir.
• Algunos métodos de fine-tuning ajustan solo una pequeña parte de los parámetros, no todos.

Preguntas frecuentes

Para seguir leyendo

• Modelos de Lenguaje Pequeños: La Clave del ROI y el Rendimiento de la IA Empresarial
• Modelos de Mezcla de Expertos: la solución empresarial para la latencia y el coste de la IA
• Más allá de los gigantes: tu ventaja es una cartera de modelos especializados

Términos relacionados

• Fine-Tuning Seguir entrenando un modelo ya preentrenado con un conjunto de datos más pequeño y específico para que se comporte como necesitas.
• Entrenamiento Proceso de enseñar a un modelo a partir de datos ajustando sus parámetros, desde el preentrenamiento general hasta el ajuste fino para una tarea concreta.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.
• Agente IA Software que persigue un objetivo decidiendo sus propios pasos, usando herramientas y datos, y actuando sobre sistemas con poca intervención humana.
• Alucinación Cuando un modelo de lenguaje produce información que suena verosímil pero es falsa, inventada o no está respaldada por sus fuentes.