¿Qué es la temperatura en un LLM?

Explicación

La temperatura es un parámetro que se aplica cuando un modelo de lenguaje genera texto y que controla cuánto azar entra en la elección de cada token siguiente. El modelo asigna una probabilidad a cada token posible; la temperatura cambia la forma de esa distribución antes de elegir uno. Una temperatura baja concentra la elección en los tokens más probables y da respuestas precisas y repetibles; una más alta la reparte y da textos más variados, creativos y menos predecibles. Elegirla forma parte de ajustar el modelo a la tarea, desde extraer datos hasta generar ideas.

Cómo funciona

En cada paso, el modelo da una puntuación a cada token de su vocabulario. Esas puntuaciones se dividen por la temperatura y se convierten en probabilidades. Dividir por un número pequeño exagera las diferencias y los tokens de arriba dominan; dividir por uno mayor las aplana y los tokens menos probables tienen más opciones.

Con temperatura cero o casi cero, la generación se acerca a elegir siempre el token más probable. Aun así, no está garantizado que las salidas sean idénticas entre llamadas, por cómo se sirven los modelos.

Qué valor para cada tarea

• Los valores bajos encajan con extracción, clasificación, salidas estructuradas, código y respuestas que deben ceñirse a las fuentes.
• Los intermedios, con asistencia general y redacción en la que se agradece algo de variedad.
• Los altos, con generación de ideas, nombres y borradores creativos, donde importa más la variedad que la coherencia.
• Sea cual sea el valor, pruébalo: el efecto cambia entre modelos, y el valor por defecto del proveedor suele ser un buen punto de partida.

Temperatura, top-p y top-k

La temperatura cambia la forma de toda la distribución de probabilidades. Top-k se queda solo con los k tokens más probables. Top-p, o nucleus sampling, se queda con el conjunto más pequeño de tokens cuyas probabilidades suman p y corta la cola poco fiable.

Se pueden combinar, pero cambiar varios a la vez hace difícil entender el comportamiento; los proveedores suelen recomendar ajustar solo uno. Algunos proveedores han dejado además de aceptar valores de muestreo personalizados en sus modelos más nuevos y recomiendan guiar el comportamiento con el prompt, así que revisa la documentación del modelo que uses.

Preguntas frecuentes

Para seguir leyendo

• Ingeniería de prompts para IA generativa empresarial

Términos relacionados

• Parámetro Un parámetro es un valor numérico que un modelo aprende al entrenarse; los grandes modelos de lenguaje tienen miles de millones, y su número indica el tamaño del modelo.
• Token Unidad básica de texto que lee y escribe un modelo de lenguaje: una palabra, un trozo de palabra o un símbolo. En inglés, un token son unos cuatro caracteres.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.
• Agente IA Software que persigue un objetivo decidiendo sus propios pasos, usando herramientas y datos, y actuando sobre sistemas con poca intervención humana.
• Alucinación Cuando un modelo de lenguaje produce información que suena verosímil pero es falsa, inventada o no está respaldada por sus fuentes.