¿Qué es un modelo de visión y lenguaje (VLM)?

Explicación

Un modelo de visión y lenguaje (VLM) es un modelo de IA que recibe imágenes y texto y razona con los dos. Suele combinar un codificador de imagen, que convierte los píxeles en representaciones numéricas, con un modelo de lenguaje que convierte esas representaciones y la pregunta del usuario en una respuesta. Así un mismo modelo puede describir fotos, leer documentos escaneados, interpretar gráficos y diapositivas o responder preguntas sobre una captura de pantalla. En la empresa, los VLM mueven la IA documental, la inspección visual y los asistentes multimodales, y llevan el RAG a contenido que no es texto plano.

Cómo funciona un VLM

• Un codificador de imagen divide la imagen en fragmentos y los convierte en vectores.
• Un conector lleva esos vectores al mismo espacio que los tokens del modelo de lenguaje.
• El modelo de lenguaje lee los tokens de imagen junto con la instrucción de texto y genera la respuesta.
• El entrenamiento con grandes conjuntos de imágenes y textos emparejados enseña al modelo a unir lo que ve con las palabras.

Para qué usan las empresas los VLM

• Tratamiento de documentos: facturas, formularios, contratos y escaneos, incluidas tablas y escritura a mano.
• Inspección visual: detectar defectos, daños o piezas que faltan en fotos de la operación.
• Búsqueda multimodal y RAG: responder preguntas que dependen de gráficos, diagramas o diapositivas, no solo de texto.
• Atención al cliente: entender las fotos que envían los clientes, como un producto dañado o una pantalla de error.
• Accesibilidad: describir imágenes para personas que no pueden verlas.

Límites que conviene tener en cuenta

Los VLM pueden leer mal letra pequeña, tablas densas o cifras exactas en gráficos, y pueden inventar detalles que no están en la imagen. El resultado depende de la calidad y la resolución de la imagen.

Para datos críticos, como los importes de una factura, conviene validar los valores extraídos con reglas u otros sistemas y dejar a una persona en el circuito para los casos de baja confianza.

Preguntas frecuentes

Guías de decisión que usan este término

• Modelos multimodales nativos o sistemas compuestos: ¿qué arquitectura elegir?

Para seguir leyendo

• Arquitecturas de IA multimodal: insights profundos mediante fusión

Términos relacionados

• RAG Técnica que recupera fragmentos relevantes de una base de conocimiento y se los da a un modelo de lenguaje como contexto, para que responda apoyándose en esas fuentes.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.
• Agente IA Software que persigue un objetivo decidiendo sus propios pasos, usando herramientas y datos, y actuando sobre sistemas con poca intervención humana.
• Alucinación Cuando un modelo de lenguaje produce información que suena verosímil pero es falsa, inventada o no está respaldada por sus fuentes.
• Aprendizaje Few-Shot Conseguir que un modelo haga una tarea a partir de muy pocos ejemplos, algo que los modelos de lenguaje grandes logran leyendo esos ejemplos en el prompt.