¿Qué es la IA multimodal?

Explicación

La IA multimodal trabaja con varios tipos de datos (texto, imagen, audio y vídeo) y los relaciona entre sí, a menudo en el mismo modelo. Un modelo multimodal puede describir una foto, responder preguntas sobre un documento escaneado, transcribir y resumir una llamada o encontrar imágenes a partir de una descripción. Así la IA trabaja con la información tal como existe en una empresa, que casi nunca es solo texto. La calidad sigue variando según la modalidad y la tarea, así que cada caso de uso necesita sus propias pruebas.

Cómo funcionan los modelos multimodales

Cada modalidad se convierte en una representación numérica con un codificador propio: uno para imágenes, otro para audio, otro para texto. Después el modelo aprende a colocar juntos los contenidos relacionados, de modo que la foto de una factura y las palabras que la describen quedan cerca.

Un enfoque muy influyente entrenó a la vez un codificador de imágenes y otro de texto con muchísimos pares de imagen y pie de foto, para que el modelo aprendiera qué texto corresponde a qué imagen. Muchos modelos grandes actuales van más allá y aceptan entradas mezcladas en una misma conversación.

Para qué se usa

• Leer documentos que mezclan texto, tablas, sellos y letra manuscrita, como partes, facturas o formularios.
• Analizar imágenes o vídeo para inspección, control de calidad o moderación de contenidos.
• Asistentes de voz y contact centers que escuchan, entienden y responden hablando.
• Búsqueda entre modalidades: encontrar una imagen, un producto o un momento de un vídeo a partir de un texto.
• Humanos digitales y avatares que combinan voz, expresión facial y diálogo.

Límites que conviene tener en cuenta

Los modelos multimodales pueden leer mal letra pequeña, gráficos o maquetaciones poco habituales, y pueden describir una imagen con seguridad y equivocarse. El audio y el vídeo pesan más, lo que afecta al coste y a la latencia. Las imágenes y grabaciones suelen contener datos personales, así que las normas de privacidad les afectan igual que al texto.

Preguntas frecuentes

Cómo llevarlo a la práctica

• ¿Cómo clasificar siniestros con IA?

Para seguir leyendo

• Arquitecturas de IA multimodal: insights profundos mediante fusión

Términos relacionados

• Caso de Uso Escenario de negocio concreto en el que se aplica la IA a una tarea específica, para unos usuarios concretos y con un resultado medible.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.
• Agente IA Software que persigue un objetivo decidiendo sus propios pasos, usando herramientas y datos, y actuando sobre sistemas con poca intervención humana.
• Alucinación Cuando un modelo de lenguaje produce información que suena verosímil pero es falsa, inventada o no está respaldada por sus fuentes.
• Aprendizaje Few-Shot Conseguir que un modelo haga una tarea a partir de muy pocos ejemplos, algo que los modelos de lenguaje grandes logran leyendo esos ejemplos en el prompt.