¿Qué es la fusión en IA?

Explicación

La fusión es la integración de datos o representaciones de más de una fuente en una sola salida. En IA multimodal, consiste en combinar modalidades como texto, imagen, audio o datos de sensores para que el modelo razone sobre todas a la vez. En búsqueda y RAG, consiste en unir los resultados de varios métodos de recuperación, por ejemplo búsqueda por palabras clave y búsqueda vectorial, o de varias reformulaciones de la misma consulta, en una única lista ordenada. En los dos casos el objetivo es el mismo: cada fuente cubre los huecos de las demás, y eso mejora la precisión y la riqueza del resultado.

Fusión en IA multimodal

Un modelo multimodal tiene que decidir cuándo combina sus entradas:

• Fusión temprana: las modalidades se combinan en la entrada o en las características y se procesan juntas.
• Fusión tardía: cada modalidad se procesa por separado y las predicciones se combinan al final.
• Fusión intermedia o híbrida: se procesan por separado al principio y se unen dentro del modelo, a menudo con mecanismos de atención.

La elección influye en lo bien que el modelo capta las relaciones entre modalidades, en cuántos datos necesita y en cómo se comporta si falta una entrada.

Fusión en búsqueda y RAG

La búsqueda híbrida lanza varios recuperadores en paralelo, normalmente uno por palabras clave como BM25 y una búsqueda semántica vectorial, y fusiona sus rankings. La búsqueda por palabras acierta con términos exactos, códigos y nombres; la vectorial, con el significado y las paráfrasis.

Un método muy usado es la reciprocal rank fusion (RRF), que puntúa cada documento según su posición en cada lista y suma las puntuaciones. No necesita entrenamiento y funciona bien con recuperadores muy distintos. RAG-Fusion aplica la misma idea a varias versiones reescritas de la pregunta del usuario.

Cuándo compensa

• La información está repartida en formatos distintos: documentos con imágenes, llamadas con transcripciones, sensores con logs.
• Un solo recuperador se deja resultados relevantes, por ejemplo códigos de producto que la búsqueda semántica no encuentra.
• La precisión importa más que la latencia y el coste extra de lanzar varios modelos o búsquedas.

Preguntas frecuentes

Para seguir leyendo

• Arquitecturas de IA multimodal: insights profundos mediante fusión
• Fusion RAG: aumento de la precisión y la relevancia en la IA generativa

Términos relacionados

• Integración Conectar modelos y agentes de IA con los sistemas, datos y procesos que ya tiene la empresa, para que lean información real y actúen en flujos reales.
• IA Multimodal IA capaz de recibir y relacionar más de un tipo de dato, como texto, imágenes, audio o vídeo, a menudo dentro de un mismo modelo.
• RAG Técnica que recupera fragmentos relevantes de una base de conocimiento y se los da a un modelo de lenguaje como contexto, para que responda apoyándose en esas fuentes.
• Recuperación Paso de búsqueda que obtiene los documentos o pasajes más relevantes para una consulta, antes de mostrarlos o pasarlos a un modelo.
• Adaptación de Dominio Ajustar un modelo de IA de propósito general para que funcione bien en un campo especializado, como el legal, el sanitario o el asegurador, con su lenguaje y sus reglas.
• Agenda del agente El plan vivo de un agente de IA: los próximos pasos en orden, las subtareas abiertas, lo bloqueado y los puntos de control hacia un objetivo.