Ir al contenido principal
Contacto

Decisiones de IA Modelo operativo

Humano en el bucle o agentes autónomos: ¿cuánto debe decidir un agente de IA por su cuenta?

Respuesta corta

Mantén a una persona aprobando cada acción cuando un error sale caro, es difícil de deshacer o afecta a los derechos de alguien, y deja que el agente actúe solo cuando las acciones son de poco impacto, reversibles y están bien medidas. La autonomía no es un sí o un no: es un ajuste por acción que sube paso a paso según llega la evidencia. Sea cual sea el nivel, cada acción debe quedar registrada y una persona tiene que poder parar o corregir el sistema.

Actualizado: · Thinkia

Las opciones

Humano en el bucle

El agente prepara o propone cada acción y una persona la revisa y la aprueba antes de que tenga efecto.

Agente autónomo

El agente ejecuta acciones por su cuenta dentro de unos límites, y las personas supervisan con monitorización, muestreo y excepciones.

Comparativa

Criterio Humano en el bucleAgente autónomo
Quién decide cada acción Una persona, con la propuesta del agente y la evidencia delante. El agente, con permisos acotados; las personas fijan las reglas y resuelven lo que se escala.
Volumen y tiempo de respuesta Lo limita la capacidad de quien revisa: en los picos se forman colas y la respuesta se alarga. Escala con el volumen y responde en segundos, también fuera del horario laboral.
Coste de un error La mayoría de los errores se detienen antes de llegar a un cliente o a un sistema de registro. Los errores llegan a producción y se descubren después: importan la reversibilidad y el alcance del daño.
Principal riesgo humano Sesgo de automatización y cansancio: quien revisa acaba aprobando por defecto y el control se queda en un sello. Pérdida de contexto: nadie mira con atención hasta que un incidente obliga a hacerlo.
Trazabilidad Cada decisión tiene una persona que la aprobó, así que la responsabilidad es fácil de demostrar. Exige registros completos de entradas, planes, llamadas a herramientas y resultados para reconstruir qué pasó y por qué.
Señal para mejorar Cada aprobación, corrección o rechazo es feedback etiquetado para mejorar prompts, herramientas y evaluaciones. El feedback llega de revisiones por muestreo, excepciones y métricas de resultado; es más débil si no se diseña.
Encaje con usos de alto riesgo Cerca de lo que el AI Act pide a los sistemas de alto riesgo: personas capaces de entender, corregir y detener la salida. Solo es posible si se mantiene una supervisión efectiva: monitorización, capacidad de intervenir y forma de parar el sistema.
Decisiones sobre personas Una revisión humana real ayuda a cumplir el art. 22 del RGPD sobre decisiones con efectos jurídicos o similares. El RGPD restringe las decisiones solo automatizadas con efectos jurídicos o significativos similares: revisa excepciones y garantías.

Elige Humano en el bucle cuando…

  • La acción es difícil o imposible de deshacer: pagos, cambios de contrato, borrados, mensajes que salen a clientes.
  • La decisión afecta a los derechos de una persona o a su acceso a un servicio: crédito, seguros, empleo o prestaciones públicas.
  • El caso de uso puede ser de alto riesgo según el AI Act o entra en el art. 22 del RGPD.
  • El agente es nuevo, el conjunto de evaluación es pequeño o el proceso tiene muchas excepciones sin documentar.
  • Necesitas feedback etiquetado para mejorar el agente antes de ampliar su alcance.

Elige Agente autónomo cuando…

  • Las acciones son de poco impacto y reversibles: redactar, etiquetar, enrutar o completar registros.
  • El volumen o el tiempo de respuesta hacen inviable revisar cada caso, y la cola anularía el beneficio.
  • El agente tiene historial en un conjunto de evaluación fijo y en modo sombra, con una tasa de error que el negocio acepta.
  • Los permisos, los límites de gasto y la marcha atrás los impone el sistema, no solo el prompt.

Cuándo combinarlas

La mayoría de los agentes en producción usan las dos cosas, y se decide por acción, no por agente. Un patrón práctico es la autonomía por niveles: el agente actúa solo en pasos reversibles y de bajo riesgo, pide aprobación por encima de un umbral de importe, confianza o impacto, y escala todo lo que queda fuera de su política. Empieza en modo sombra, sigue con aprobación humana y pasa a autonomía en el nivel más bajo; mueve cada umbral solo cuando los datos de evaluación e incidentes lo respalden. Conserva un botón de parada y revisión humana por muestreo incluso en el nivel más alto.

Errores típicos

  • Tratar la autonomía como un único interruptor para todo el agente, en lugar de un umbral por acción y nivel de riesgo.
  • Añadir un paso de aprobación humana sin tiempo, contexto ni autoridad para decir que no, y convertir la supervisión en un trámite.
  • Dar al agente credenciales amplias y confiar en que el prompt lo mantenga dentro de los límites.
  • Subir la autonomía porque la demo salió bien, sin conjunto de evaluación, sin datos en modo sombra y sin plan de marcha atrás.
  • Registrar solo la salida final, de modo que nadie puede reconstruir qué entradas, plan y llamadas a herramientas llevaron a una acción.

Cómo lo enfoca Thinkia

Decidimos la autonomía por acción, no por agente. Con el responsable del proceso listamos cada acción que el agente puede ejecutar y la valoramos por impacto, reversibilidad y a quién afecta. De ahí sale un pequeño juego de niveles: actuar solo, actuar y avisar, pedir aprobación, no hacerlo nunca. Los agentes funcionan primero en paralelo con las personas y la autonomía crece solo al ritmo de la evidencia: resultados de evaluación, comparativas en modo sombra, retrabajo e incidentes.

En lo técnico, separamos razonamiento y ejecución. El modelo propone; una capa gobernada contrasta cada acción con la política, la ejecuta con credenciales acotadas y la registra. Synapse aporta esa capa común: SSO corporativo, un gateway con límites de uso, enrutado de modelos entre proveedores y RAG en la infraestructura del propio cliente, de modo que los pasos de aprobación, los límites y los registros son iguales para todos los agentes y no los rehace cada equipo.

Si un caso puede caer en una categoría de alto riesgo del Reglamento Europeo de IA (AI Act), mapeamos el papel de cada parte y los requisitos de supervisión humana antes de producción: quién supervisa, con qué formación y autoridad, cómo corrige o detiene el sistema y qué registros se conservan. Nuestra guía de gobierno de IA recoge niveles de riesgo, roles y una checklist práctica; es orientación operativa, no asesoramiento legal.

Productos de Thinkia implicados

Soluciones de IA relacionadas

Preguntas frecuentes

¿El AI Act obliga a que una persona apruebe cada decisión?

No. El art. 14 exige que los sistemas de alto riesgo se diseñen para que las personas puedan supervisarlos de forma efectiva: entender sus límites, ser conscientes del sesgo de automatización, interpretar la salida, decidir no usarla o invalidarla, e intervenir o detener el sistema. Cómo se hace depende del riesgo y del contexto. Contrasta tu caso con el texto del Reglamento y con asesoramiento jurídico cualificado.

¿Basta con poner a una persona en el bucle para cumplir?

Por sí solo, no. La supervisión tiene que ser efectiva: quien revisa necesita la información, la competencia, el tiempo y la autoridad para rechazar la propuesta. Una persona que aprueba todo protege poco y deja poca evidencia.

¿Cómo fijamos el umbral de autonomía?

Valora cada acción por impacto, reversibilidad y a quién afecta, y acuerda con el responsable del proceso la tasa de error que el negocio acepta en cada nivel. Mide el agente contra un conjunto de evaluación fijo y en modo sombra, y da autonomía solo donde los resultados se mantienen dentro de ese límite.

¿Qué hay que registrar de un agente autónomo?

Lo suficiente para reconstruir cualquier acción: la entrada, el contexto recuperado, el plan, cada llamada a herramienta con sus parámetros y su resultado, las versiones de modelo y prompt, y quién o qué la aprobó. Define de antemano la conservación de esos registros y quién puede acceder a ellos.

¿Se puede reducir la autonomía después de concederla?

Se debe poder. Trata la autonomía como configuración, no como una decisión de diseño fijada en el código, para bajar un umbral o devolver una acción a aprobación cuando la monitorización muestre deriva, un tipo de error nuevo o un cambio en el proceso.

Cómo llevarlo a la práctica

Decisiones relacionadas

Sectores donde aparece esta decisión

Términos clave

Artículos de Thinkia

Fuentes

¿Tienes esta decisión encima de la mesa? Hablemos.

Habla con un experto en IA