¿Qué es el jailbreaking en IA?

Explicación

El jailbreaking consiste en usar entradas preparadas para que un modelo de IA se salte sus restricciones de seguridad y produzca lo que normalmente rechazaría, como instrucciones dañinas, información confidencial o contenido contrario a sus políticas. Las técnicas típicas son el juego de rol, plantearlo como hipótesis, codificar la petición, trocearla en partes inocentes o saturar al modelo con ejemplos. La investigación muestra que funciona porque el entrenamiento de seguridad compite con el objetivo del modelo de ser útil y no siempre se extiende a entradas poco habituales. Para una empresa es un riesgo de seguridad y de reputación, y defenderse forma parte de la gobernanza de la IA.

Técnicas habituales

• Juego de rol: pedir al modelo que actúe como un personaje sin reglas.
• Marco hipotético o de ficción: presentar la petición como una historia, un juego o un ejercicio de investigación.
• Ofuscación: codificar la petición, traducirla o usar formatos raros que el entrenamiento de seguridad no cubrió.
• Descomposición: dividir una tarea prohibida en pasos pequeños que parecen inofensivos.
• Presión y repetición: conversaciones largas o muchos ejemplos que desplazan poco a poco el comportamiento del modelo.

Jailbreaking frente a inyección de prompts

Están relacionados y se confunden a menudo. El jailbreaking apunta a las reglas de seguridad del propio modelo: el usuario intenta que diga o haga algo que debería rechazar. La inyección de prompts apunta a la aplicación: instrucciones escondidas en la entrada o en contenido externo (una web, un correo, un documento) se imponen a lo que el desarrollador pidió al modelo.

OWASP trata el jailbreaking como una forma de inyección de prompts en la que el atacante consigue que el modelo ignore sus protocolos de seguridad. En agentes que pueden usar herramientas, los dos pesan más, porque un ataque con éxito puede disparar acciones reales.

Cómo se defienden las empresas

• Guardarraíles en capas: filtros de entrada y salida además del entrenamiento de seguridad del modelo.
• Mínimo privilegio: el modelo y sus herramientas solo llegan a los datos y acciones que la tarea necesita.
• Separar en el prompt las instrucciones del contenido no fiable.
• Red teaming y pruebas adversarias antes de salir a producción y de forma periódica.
• Monitorización y registros para detectar intentos y responder a incidentes.
• Aprobación humana para acciones de alto impacto.

Preguntas frecuentes

Cómo llevarlo a la práctica

• ¿Cómo hacer red teaming automático a tus agentes de IA?

Para seguir leyendo

• Red-Teaming automatizado: el nuevo estándar para la seguridad de la IA empresarial
• La nueva frontera de la seguridad en IA: cuando el modelo es el atacante

Términos relacionados

• Entrenamiento Proceso de enseñar a un modelo a partir de datos ajustando sus parámetros, desde el preentrenamiento general hasta el ajuste fino para una tarea concreta.
• Explicabilidad Capacidad de explicar, en términos que una persona pueda seguir, cómo un modelo de IA llegó a un resultado o una decisión (también llamada IA explicable, XAI).
• Guardrails Controles y políticas en tiempo de ejecución que revisan lo que entra y sale de un modelo de IA para que se comporte de forma segura, dentro del tema y de las reglas.
• Humano en el Bucle Diseño en el que personas revisan, aprueban o corrigen las salidas de un sistema de IA antes de que tengan efecto, o intervienen cuando el sistema duda.
• IA constitucional Un enfoque de entrenamiento en el que un modelo aprende a seguir un conjunto de principios escritos, una constitución, criticando y revisando sus propias respuestas.
• IA Ética IA diseñada, construida y usada según principios éticos como la equidad, la transparencia, la rendición de cuentas, la privacidad y la supervisión humana.