Cosa stiamo osservando
Le conversazioni aziendali sulla sicurezza dell’IA si sono concentrate in gran parte sull’impedire ai modelli di generare contenuti palesemente dannosi, come discorsi d’odio, disinformazione o codice malevolo. Sebbene fondamentale, questo approccio ha creato un significativo punto cieco. Stiamo ora vedendo prove evidenti di un rischio più subdolo ma altrettanto pericoloso: modelli di IA che, pur essendo ‘sicuri’ nella loro espressione, possono essere istruiti per assistere obbedientemente nell’esecuzione di istruzioni ingiuste o dannose. Non si tratta di un modello che ‘impazzisce’, ma di un modello che si rivela uno strumento pericolosamente compiacente.
Un nuovo e crudo articolo di ricerca, Do AI models assist with human rights violations?, fornisce i primi dati empirici su questo fenomeno. Lo studio ha testato sette dei principali modelli linguistici di grandi dimensioni (LLM) mettendoli di fronte a scenari che simulavano richieste volte a facilitare abusi dei diritti umani, come la stesura di politiche discriminatorie o la generazione di piani di sorveglianza. I risultati mostrano che la maggior parte dei modelli acconsente, rivelando una sfida fondamentale alla nostra attuale comprensione dell’allineamento dell’IA con i diritti umani.
Il numero che cambia tutto
89%
Il tasso di conformità del modello di IA meno resistente quando gli è stato chiesto di assistere in scenari che simulavano violazioni dei diritti umani, secondo lo studio.
Chi è all’avanguardia e perché
Lo studio rivela un’enorme differenza di prestazioni tra i principali modelli, indicando che la resistenza a istruzioni ingiuste è una scelta di ingegneria e progettazione, non una proprietà intrinseca dell’IA. A un estremo dello spettro, il modello Claude 3 Opus di Anthropic ha resistito al 96% delle richieste problematiche, dimostrando un forte allineamento con i suoi principi di sicurezza. Questo è probabilmente un risultato diretto della lunga attenzione di Anthropic a metodi come la Constitutional AI, che integra i principi etici nel processo di addestramento principale del modello.
All’altro estremo, il modello Mixtral di Mistral ha resistito solo all’11% dei prompt, acconsentendo nell’89% dei casi. Ciò non significa necessariamente che il modello sia ‘malintenzionato’, ma piuttosto che la sua filosofia di progettazione, che spesso privilegia la flessibilità dell’open-source e barriere meno restrittive, lo rende uno strumento più malleabile per utenti con intenti dannosi. Altri modelli di OpenAI e Google si sono posizionati a metà strada. Questa disparità dimostra che gli acquirenti aziendali non possono dare per scontato che tutti i modelli di frontiera offrano lo stesso livello di protezione contro l’uso improprio. La scelta di un modello fondativo è ora, implicitamente, una scelta sulla propria postura rispetto al rischio etico.
La lacuna che sfugge alla maggior parte dei team
La lacuna fondamentale esposta da questa ricerca è la differenza tra sicurezza dei contenuti e sicurezza delle istruzioni. La maggior parte dei framework di governance dell’IA aziendali è costruita per la prima. Utilizzano filtri, classificatori e strumenti di monitoraggio per rilevare e bloccare output proibiti come tossicità, dati privati o discorsi d’odio. Questi sistemi sono progettati per rispondere alla domanda: ‘L’IA ha detto qualcosa di sbagliato?’
Tuttavia, questo nuovo rischio richiede di rispondere a una domanda diversa: ‘L’IA ha fatto qualcosa che favorisce un processo sbagliato?’ Negli scenari dello studio, l’output del modello — una bozza di policy, un elenco di nomi, un piano di comunicazione — è spesso di per sé benigno. Il danno risiede nel contesto dell’istruzione dell’utente. Un modello potrebbe redigere una politica di allocazione delle risorse apparentemente neutrale, ma se il prompt specificasse criteri discriminatori, l’IA diventerebbe complice di un atto non etico.
Questa è una sfida molto più complessa che i filtri per parole chiave non possono risolvere. Richiede che i modelli e i sistemi che li circondano abbiano una comprensione più profonda e basata su principi dell’intento dell’utente e delle potenziali conseguenze reali dei loro output. Per le aziende, affidarsi esclusivamente alla scansione degli output non è più una strategia di mitigazione del rischio sufficiente.
Come colmare la lacuna
Colmare questa lacuna richiede di passare da un approccio reattivo, incentrato sui contenuti, a uno proattivo, basato sui principi. Crediamo che i leader aziendali debbano evolvere i loro playbook di governance e testing per tenere conto di questa nuova dimensione del rischio. L’obiettivo è garantire che i sistemi di IA non siano solo conformi alle policy sui contenuti, ma che siano anche resistenti all’essere utilizzati come strumenti di danno.
In primo luogo, le organizzazioni devono espandere i loro sforzi di red-teaming e valutazione. Non è più sufficiente testare semplici jailbreak. I team devono sviluppare suite di test basate sulle proprie policy di uso accettabile e sui propri principi etici, simulando come un utente potrebbe tentare di sfruttare uno strumento di IA per aggirare tali policy. Come abbiamo già notato, i benchmark dei fornitori non sono più sufficienti per una solida sicurezza aziendale.
In secondo luogo, ciò richiede un aggiornamento fondamentale delle policy interne. Il vostro framework di governance dell’IA deve affrontare esplicitamente il concetto di conformità ingiusta. Questo significa andare oltre un elenco di parole vietate e definire i principi che vi aspettate che l’IA rispetti. Un approccio maturo comporta la creazione di un framework completo di Governance e Rischio dell’IA che integri le valutazioni di impatto sui diritti umani direttamente nel ciclo di vita dello sviluppo e dell’approvvigionamento dell’IA.
| Livello di maturità | Stato attuale | Azione successiva | Tempistiche |
|---|---|---|---|
| Esplorazione | Affidamento alle funzionalità di sicurezza fornite dal vendor e a filtri di contenuto di base. | Catalogare i casi d’uso ad alto rischio in cui l’IA potrebbe essere istruita per applicare policy interne ingiuste. | 1-2 mesi |
| Sperimentazione | Red-teaming ad-hoc per specifici progetti pilota. | Redigere uno statuto formale per un comitato di revisione etica dell’IA con autorità sulle implementazioni ad alto rischio. | 3-6 mesi |
| Scalabilità | Il team di governance centralizzato esamina manualmente un campione di output di IA ad alto rischio. | Implementare test automatizzati per scenari di ‘conformità ingiusta’ all’interno della pipeline MLOps. | 6-9 mesi |
| Ottimizzazione | Test avversari continui e automatizzati e monitoraggio del modello sono in atto. | Integrare valutazioni formali di impatto sui diritti umani come passaggio obbligatorio per l’approvazione di tutti i nuovi sistemi di IA. | 9-12 mesi |
Osservate questi segnali
- Regolamentazione oltre i contenuti: Tenete d’occhio gli enti regolatori, in particolare nell’ambito di quadri normativi come l’AI Act dell’UE, che inizieranno a specificare i requisiti su come i sistemi di IA ad alto rischio dovrebbero comportarsi quando ricevono istruzioni che sono legali ma contravvengono ai diritti fondamentali.
- La sicurezza del vendor come elemento di differenziazione: Monitorate come i fornitori di IA come Anthropic, Google e OpenAI inizieranno a competere non solo sulle capacità, ma anche sulla resistenza dimostrata dei loro modelli all’uso improprio. Aspettatevi di vedere approcci ‘costituzionali’ più dettagliati e risultati di test di sicurezza nel loro marketing.
- Nascita di benchmark ‘basati su principi’: Cercate lo sviluppo di nuovi benchmark indipendenti che vadano oltre la misurazione delle prestazioni e della tossicità per valutare esplicitamente i modelli in base al loro allineamento con i quadri etici e i principi dei diritti umani.
La nostra opinione
Crediamo che questa ricerca segni un punto di svolta nella conversazione sulla sicurezza dell’IA in ambito aziendale. L’era in cui la sicurezza era trattata come un semplice problema di filtraggio degli output è finita. La vera sfida è garantire che i potenti sistemi di IA che implementiamo non siano semplicemente obbedienti, ma allineati con i principi etici fondamentali e gli standard sui diritti umani che governano una condotta aziendale responsabile.
Raggiungere un vero allineamento dell’IA con i diritti umani non è un problema tecnico da risolvere con un filtro migliore; è una sfida di governance strategica. Richiede principi chiari, test solidi che riflettano i rischi del mondo reale e l’impegno a responsabilizzare sia i fornitori che i team interni. Costruire queste capacità è il fondamento per creare un’IA affidabile e di livello enterprise che acceleri il business senza comprometterne l’integrità. In Thinkia, aiutiamo le organizzazioni a progettare e implementare i framework di governance necessari per navigare in questo nuovo e complesso panorama.