Cosa stiamo osservando
Nei nostri incontri con i leader dei servizi finanziari, della sanità e del settore pubblico, osserviamo uno schema ricorrente: l’euforia iniziale per l’IA generativa nel cloud pubblico si scontra con la dura realtà della sicurezza aziendale e della sovranità dei dati. Sebbene i modelli di base dei principali provider cloud offrano capacità incredibili, la prospettiva di inviare dati sensibili dei clienti o proprietà intellettuale al di fuori del firewall aziendale per l’inferenza rimane inaccettabile per molti. Questo attrito ha bloccato numerosi progetti di IA ad alto valore, lasciando i leader combattuti tra la spinta all’innovazione e il loro dovere fondamentale di gestire il rischio.
Ecco perché un recente articolo di ricerca di IBM, che descrive un sistema completo di Retrieval-Augmented Generation (RAG) in esecuzione su un mainframe, rappresenta un segnale così importante. L’articolo, intitolato Spyre-Accelerated Retrieval-Augmented Generation on IBM LinuxONE: A Cloud-Native Architecture for Secure, High-Throughput Enterprise AI Inference, descrive un’architettura in cui l’intera pipeline di IA, dal recupero dei dati all’inferenza del modello, è contenuta in un’unica piattaforma hardware affidabile. Ciò convalida una tendenza emergente che seguiamo da vicino: la necessità strategica di un’IA sicura on-premise per i casi d’uso aziendali più critici.
Il numero che cambia tutto
0
Il numero di volte in cui i dati aziendali sensibili escono dal perimetro hardware sicuro nella nuova architettura RAG on-premise di IBM.
Chi è in vantaggio e perché
La spinta verso un’IA sicura e locale sta creando una nuova dinamica competitiva. Da un lato, ci sono operatori storici come IBM, che sfruttano la loro profonda eredità nell’informatica aziendale sicura e ad alte prestazioni per costruire una nicchia difendibile. Posizionando il mainframe non come un sistema obsoleto, ma come un ‘dispositivo di IA sicuro’ appositamente costruito, fanno leva sui loro punti di forza in termini di fiducia, affidabilità e conformità. Per la loro base di clienti esistente nel settore bancario e assicurativo, questa è una proposta convincente che riduce al minimo le modifiche architetturali e semplifica gli audit normativi.
Dall’altro lato ci sono gli hyperscaler del cloud pubblico: AWS, Google e Microsoft. Sebbene dominino il mercato dell’IA in generale, incontrano difficoltà in questi specifici casi d’uso ad alta sicurezza. Le loro soluzioni, come AWS PrivateLink o il Confidential Computing di Google, sono tentativi di rispondere a queste preoccupazioni, ma spesso introducono complessità. Verificare un sistema distribuito che unisce più servizi cloud e connessioni di rete private è intrinsecamente più difficile che convalidare un singolo dispositivo hardware integrato. Come rilevato in una ricerca di McKinsey sul cloud ibrido, la gestione della sicurezza e della conformità in ambienti ibridi rimane una delle principali sfide per le aziende. L’approccio di IBM di fatto aggira questa complessità per un problema specifico e di alto valore.
Il divario che sfugge alla maggior parte dei team
Molti team di IA aziendali stanno scoprendo un doloroso divario tra la capacità funzionale di un modello e la sua distribuibilità conforme. Un proof-of-concept che utilizza un’API pubblica con dati anonimizzati può sembrare incredibilmente promettente, mostrando un enorme potenziale per guadagni di efficienza o nuove esperienze per i clienti. Tuttavia, il progetto spesso si arena quando i team di sicurezza e legali vengono coinvolti per approvarne l’uso con dati di produzione reali e sensibili. La conversazione si sposta dall’accuratezza del modello alla residenza dei dati, agli standard di crittografia e alla catena di custodia dei dati in transito e a riposo.
Il divario che sfugge alla maggior parte dei team consiste nel sottovalutare il costo totale della conformità per l’IA basata su cloud. Il costo dell’inferenza per token è solo una piccola parte dell’equazione. I costi reali, spesso nascosti, sono le ore di lavoro dei team di sicurezza, legali e di conformità necessarie per verificare e monitorare continuamente un’architettura cloud complessa e multi-servizio. Una soluzione integrata e on-premise riduce drasticamente questa superficie di rischio e, di conseguenza, l’onere della governance. Trasforma la discussione sulla sicurezza da un problema di sistemi distribuiti a un esercizio di convalida di una singola piattaforma, molto più gestibile per le organizzazioni regolamentate.
Come colmare il divario
Colmare il divario tra l’ambizione dell’IA e la realtà della sicurezza richiede un approccio pragmatico all’infrastruttura, basato sul rischio. In primo luogo, raccomandiamo ai leader tecnologici di rivalutare esplicitamente il presupposto del ‘solo cloud’ che ha dominato la strategia IT nell’ultimo decennio. Le esigenze uniche dell’IA generativa, in particolare per quanto riguarda la data gravity e la sicurezza, richiedono una strategia ibrida più sfumata.
In secondo luogo, le aziende devono segmentare i casi d’uso dell’IA in base alla sensibilità dei dati e all’impatto normativo. Un chatbot di marketing che utilizza informazioni pubbliche sui prodotti ha un profilo di rischio molto diverso da un bot di consulenza patrimoniale che accede ai dati finanziari dei clienti. Questa segmentazione consente una strategia infrastrutturale su misura: i carichi di lavoro a basso rischio possono sfruttare la scalabilità e la flessibilità dei modelli di cloud pubblico, mentre quelli ad alto rischio sono indirizzati a un ambiente di IA sicura on-premise. Questo approccio a più livelli è fondamentale per qualsiasi framework efficace di Governance e Rischio dell’IA.
Infine, i team di sicurezza e conformità devono essere partner nel ciclo di vita dello sviluppo dell’IA fin dal primo giorno, non un punto di controllo finale. Coinvolgendoli nella progettazione architettonica iniziale, i team possono selezionare in modo proattivo piattaforme e modelli pre-approvati per i dati ad alto rischio, evitando mesi di rilavorazioni e frustrazioni quando un progetto pilota promettente non supera la revisione finale di sicurezza. Questo è particolarmente vero per le aziende che affrontano le complessità dell’IA nella finanza, come descritto nel nostro whitepaper sull’IA generativa nei servizi finanziari.
| Livello di maturità | Stato attuale | Azione successiva | Tempistica |
|---|---|---|---|
| Esplorazione | Esecuzione di PoC su API di cloud pubblico con dati anonimizzati o sintetici. | Classificare i potenziali casi d’uso di produzione in base alla sensibilità dei dati e al rischio normativo. | 1-2 mesi |
| Sperimentazione | Costruzione di un progetto pilota con dati sensibili, incontrando spesso ostacoli di sicurezza e conformità. | Valutare architetture di IA on-premise o in cloud privato virtuale per il caso d’uso specifico ad alto rischio. | 3-6 mesi |
| Scalabilità | Un servizio di IA basato su cloud è in produzione, ma solo per dati a basso rischio e non sensibili. | Sviluppare e ratificare una strategia formale di infrastruttura IA ibrida che includa una componente sicura on-premise. | 6-9 mesi |
| Ottimizzazione | Esecuzione di un mix di carichi di lavoro IA on-premise e cloud basato su un chiaro framework di rischio. | Standardizzare la governance, MLOps e gli strumenti di monitoraggio dei modelli in tutto l’ambiente ibrido. | 9-12 mesi |
Segnali da monitorare
- Acceleratori IA specializzati: Tenete d’occhio lo sviluppo di hardware per l’IA oltre le GPU. Chip e schede appositamente costruiti per compiti specifici come l’inferenza sicura (ad es. Spyre di IBM) o l’edge computing a basso consumo segnaleranno una maturazione del mercato oltre le pure prestazioni di addestramento.
- Offerte ‘on-prem’ dei provider cloud: Monitorate l’evoluzione di AWS Outposts, Google Anthos e Azure Arc. Il grado in cui riusciranno a fornire i loro servizi di IA gestiti e full-stack in un ambiente veramente isolato (air-gapped) e controllato dal cliente indicherà con quanta serietà stanno prendendo la richiesta di sovranità dei dati da parte delle aziende.
- Controllo normativo: Prestate attenzione alle nuove leggi sulla residenza dei dati e alle normative sull’IA specifiche del settore. Qualsiasi nuova legislazione che aumenti l’onere di conformità per i flussi di dati transfrontalieri accelererà direttamente la domanda di soluzioni di IA on-premise.
La nostra opinione
Crediamo che il futuro dell’IA aziendale sia fondamentalmente ibrido. L’idea che tutti i carichi di lavoro migreranno verso una manciata di cloud pubblici sta venendo sostituita da una comprensione più sofisticata del rischio, dei costi e della differenziazione competitiva. Per i casi d’uso aziendali più preziosi e sensibili, quelli che toccano la proprietà intellettuale e la fiducia dei clienti, l’IA sicura on-premise sarà un modello architettonico non negoziabile.
L’architettura RAG di IBM su LinuxONE è un dato significativo, non perché segnali un ritorno a un’era informatica passata, ma perché rappresenta una strategia lungimirante che risponde a un’esigenza aziendale duratura. Dimostra che un’IA sicura, conforme e ad alte prestazioni può essere fornita all’interno del perimetro aziendale. Per i leader dei settori regolamentati, questo approccio offre un percorso per sbloccare il valore dell’IA generativa senza compromettere i loro impegni fondamentali in materia di sicurezza e fiducia. In Thinkia, aiutiamo i leader aziendali a orientarsi in queste decisioni infrastrutturali critiche, costruendo strategie di IA che siano sia ambiziose che realizzabili.