Google DeepMind introduce valutazioni AI a doppio cieco con crittografia

Google DeepMind ha implementato un sistema di valutazione a doppio cieco per modelli AI proprietari, utilizzando un ambiente crittograficamente protetto per mantenere sia il modello che le domande di valutazione nascosti reciprocamente. Questo metodo pilota, realizzato in collaborazione con il Singapore AI Safety Institute, OpenMined, AVERI e MLCommons, rappresenta un passo significativo verso valutazioni più affidabili e trasparenti delle capacità dei modelli di intelligenza artificiale.

Risposta Rapida

Il nuovo sistema di valutazione a doppio cieco di Google DeepMind utilizza la crittografia per proteggere sia i modelli AI che le domande di valutazione. Questo approccio mira a prevenire la contaminazione dei benchmark, garantendo che i risultati riflettano le reali capacità del modello. La tecnologia impiegata include Google Cloud’s Confidential Computing, Intel TDX e NVIDIA H100 GPU crittografate.

Il problema della contaminazione dei benchmark

La contaminazione dei benchmark è un problema crescente nel testing dei modelli AI. Quando un modello o il suo sviluppatore ha accesso alle domande di test prima della valutazione, un punteggio elevato potrebbe riflettere semplicemente la familiarità con il benchmark piuttosto che le effettive capacità del modello. Tradizionalmente, le protezioni come le politiche di zero-logging e le restrizioni contrattuali hanno aiutato a mantenere confidenziali le domande di valutazione, ma i safeguard crittografici possono aggiungere un ulteriore livello di protezione.

Architettura tecnologica della valutazione a doppio cieco

Il sistema utilizza la tecnologia Confidential Computing di Google Cloud per collocare il modello e i dati di valutazione all'interno di un ambiente protetto. L'evaluator non può accedere ai parametri del modello di Google, mentre Google non può accedere alle domande di test dell'evaluator. Il pilota è stato eseguito su una Google Cloud A3 Confidential VM, utilizzando l'encriptazione della memoria host Intel TDX e una GPU NVIDIA H100 Confidential. L'hardware encryption e la remote attestation sono stati utilizzati per mantenere isolati i prompt del benchmark e i parametri del modello, verificando contemporaneamente l'ambiente software.

Questo approccio è progettato per ridurre un compromesso di lunga data nelle valutazioni esterne dei modelli AI: in passato, gli evaluator dovevano scegliere tra fornire materiale di test sensibile agli sviluppatori dei modelli o chiedere alle aziende di esporre i parametri proprietari dei modelli. Google DeepMind afferma che questo metodo potrebbe essere particolarmente utile per valutazioni sensibili che coinvolgono la cybersecurity e i corpi governativi.

Valutazione di Gemini 2.5 Flash Lite

Il progetto ha coinvolto l'AVERI, che ha valutato Gemini 2.5 Flash Lite utilizzando prompt riservati dal benchmark di sicurezza AILuminate di MLCommons. Questo benchmark copre aree critiche come cyberattacchi, pericoli chimici e biologici, discorsi d'odio, autolesionismo e l'elicitazione di crimini violenti. Separatamente, il Singapore AI Safety Institute ha testato il modello utilizzando prompt confidenziali focalizzati su contenuti dannosi nel contesto di Singapore.

Limiti e considerazioni future

Nonostante i progressi, il pilota lascia alcune domande aperte. In particolare, non sono stati pubblicati i punteggi di Gemini 2.5 Flash Lite o un'analisi dettagliata dei risultati per compito. Il rapporto tecnico riconosce diverse limitazioni, tra cui l'impossibilità di ispezionare completamente alcuni codici di inferenza proprietari e la necessità di affidarsi a Google per la verifica dell'attestato. MLCommons ha anche avvertito che la segretezza tecnica da sola non è sufficiente; sono necessarie protezioni legali e una gestione attenta dei benchmark.

Implicazioni per l'industria AI

La maggiore importanza di questo esperimento non risiede nei punteggi ottenuti da Gemini su un benchmark di sicurezza, ma nella possibilità per le aziende AI di dimostrare che i loro risultati nei benchmark sono stati ottenuti in modo equo, senza influenze da parte degli evaluator o degli sviluppatori. Questa distinzione potrebbe diventare sempre più importante man mano che i punteggi dei benchmark influenzano le decisioni di regolatori, ricercatori e aziende.

Per i leader IT che valutano le affermazioni dei vendor, questo metodo potrebbe eventualmente fornire prove più solide che i modelli AI sono stati testati contro benchmark indipendenti e precedentemente non visti. Tuttavia, fino a quando il processo non diventa riproducibile indipendentemente e non vengono rilasciati risultati dettagliati, gli acquirenti dovrebbero ancora interrogarsi su chi ha fornito il benchmark, chi ha valutato i risultati, quali conclusioni sono state divulgate e quali parti del sistema richiedono fiducia nel fornitore del modello.

Verso uno standard industriale

Affinchè il testing a doppio cieco diventi uno standard significativo per l'industria, il processo dovrà essere indipendentemente riproducibile, trasparente nella metodologia e in grado di scalare tra modelli e benchmark. Senza questi elementi, l'industria potrebbe finire con test più sicuri senza necessariamente ottenere risultati più affidabili.

Questo sviluppo arriva in un momento in cui Google sta restringendo il rilascio di modelli specializzati come Gemini 3.5 Flash Cyber, sottolineando l'importanza per le aziende di esaminare le prove di performance indipendenti e i controlli di test prima di adottare modelli AI specializzati.

Implicazioni per la Sicurezza e la Governance dei Dati

L'approccio a doppio cieco adottato da Google DeepMind solleva importanti questioni riguardo alla sicurezza e alla governance dei dati sensibili. L'uso di tecnologie come l'Intel TDX e le GPU NVIDIA H100 Confidential rappresenta un passo avanti significativo nella protezione dei dati durante le valutazioni dei modelli AI. Tuttavia, l'affidamento a Google per la verifica dell'attestato introduce un livello di fiducia che potrebbe essere problematico per alcune applicazioni altamente sensibili.

Il Ruolo delle Infrastrutture Cloud

Google Cloud ha giocato un ruolo cruciale in questo progetto, offrendo infrastrutture hardware e software sicure per l'esecuzione delle valutazioni. Le A3 Confidential VM e le tecnologie di attestazione remota hanno permesso di mantenere isolati sia i parametri del modello che i prompt di valutazione. Questo dimostra come le infrastrutture cloud possano essere adattate per supportare valutazioni sicure di modelli AI proprietari.

Sfide per la Riproducibilità e la Trasparenza

Una delle principali sfide evidenziate dal rapporto tecnico riguarda la riproducibilità indipendente dei risultati. L'assenza di dettagli specifici sui punteggi e l'affidamento a Google per la verifica dell'attestato limitano la possibilità di una valutazione indipendente. Per diventare uno standard industriale, il processo dovrà essere aperto a verifiche terze e trasparente nella sua metodologia.

Impatto sui Regolatori e sulle Normative

L'adozione di queste tecniche di valutazione a doppio cieco potrebbe influenzare significativamente le normative sul settore AI. I regolatori potrebbero richiedere che i modelli AI siano valutati secondo standard indipendenti e riproducibili prima di essere approvati per uso pubblico o in settori critici come la sanità o la difesa. Questo approccio potrebbe anche influenzare le decisioni di acquisto da parte delle aziende, che potrebbero preferire modelli con valutazioni trasparenti e indipendenti.

Prospettive Future per le Valutazioni AI

Il futuro delle valutazioni AI potrebbe vedere un aumento nell'uso di tecniche crittografiche e di isolamento hardware per garantire la sicurezza e l'indipendenza dei test. Tuttavia, sarà necessario un equilibrio tra sicurezza e trasparenza. Le aziende dovranno sviluppare protocolli che permettano valutazioni rigorose senza compromettere la proprietà intellettuale o la competitività dei loro modelli.

Considerazioni su Gemini 3.5 Flash Cyber

L'annuncio di Google riguardo alla limitata disponibilità di Gemini 3.5 Flash Cyber sottolinea l'importanza di valutazioni indipendenti per modelli specializzati. Le aziende dovranno esaminare attentamente le prove di performance e i controlli di test prima di adottare questi modelli. La capacità di dimostrare che i risultati dei benchmark sono stati ottenuti in modo equo potrebbe diventare un fattore chiave nelle decisioni di adozione.

Mentre il pilota di Google DeepMind rappresenta un passo significativo verso valutazioni più sicure e indipendenti dei modelli AI, molte sfide rimangono. L'industria dovrà lavorare per sviluppare standard riproducibili e trasparenti, garantendo al contempo la protezione della proprietà intellettuale. Solo con questi progressi le valutazioni a doppio cieco potranno diventare uno strumento affidabile per l'adozione responsabile dell'AI in settori critici.

Risorse Aggiuntive

Nota Editoriale e Disclaimer

Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.

GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.

Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.

Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.