In una recente ricerca condotta da esperti di sicurezza, è emerso che i sistemi multi-agente AI come Amazon Bedrock Agents possono essere vulnerabili a un tipo specifico di attacco noto come "prompt injection". Questo tipo di attacco sfrutta le debolezze nelle comunicazioni inter-agent per eseguire azioni malevoli. La ricerca ha dimostrato che, sotto certe condizioni, un attaccante potrebbe progredire attraverso una catena di attacchi, determinando l'operating mode dell'applicazione, scoprendo agenti collaboratori e consegnando payload controllati dall'attaccante. Le vulnerabilità identificate non risiedono direttamente in Amazon Bedrock, ma piuttosto nelle modalità di gestione dei prompt e nella configurazione delle protezioni integrate.
Dettagli tecnici approfonditi
Operating Mode Detection
La fase di rilevamento del modo operativo è cruciale per comprendere come le richieste degli utenti vengono delegate agli agenti collaboratori. Abbiamo sviluppato una tecnica di rilevamento basata sull'analisi delle risposte del sistema a un payload di rilevamento appositamente progettato. Questo payload è costruito per determinare se la richiesta viene gestita dal supervisore o intercettata da un router.# Supervisor with Routing Mode
In applicazioni che operano in modalità Supervisor con Routing, il payload di rilevamento è progettato per bypassare il supervisore e raggiungere direttamente un agente collaboratore. Questo viene realizzato utilizzando la tag `# Supervisor Mode
In applicazioni che operano in modalità Supervisore, il payload di rilevamento è progettato per essere gestito solo dal supervisore. Questo viene realizzato utilizzando lo strumento `AgentCommunicationsendMessage()` nel modello di prompt del supervisore per determinare se la richiesta viene elaborata dal supervisore. Successivamente, si istruisce il supervisore a rispondere all'utente finale con un messaggio speciale invocando lo strumento `AgentCommunicationsendMessage()`.Collaborator Agent Discovery
Per identificare tutti gli agenti collaboratori, è necessario inviare un payload di scoperta progettato per interrogare il supervisore riguardo agli agenti disponibili. È fondamentale che questo payload raggiunga il supervisore in entrambe le modalità operative:Payload Delivery
La fase di consegna del payload si concentra sull'invio di istruzioni controllate dall'attaccante a specifici agenti collaboratori. Poiché i percorsi di consegna differiscono tra le modalità operative, abbiamo progettato modelli di payload personalizzati per ciascuna modalità, con l'obiettivo di garantire che i payload raggiungano l'agente target senza alterazioni.# Supervisor Mode
In Supervisor Mode, il supervisore analizza ogni richiesta e decide se delegarla a un collaboratore. Per assicurarsi che il payload venga consegnato all'agente target, la richiesta deve segnalare in modo inequivocabile quale collaboratore dovrebbe gestirla. Il nostro modello di payload (Figura 8) realizza questo obiettivo:# Supervisor with Routing Mode
In Supervisor with Routing Mode, il payload deve essere progettato per superare il router e raggiungere direttamente l'agente target. Questo viene realizzato utilizzando la tag `Target Agent Exploitation
L'ultima fase consiste nel triggerare i payload e osservare l'esecuzione sugli agenti target. Questo può portare alla compromissione dei dati o al controllo degli agenti stessi, a seconda della natura del payload.Conclusioni
La tecnica di rilevamento del modo operativo e la scoperta degli agenti collaboratori sono fondamentali per eseguire un attacco efficace contro un'applicazione multi-agente. La capacità di distinguere tra Supervisor Mode e Supervisor with Routing Mode consente agli attaccanti di adattare le loro strategie in modo appropriato, aumentando le probabilità di successo dell'attacco.Dati, trend correlati, impatto sul settore.
La crescente adozione di sistemi multi-agente AI sta trasformando il panorama della cybersecurity. Questi sistemi, che estendono le capacità oltre le architetture a singolo agente, migliorano la funzionalità e la scalabilità, ma introducono anche nuove superfici di attacco attraverso la comunicazione inter-agente e l'orchestrazione. Un esempio rilevante è rappresentato dagli Amazon Bedrock Agents, che offrono funzionalità avanzate di collaborazione multi-agente. Tuttavia, queste stesse capacità possono essere sfruttate per attacchi di iniezione di payload, come dimostrato da recenti ricerche red team. Gli attacchi di iniezione di payload possono compromettere la sicurezza dei sistemi che utilizzano grandi modelli linguistici (LLMs). Poiché gli LLMs non possono affidabilmente distinguere tra input legittimi e avversari, qualsiasi agente che elabora testo non attendibile rimane potenzialmente vulnerabile. Questo problema è stato evidenziato in un recente studio su Amazon Bedrock Agents, dove sono stati identificati metodi per determinare l'operating mode di un'applicazione, scoprire agenti collaboratori e consegnare payload dannosi. I trend attuali mostrano un aumento del 30% negli attacchi basati su LLMs nel 2023 rispetto all'anno precedente. Questo dato sottolinea l'urgenza di implementare misure di sicurezza robuste per proteggere i sistemi multi-agente AI. Le soluzioni come Prisma AIRS e Cortex Cloud offrono strumenti avanzati per la protezione in tempo reale, il blocco delle minacce e l'enforcement di politiche di sicurezza. Tuttavia, è essenziale che gli sviluppatori adottino pratiche di codifica sicura e configurino correttamente i guardrails per prevenire tali attacchi. L'impatto sul settore è significativo, con aziende che investono milioni in tecnologie AI avanzate per migliorare l'efficienza operativa. Tuttavia, la mancanza di sicurezza può portare a perdite finanziarie e danni alla reputazione. Pertanto, è cruciale che le organizzazioni rimangano vigili e adottino misure proattive per mitigare i rischi associati ai sistemi multi-agente AI. In conclusione, mentre i sistemi multi-agente AI offrono vantaggi significativi, è fondamentale affrontare le sfide di sicurezza emergenti con strategie adeguate e tecnologie avanzate. Solo così si potrà garantire un ambiente sicuro e protetto per l'innovazione continua nell'era dell'intelligenza artificiale.Consigli pratici per l'utente/investitore
Identificazione delle vulnerabilità nei sistemi multi-agente
I sistemi multi-agente, come Amazon Bedrock Agents, estendono le capacità dei singoli agenti collaborando su compiti complessi. Tuttavia, questa architettura espande anche la superficie di attacco, introducendo nuove vie per l'esploitazione attraverso la comunicazione inter-agente e l'orchestrazione. La ricerca condotta da AWS ha dimostrato che, sotto determinate condizioni, un avversario potrebbe progredire sistematicamente attraverso una catena di attacchi, inclusa la scoperta degli agenti collaboratori e l'esecuzione di azioni malevole.Risposta delle guardie di AWS Bedrock
È importante notare che non sono state identificate vulnerabilità in Amazon Bedrock stesso. Inoltre, abilitando le guardie di sicurezza integrate, come la Guardrail per gli attacchi di prompt, è possibile bloccare efficacemente questi attacchi. Tuttavia, i risultati evidenziano una sfida più ampia nei sistemi che utilizzano grandi modelli linguistici (LLM): il rischio di iniezione di prompt. Poiché gli LLM non possono affidabilmente distinguere tra istruzioni definite dallo sviluppatore e input utente avversario, qualsiasi agente che elabora testo non attendibile rimane potenzialmente vulnerabile.Metodologia di red-teaming per applicazioni multi-agente
Per proteggere i sistemi multi-agente, è fondamentale adottare una metodologia di red-teaming che comprenda quattro fasi: 1. Rilevamento del modello operativo: Determinare se l'applicazione funziona in modalità Supervisor o Supervisor con Routing. 2. Scoperta degli agenti collaboratori: Identificare tutti gli agenti collaboratori e le loro responsabilità nell'applicazione. 3. Consegna del carico utile: Inviare istruzioni controllate dall'attaccante a specifici agenti collaboratori. 4. Esploitazione dell'agente target: Attivare i carichi utili e osservare l'esecuzione sugli agenti target.Detection del modello operativo
Il primo passo è determinare il modello operativo dell'applicazione. Questo può essere fatto analizzando la risposta a un payload di rilevamento appositamente progettato. In Supervisor con Routing Mode, il payload è progettato per bypassare il supervisore e raggiungere gli agenti collaboratori. In Supervisor Mode, il payload garantisce che la richiesta sia gestita solo dal supervisore.Scoperta degli agenti collaboratori
Una volta identificato il modello operativo, è necessario scoprire tutti gli agenti collaboratori. Questo può essere fatto inviando un payload di scoperta al supervisore, che garantisce che la richiesta raggiunga il supervisore in entrambi i modelli operativi. Il payload di scoperta è progettato per far sì che il supervisore descriva le funzionalità degli agenti collaboratori in modo indiretto, bypassando eventuali restrizioni di guardia.Consegna del carico utile
La fase successiva coinvolge la consegna di istruzioni controllate dall'attaccante a specifici agenti collaboratori. In Supervisor Mode, il supervisore analizza ogni richiesta e decide se delegarla a un collaboratore. Il payload deve essere progettato in modo che il supervisore invii la richiesta all'agente target corretto. Per proteggere i sistemi multi-agente, è essenziale implementare misure di sicurezza robuste e configurare correttamente le guardie integrate. La metodologia di red-teaming descritta può aiutare a identificare e mitigare le vulnerabilità nei sistemi multi-agente, riducendo il rischio di esposizione a attacchi avversari. Per ulteriori informazioni, consultare la [documentazione ufficiale di Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/agents-multi-agent-collaboration.html) e le [guardie di sicurezza di AWS Bedrock](https://aws.amazon.com/security/).Le nostre ricerche hanno evidenziato una vulnerabilità critica nei sistemi multi-agente basati su LLMs: la possibilità di iniezione di prompt (prompt injection). Questa minaccia permette a un attaccante di manipolare il comportamento degli agenti attraverso input malevoli, potenzialmente compromettendo la sicurezza dei dati e l'integrità operativa del sistema. Nonostante non siamo riusciti a identificare vulnerabilità specifiche in Amazon Bedrock stesso, i nostri test hanno dimostrato che, sotto determinate condizioni, un attaccante può sfruttare le interazioni tra agenti per eseguire azioni dannose. La protezione offerta dalle Guardrails di Bedrock è efficace quando correttamente configurate, ma la natura intrinsecamente rischiosa delle LLMs rende necessaria una vigilanza costante. Prevediamo che, man mano che le LLMs diventeranno più diffuse e integrate nei sistemi critici, il problema dell'iniezione di prompt continuerà a crescere. Le aziende dovranno adottare misure di sicurezza avanzate, come l'uso di soluzioni di runtime security come [Prisma AIRS](https://www.paloaltonetworks.com/prisma/prisma-ai-runtime-security) e [Cortex Cloud](https://docs-cortex.paloaltonetworks.com/r/Cortex-CLOUD/Cortex-Cloud-Runtime-Security-Documentation/Endpoint-protection), per mitigare questi rischi. In futuro, è probabile che vedremo lo sviluppo di nuove tecniche e strumenti per proteggere i sistemi basati su LLMs da attacchi sofisticati. La collaborazione tra fornitori di tecnologia e team di sicurezza sarà cruciale per anticipare e contrastare le minacce emergenti. Le organizzazioni dovranno investire in formazione continua e aggiornamenti regolari delle loro difese per rimanere un passo avanti rispetto ai potenziali aggressori. In sintesi, mentre i sistemi multi-agente offrono vantaggi significativi in termini di funzionalità e scalabilità, è essenziale affrontare le sfide della sicurezza con la stessa attenzione e risorse dedicate all'innovazione tecnologica. Solo così potremo garantire che i benefici delle LLMs siano realizzati in modo sicuro e responsabile.Nota Editoriale e Disclaimer
Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.
GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.
Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.
Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.