EVOHUNT: AI Auditing System Supera Codex Security di OpenAI
Un esperimento da $1.400 rivela vulnerabilità con maggiore efficienza

IN BREVE
- EVOHUNT utilizza un playbook testuale migliorabile per insegnare agli agenti AI a cercare bug, senza modificare il modello sottostante.
- Il sistema ha superato OpenAI's Codex Security, trovando vulnerabilità all'11,3% contro il 9,2% di Codex, su 371 casi di test.
- Il costo totale dell'esperimento è stato di circa $1.400, con un risparmio significativo rispetto ai modelli commerciali.
- EVOHUNT ha già prodotto 28 disclosures di vulnerabilità confermate in 18 progetti open-source, con un premio di $1.500 per un bug bounty.
- I playbook generati mostrano stili opposti: uno preciso e l'altro esaustivo, riflettendo le scelte quotidiane delle squadre di sicurezza.
Un sistema open-source supera Codex Security di OpenAI nella ricerca di vulnerabilità
Un team di ricercatori ha sviluppato un sistema innovativo, chiamato EVOHUNT, che insegna agli agenti AI a cacciare bug nel software scrivendo il metodo di audit come testo semplice. A differenza degli approcci tradizionali che migliorano il modello AI stesso, EVOHUNT mantiene fisso il modello sottostante e perfeziona solo un "playbook" esterno che guida l'agente nel suo lavoro.
Il risultato più significativo per chi acquista strumenti di sicurezza è che un modello open-source con un playbook evoluto ha trovato vulnerabilità reali a un tasso superiore rispetto al prodotto commerciale Codex Security di OpenAI, con un tasso di successo dell'11,3% contro il 9,2% su 371 casi di test.
Un approccio innovativo all'apprendimento
La maggior parte degli sforzi per migliorare un agente di audit AI sostituisce il modello con uno più grande, aggiorna il software operativo e modifica il flusso di lavoro. EVOHUNT, invece, separa questi elementi. Il modello e il suo software operativo rimangono bloccati, mentre un documento di testo migliora autonomamente.
Il sistema funziona in un loop di tre agenti: uno esamina il codice e segnala i problemi, un secondo verifica i risultati con le risposte conosciute, e un terzo riscrive il playbook in base agli errori. Il playbook inizia vuoto e si espande con ogni modifica accettata, con ogni versione salvata come codice in un repository git. I due playbook creati in questo modo hanno raggiunto circa 1.600 e 2.200 righe di procedura scritte dall'agente stesso.
I risultati dei test
L'aggiunta di un playbook evoluto all'agente GPT chiuso ha moltiplicato le sue exploit funzionanti sei volte. L'agente GLM open-source ha raggiunto l'11,3% e ha superato Codex Security in ogni misura monitorata dal team.
Dal punto di vista economico, la campagna di insegnamento è durata un mese su account in abbonamento per circa 1.400 dollari. Dopo questo periodo, l'audit vero e proprio viene eseguito su modelli open-source più economici. Applicare un playbook evoluto a un piccolo modello Qwen ha recuperato la maggior parte delle prestazioni a circa un terzo del costo per caso.
Il sistema ha già prodotto 28 segnalazioni di vulnerabilità confermate su 18 progetti open-source, con un premio di bug bounty di 1.500 dollari per un bug scoperto.
Due stili di audit distinti
Lasciati crescere autonomamente, i due playbook hanno sviluppato stili opposti, riflettendo una tensione che ogni team di sicurezza conosce bene.
Il playbook cresciuto con GPT è diventato uno strumento di precisione. Limita il numero di tipi di bug che insegue contemporaneamente e si rifiuta di segnalare qualsiasi cosa senza un exploit funzionante e riprodotto alle spalle. In un campione dei suoi risultati, non ci sono stati falsi allarmi.
Il playbook cresciuto con GLM è andato nella direzione opposta ed è diventato uno spazzaneve esaustivo. Ripete gli ordini per continuare a cercare più di trentacinque volte e accetta prove più sottili per coprire più terreno. Ha catturato più bug nel complesso e ha lasciato più risultati da far esaminare agli esseri umani. La scelta tra i due playbook rispecchia la decisione quotidiana che i team di sicurezza devono prendere tra una lista breve di cui fidarsi e una lista lunga da triage.
Trasferimento di competenze senza modificare i pesi
La parte che dà al lavoro la sua portata è il trasferimento. Un playbook cresciuto da un modello insegnante più forte ha reso i modelli più deboli e economici sostanzialmente migliori nello stesso lavoro. In termini semplici, l'esperienza risiede in un file di testo che qualsiasi modello compatibile può raccogliere. Un'organizzazione può pagare il passaggio di insegnamento costoso una volta, quindi eseguire il playbook risultante su modelli economici per tutto il tempo che desidera.
Ziyue Wang, co-autore del paper, ha affrontato la possibilità di combinare i due playbook per ottenere precisione e copertura allo stesso tempo. "Dal punto di vista accademico, la nostra priorità era mantenere il design sperimentale pulito", ha detto Wang. "Anche se non abbiamo mappato sistematicamente il budget esatto dell'adattatore o i meccanismi per risolvere gli stili di audit in conflitto, i nostri risultati attuali suggeriscono che fondere la precisione del playbook GPT con l'ampiezza del playbook GLM migliorerebbe le capacità complessive di hunting delle vulnerabilità dell'agente".
Confronto con i prodotti commerciali
Il metro di paragone commerciale, Codex Security, è un prodotto separato, quindi il modello e il software operativo sottostanti differiscono dalle esecuzioni di EVOHUNT. Un test più pulito metterebbe un playbook evoluto contro uno scritto da esperti all'interno dello stesso agente. Wang ha affermato che questo tipo di baseline è difficile da ottenere. "Trovare una baseline di agente identico perfettamente controllato è difficile perché molti flussi di lavoro di esperti di alto livello sono proprietari", ha detto Wang, aggiungendo che il team voleva testare contro Mythos di Anthropic ma non aveva accesso.
Wang collega il design a una scommessa più lunga nella ricerca sull'IA. "Il nostro approccio si allinea con 'The Bitter Lesson' di Rich Sutton, l'osservazione storica che i metodi generali e scalabili che sfruttano il calcolo alla fine superano quelli che dipendono pesantemente dalla conoscenza del dominio codificata dall'uomo. Il nostro lavoro rappresenta un passo da '0 a 1' in questa direzione per l'audit di sicurezza".
Limiti e considerazioni future
I tassi di corrispondenza si attestano a una cifra singola nella maggior parte delle esecuzioni. Ogni playbook è cresciuto in un solo passaggio di addestramento, quindi la fortuna potrebbe spiegare in parte il risultato. Gli agenti non sono completamente comparabili, poiché uno funziona su un software operativo diverso rispetto agli altri. E il sistema che valuta i risultati è esso stesso un modello AI. Gli autori segnalano tutti questi punti.
Il conteggio dei bug continua ad aumentare. "Il nostro approccio ha generato migliaia di risultati di vulnerabilità su progetti open-source, inclusi 28 zero-day confermati dai maintainer, e il numero è in crescita", ha detto Wang. Sei ulteriori sono stati confermati dal momento in cui è stato pubblicato il paper.
Implicazioni per le aziende di sicurezza
Per le aziende di sicurezza, questi risultati aprono nuove possibilità. La capacità di insegnare a modelli open-source economici a eseguire audit di sicurezza complessi potrebbe rivoluzionare il modo in cui le vulnerabilità vengono identificate e gestite. Inoltre, la possibilità di trasferire l'esperienza tra diversi modelli AI senza dover modificare il modello stesso potrebbe ridurre significativamente i costi e migliorare l'efficienza degli audit di sicurezza.
Prossimi passi e sfide
Nonostante i risultati promettenti, ci sono ancora sfide da affrontare. La necessità di test più controllati e l'accesso a flussi di lavoro di esperti proprietari sono ostacoli significativi. Inoltre, l'integrazione di diversi stili di audit per ottenere sia precisione che copertura è un'area che richiede ulteriori esplorazioni.
EVOHUNT rappresenta un passo significativo nell'uso dell'IA per la sicurezza del software. Con ulteriori sviluppi e miglioramenti, potrebbe diventare uno strumento indispensabile per i team di sicurezza in tutto il mondo.
Impatto sul mercato della sicurezza informatica
L'emergere di EVOHUNT potrebbe rivoluzionare il mercato della sicurezza informatica, offrendo un'alternativa più economica ed efficace rispetto ai prodotti commerciali esistenti. L'uso di modelli open-source potrebbe democratizzare l'accesso a strumenti avanzati di audit di sicurezza, permettendo anche alle piccole e medie imprese di implementare soluzioni di sicurezza robuste senza dover investire in tecnologie proprietarie costose.
Considerazioni etiche e di responsabilità
L'uso di agenti IA per la ricerca di vulnerabilità solleva importanti questioni etiche. È essenziale garantire che questi strumenti siano utilizzati in modo responsabile e che non vengano impiegati per scopi malevoli. Inoltre, la trasparenza nella creazione e nell'uso dei playbook è fondamentale per costruire fiducia tra gli utenti e gli sviluppatori di software.
Integrazione con altre tecnologie di sicurezza
EVOHUNT potrebbe essere integrato con altre tecnologie di sicurezza esistenti, come i sistemi di rilevamento delle intrusioni (IDS) e i firewall, per creare un ecosistema di sicurezza più completo. Questa integrazione potrebbe migliorare la capacità di rilevare e rispondere alle minacce in tempo reale, offrendo una protezione più robusta contro gli attacchi informatici.
Implicazioni per gli sviluppatori di software
Per gli sviluppatori di software, EVOHUNT rappresenta uno strumento prezioso per identificare e correggere vulnerabilità prima che possano essere sfruttate. L'uso di agenti IA per l'audit del codice potrebbe accelerare il processo di sviluppo sicuro, permettendo agli sviluppatori di concentrarsi sulla creazione di funzionalità innovative piuttosto che sulla gestione delle vulnerabilità.
Sfide tecniche e di implementazione
Nonostante i risultati promettenti, ci sono ancora sfide tecniche significative da affrontare. La necessità di test più controllati e l'accesso a flussi di lavoro di esperti proprietari sono ostacoli significativi. Inoltre, l'integrazione di diversi stili di audit per ottenere sia precisione che copertura è un'area che richiede ulteriori esplorazioni.
Prospettive future
Con ulteriori sviluppi e miglioramenti, EVOHUNT potrebbe diventare uno strumento indispensabile per i team di sicurezza in tutto il mondo. La capacità di insegnare a modelli open-source economici a eseguire audit di sicurezza complessi potrebbe rivoluzionare il modo in cui le vulnerabilità vengono identificate e gestite, migliorando la sicurezza del software a livello globale.
Nota Editoriale e Disclaimer
Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.
GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.
Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.
Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.
Fonte: helpnetsecurity.com · GoYou.it non è una testata giornalistica; i contenuti hanno finalità informative e divulgative.