LLM falliscono nel triage degli alert senza framework strutturati

Le ultime ricerche dell'Università di Oslo e del Norwegian Defence Research Establishment dimostrano che i modelli linguistici (LLM) da soli ottengono zero percento di accuratezza nel rilevare attività maligne quando ricevono solo descrizioni di alert e riassunti di log di rete. Anche i modelli più avanzati come GPT-5-mini, Claude 3 Haiku, Qwen3:30B e Gemma 3:27B hanno fallito nel riconoscere attacchi reali.

Risposta Rapida

I modelli linguistici (LLM) da soli non sono efficaci nel rilevare minacce informatiche. Per raggiungere un'accuratezza del 93% è necessario integrare gli LLM in workflow strutturati con tool definiti e guardrails. Gli LLM possono migliorare significativamente il triage degli alert solo quando operano in un contesto ben definito, simile al lavoro di un analista junior.

Test critici: l'errore sistematico degli LLM

Lo studio ha testato quattro modelli linguistici popolari con un attacco standard: ricognizione, tentativi di accesso brute-force e tentativo di accesso iniziale a un server web, tratti dal AIT Log Data Set V1.1. Nonostante il segnale fosse presente nei log, tutti i modelli hanno fallito nel rilevare l'attività maligna quando ricevevano solo un riassunto di alto livello. Gemma, in particolare, ha classificato ogni input come benigno, indipendentemente dal contenuto.

La svolta: workflow strutturati migliorano l'accuratezza al 93%

Quando gli stessi modelli sono stati integrati in un workflow strutturato, l'accuratezza è balzata a un impressionante 93%. Il framework includeva un modello per pianificare l'indagine, un secondo per riassumere le prove raccolte e un terzo per emettere un verdetto. Questo approccio ha permesso agli LLM di operare in modo più simile a un analista junior, estraendo prove specifiche e decidendo i passi successivi.

Implicazioni per l'automazione del SOC

I risultati hanno implicazioni significative per i centri operativi di sicurezza (SOC) che cercano di automatizzare il triage degli alert. L'integrazione di LLM in workflow strutturati può trasformare modelli linguisticamente avanzati in strumenti efficaci per la rilevazione di minacce. Tuttavia, è essenziale considerare le implicazioni pratiche, come la necessità di revisione umana per casi incerti.

Limiti dello studio e prossimi passi

Lo studio è un proof-of-concept che copre un singolo scenario di attacco e un dataset sintetico. I ricercatori sottolineano la necessità di testare ulteriormente contro dati più diversificati e output reali di sistemi di rilevazione di intrusioni. Questo approccio potrebbe rivelare ulteriori sfide e opportunità per l'integrazione di LLM nei processi di sicurezza.

Come scegliere prodotti di sicurezza basati su AI

Per qualsiasi prodotto di sicurezza basato su AI, la domanda cruciale è cosa il sistema intorno al modello può fare. La ricerca evidenzia che un modello capace, ma privo di un framework strutturato, tenderà a fare ipotesi non accurate. In contrasto, lo stesso modello, fornito di strumenti definiti e un processo chiaro, può ragionare in modo efficace attraverso i problemi di sicurezza.

Scaricare la guida all'automazione dei pentest

Per approfondire ulteriormente l'automazione dei processi di sicurezza, è disponibile una guida completa sull'automazione della consegna dei pentest. Questa risorsa offre approfondimenti pratici su come integrare l'IA nei test di penetrazione e migliorare l'efficienza delle operazioni di sicurezza.

Il ruolo cruciale della revisione umana nei workflow di sicurezza

Uno degli aspetti più interessanti dello studio è la necessità di integrare la revisione umana nei workflow di sicurezza automatizzati. Nonostante l'elevata accuratezza raggiunta dagli LLM, i modelli tendono a classificare molti casi come incerti, specialmente GPT-5-mini che ha etichettato tutti i casi benigni come tali. Questo approccio conservativo, sebbene preferibile per evitare falsi negativi, ha implicazioni significative per l'efficienza operativa dei SOC.

L'importanza di dati reali e scenari diversificati

Lo studio attuale rappresenta un punto di partenza, non una conclusione definitiva. I ricercatori sottolineano la necessità di testare ulteriormente gli LLM contro dati più diversificati e output reali di sistemi di rilevazione di intrusioni. Questo passo è essenziale per comprendere appieno le capacità e i limiti degli LLM in contesti operativi reali.

Guardrails e strumenti definiti: la chiave del successo

Il successo degli LLM nel triage degli alert non risiede nei modelli stessi, ma nel framework strutturato che li circonda. Guardrails ben definiti e strumenti specifici permettono agli LLM di operare in modo più efficace, riducendo il rischio di ipotesi non accurate. Questo approccio non solo migliora l'accuratezza, ma rende anche il processo di sicurezza più robusto e affidabile.

Implicazioni per il futuro dell'automazione del SOC

I risultati dello studio aprono nuove prospettive per l'automazione del SOC. L'integrazione di LLM in workflow strutturati può trasformare radicalmente il modo in cui i centri operativi di sicurezza gestiscono gli alert. Tuttavia, è fondamentale continuare a esplorare e sviluppare queste tecnologie per garantirne l'efficacia in contesti operativi complessi.

Strumenti e risorse per approfondire

Per chiunque sia interessato a esplorare ulteriormente l'automazione dei processi di sicurezza, è disponibile una guida completa sull'automazione della consegna dei pentest. Questa risorsa offre approfondimenti pratici su come integrare l'IA nei test di penetrazione e migliorare l'efficienza delle operazioni di sicurezza.

Considerazioni finali

mentre gli LLM da soli non sono sufficienti per garantire un'accuratezza elevata nel rilevare minacce informatiche, la loro integrazione in workflow strutturati può fare una differenza significativa. Questo approccio non solo migliora l'efficacia degli LLM, ma rende anche il processo di sicurezza più robusto e affidabile. Tuttavia, è essenziale continuare a esplorare e sviluppare queste tecnologie per garantirne l'efficacia in contesti operativi reali.

Nota Editoriale e Disclaimer

Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.

GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.

Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.

Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.