Il "Human in the Loop": un'illusione pericolosa
La risposta comune a queste preoccupazioni è l'introduzione di un "human in the loop", ovvero la presenza di un operatore umano incaricato di approvare le azioni del sistema. Tuttavia, Mikey Dickerson, ex amministratore dell'U.S. Digital Service e crisis engineer presso Layer Aleph, co-autore del libro "Crisis Engineering", sostiene che questa soluzione sia "pericolosamente fuorviante". Dickerson spiega che l'attenzione dell'operatore tende a diminuire a causa della natura ripetitiva e spesso insignificante del compito, portando all'atrofia delle competenze e alla creazione di un'illusione di supervisione piuttosto che alla sua effettiva presenza.Lezioni dal passato: il caso Therac-25
Il problema non è nuovo. Un precedente emblematico è rappresentato dal caso del Therac-25, una macchina per radioterapia del 1982. Il sistema, automatizzato e più semplice da utilizzare rispetto ai suoi predecessori, prevedeva la conferma delle azioni da parte di un operatore umano, creando un "human in the loop". Nonostante ciò, si verificarono sei incidenti di sovradosaggio, tre dei quali mortali, a causa di difetti software. L'errore non risiedeva solo nel codice, ma anche nella progettazione del sistema, che portò gli operatori a normalizzare gli errori e a riavviare la macchina ripetutamente, perdendo di significato la funzione di controllo.Implicazioni per la sicurezza nazionale
Dickerson avverte che l'attuale tendenza a integrare sistemi di IA poco compresi in ambienti critici, con la giustificazione del "human in the loop", sta replicando gli errori del passato. Questa pratica, applicata anche a sistemi di difesa, dall'analisi decisionale alle operazioni autonome, crea una falsa sensazione di controllo. Secondo Defense News, recenti fughe di notizie dal Pentagono suggeriscono che l'IA potrebbe già influenzare la scelta dei bersagli [https://www.defensenews.com/news/your-military/2026/03/24/deadly-iran-school-strike-casts-shadow-over-pentagons-ai-targeting-push/](https://www.defensenews.com/news/your-military/2026/03/24/deadly-iran-school-strike-casts-shadow-over-pentagons-ai-targeting-push/), rendendo la presenza di un operatore umano inefficace ancora più pericolosa. L'illusione di supervisione, in questo contesto, può portare a conseguenze disastrose.Dettagli tecnici approfonditi
La recente interruzione dei servizi di Amazon, attribuita all'utilizzo di strumenti di codifica assistiti dall'intelligenza artificiale, solleva preoccupazioni più ampie riguardanti l'integrazione di sistemi di AI in ambienti critici, con implicazioni particolarmente gravi per il settore della difesa. L'articolo evidenzia come l'approccio "human in the loop" (operatore in circuito) sia spesso un'illusione di sicurezza, derivante da una comprensione superficiale delle dinamiche dei sistemi complessi.Il problema dell'operatore "in circuito"
L'idea di un operatore umano che approva le azioni di una macchina è presentata come un elemento di sicurezza, ma l'esperienza storica dimostra che può diventare controproducente. La monotonia del compito, che consiste principalmente nell'approvare azioni predefinite, porta a una diminuzione dell'attenzione e all'atrofia delle competenze operative. Questo fenomeno, descritto come "l'apparenza di supervisione piuttosto che la realtà", rende l'operatore meno capace di identificare e correggere errori. L'esempio del Therac-25, una macchina per radioterapia del 1982, illustra questo problema in modo drammatico. La macchina, che combinava le funzioni di due sistemi precedenti, richiedeva la conferma da parte di un operatore umano per ogni azione. Nonostante questa "garanzia" di supervisione, si verificarono sei incidenti di sovradosaggio di radiazioni, tre dei quali mortali. L'operatore, abituato a riavviare frequentemente la macchina a causa di errori comuni e poco significativi, aveva perso la capacità di interpretare correttamente i segnali di malfunzionamento. Il gesto di conferma, inizialmente pensato per garantire la sicurezza, si era trasformato in un'azione priva di significato, normalizzando l'errore.AI e sistemi complessi: un rischio amplificato
L'integrazione di sistemi di AI, caratterizzati da comportamenti probabilistici e non deterministici, amplifica i rischi già presenti nei sistemi complessi. Sebbene l'AI introduca nuove sfide, la sua natura di software integrato in sistemi più ampi, composti da persone, processi e macchine, non ne mitiga i pericoli. Gli ingegneri e gli operatori hanno accumulato decenni di esperienza nello studio del comportamento di questi sistemi sotto pressione, e i modelli di errore che si stanno osservando oggi sono familiari, sebbene accelerati. La recente diffusione di AI in contesti militari, inclusi sistemi di supporto decisionale e operazioni autonome, solleva preoccupazioni specifiche. L'illusione di un controllo umano garantito può portare a una falsa sicurezza, con conseguenze potenzialmente devastanti, come suggerito dalle recenti fughe di notizie del Pentagono che indicano un'influenza di sistemi di AI nella scelta dei bersagli.Implicazioni per il settore della difesa
L'articolo sottolinea che l'adozione indiscriminata di sistemi di AI, basata sull'illusione di un "human in the loop", può avere conseguenze reali e pericolose. La mancanza di una comprensione approfondita dei meccanismi di errore e la ripetizione di schemi fallimentari del passato, come quello del Therac-25, rischiano di compromettere la sicurezza e l'efficacia dei sistemi di difesa. L'articolo conclude che, se questa tendenza non viene corretta, le conseguenze non saranno meramente teoriche.Dati, Trend Correlati, Impatto sul Settore
L'adozione accelerata di strumenti di intelligenza artificiale (AI) in sistemi critici, sia civili che militari, sta rivelando nuove modalità di guasto, spesso sottovalutate. L'incidente recente presso Amazon, con interruzioni del sito di e-commerce attribuite a strumenti di codifica assistiti dall'AI, è un esempio emblematico di questa problematica. L'azienda ha avviato un'indagine interna ("deep dive") a seguito degli eventi, riconoscendo l'inadeguatezza delle misure di sicurezza attorno all'AI generativa in produzione [1]. Il problema del "Human in the Loop" Una risposta comune a queste preoccupazioni è l'introduzione di un "human in the loop" (operatore umano) per approvare le azioni del sistema. Tuttavia, questa soluzione si rivela spesso illusoria. La monotonia del compito, che consiste principalmente nell'approvazione automatica, porta a una diminuzione dell'attenzione e all'atrofia delle competenze operative, rendendo l'intervento umano privo di significato [2]. Questo fenomeno, già osservato nel caso del sistema di radioterapia Therac-25 del 1982, dove la presenza di un operatore aveva normalizzato gli errori, può creare una falsa sensazione di controllo [3]. Nel caso del Therac-25, malfunzionamenti del sistema, mascherati da messaggi di errore poco chiari, portarono a ripetute sovraesposizioni di radiazioni con conseguenze fatali [3]. Implicazioni per il settore della difesa L'integrazione di AI in sistemi militari, dalla presa di decisioni al supporto di operazioni autonome, amplifica i rischi. L'illusione di un controllo umano, quando in realtà l'operatore è disimpegnato, può portare a una fiducia ingiustificata e a conseguenze operative pericolose [2]. Recentemente, fughe di notizie dal Pentagono hanno suggerito che sistemi di AI potrebbero già influenzare la selezione dei bersagli [4], rendendo l'assenza di un controllo umano reale una questione di primaria importanza. Trend e rischi emergenti Comportamento probabilistico e non deterministico: L'AI introduce sistemi il cui comportamento è intrinsecamente probabilistico, un aspetto nuovo e problematico in contesti ad alto rischio, dove l'incertezza si amplifica rapidamente [5]. Accelerazione dei guasti: I modelli di guasto non sono nuovi, ma l'adozione rapida e poco ponderata dell'AI li sta accelerando [6]. Mancanza di apprendimento dalla storia: L'industria del software dimostra una difficoltà persistente nell'apprendere dagli errori del passato, come dimostrato dal caso Therac-25 [3]. Dipendenza da sistemi complessi: L'AI è parte di sistemi più ampi, composti da persone, processi e macchine, e i guasti in questi sistemi sono già ben compresi [5]. [1]Consigli pratici per l'utente/investitore
L'integrazione accelerata di strumenti di intelligenza artificiale (IA) in sistemi critici, sia nel settore civile che in quello della difesa, sta generando nuove modalità di guasto che superano la capacità di comprensione e controllo delle organizzazioni. Questo problema, recentemente evidenziato da un'indagine interna di Amazon in seguito a interruzioni del suo sito di e-commerce, causate apparentemente da strumenti di codifica assistiti dall'IA [1], solleva interrogativi sulla sicurezza e l'affidabilità di sistemi sempre più complessi. Il pericolo dell'illusione del "human in the loop" Una risposta comune a queste preoccupazioni è l'introduzione di un "human in the loop" (operatore umano in carica), con l'obiettivo di supervisionare e approvare le azioni del sistema. Tuttavia, secondo Mikey Dickerson, ex amministratore del U.S. Digital Service e crisis engineer presso Layer Aleph, questa soluzione è "pericolosamente fuorviante" [2]. L'operatore, svolgendo un ruolo prevalentemente passivo, rischia di perdere attenzione e di vedere atrofizzare le proprie competenze, trasformando la supervisione in una mera formalità priva di efficacia reale. Lezioni dal passato: il caso Therac-25 Dickerson richiama l'esempio del Therac-25, una macchina per radioterapia del 1982, in cui la presenza di un operatore umano, destinato a confermare le azioni del sistema, non impedì una serie di incidenti con sovraesposizioni a radiazioni, tre dei quali mortali [3]. L'operatore, abituato a riavviare frequentemente la macchina a causa di errori comuni e poco chiari, aveva perso la capacità di interpretare correttamente i segnali di malfunzionamento, rendendo la sua supervisione inefficace. IA: una ripetizione di errori L'attuale tendenza a integrare sistemi di IA poco compresi in ambienti critici rischia di replicare gli errori del passato. Sebbene l'IA introduca elementi di novità, come la sua natura probabilistica e non deterministica, essa rimane comunque software, parte di sistemi più ampi che coinvolgono persone, processi e macchine. I guasti che si verificano in questi sistemi sono già ben documentati e studiati [4]. Implicazioni per la difesa Le recenti fughe di notizie dal Pentagono suggeriscono che sistemi di IA potrebbero già influenzare la precisione degli attacchi [5]. In un contesto del genere, l'illusione di una supervisione umana può generare un falso senso di controllo, con conseguenze potenzialmente disastrose. Consigli pratici: Evitare la dipendenza dal "human in the loop" come unica misura di sicurezza: L'operatore umano non deve essere relegato a un ruolo passivo di approvazione, ma deve essere attivamente coinvolto nella comprensione e nel monitoraggio del sistema. Investire in una progettazione robusta: La sicurezza deve essere integrata fin dalle prime fasi di sviluppo, con particolare attenzione alla comprensione dei limiti e dei potenziali guasti dei sistemi di IA. Promuovere una cultura dell'apprendimento dagli errori: È fondamentale analizzare attentamente gli incidenti e le quasi-catastrofi per migliorare la progettazione e le procedure operative. Considerare l'impatto a lungo termine: L'adozione di sistemi di IA deve essere valutata non solo in termini di efficienza e prestazioni, ma anche in termini di sicurezza, affidabilità e implicazioni etiche. [1]L'illusione del "uomo nel ciclo": un campanello d'allarme per i sistemi critici
Un recente episodio interno ad Amazon, che ha portato a una "analisi approfondita" dopo una serie di interruzioni del sito di e-commerce, apparentemente causate da strumenti di codifica assistiti dall'intelligenza artificiale (FT.com), solleva un problema più ampio: l'integrazione affrettata dell'IA in sistemi critici sta introducendo nuovi tipi di guasto più velocemente di quanto si riesca a comprendere e controllare (Defense News). Questa problematica è particolarmente rilevante per le organizzazioni di difesa, che stanno sempre più integrando l'IA in sistemi essenziali per le operazioni.
La risposta comune a queste preoccupazioni è l'affermazione che ci sarà sempre un "uomo nel ciclo" (human in the loop), ovvero una persona che approva le azioni del sistema. Tuttavia, secondo Mikey Dickerson, ex amministratore del U.S. Digital Service e crisi engineer presso Layer Aleph, questa "rassicurazione" è pericolosamente fuorviante. Un operatore che svolge unicamente la funzione di approvare le azioni di una macchina soffre di una perdita di attenzione, con conseguente atrofia delle competenze, creando un'illusione di supervisione anziché una reale capacità di controllo.
Il problema non è nuovo. L'incidente del Therac-25, una macchina per radioterapia del 1982, ha dimostrato come la presenza di un operatore umano, pensato per garantire la sicurezza, non abbia impedito incidenti gravi, anzi, abbia contribuito a normalizzare gli errori (Defense News). Gli operatori, abituati a riavviare frequentemente il sistema a causa di messaggi di errore poco chiari, avevano perso la capacità di valutare correttamente le anomalie, portando a ripetute sovraesposizioni di radiazioni con esiti fatali.
Oggi, si sta ripetendo lo stesso errore: l'IA, spesso poco compresa, viene integrata in sistemi critici, e le preoccupazioni vengono liquidate con la promessa del "uomo nel ciclo". Questa tendenza si sta manifestando anche nelle discussioni sui sistemi di difesa, dagli strumenti di supporto decisionale alle operazioni autonome.
Sebbene l'IA presenti caratteristiche uniche, come la sua natura probabilistica e non deterministica, il problema fondamentale risiede nella progettazione dei sistemi. L'IA è software, parte di un sistema più ampio composto da persone, processi e macchine, e i guasti che ne derivano sono ben noti agli ingegneri. Le recenti fughe di notizie dal Pentagono suggeriscono che l'IA potrebbe già influenzare la scelta dei bersagli (Defense News), rendendo l'illusione dell'oversight umana ancora più pericolosa.
Previsione futura netta basata sui fatti.
L'attuale approccio, che fa affidamento sul "uomo nel ciclo" come valvola di sicurezza per sistemi di IA potenzialmente instabili, è insostenibile. Nei prossimi dieci anni, si prevede un aumento dei guasti sistemici, con conseguenze operative e strategiche significative, a meno che non si adotti un approccio più rigoroso alla progettazione, alla validazione e alla supervisione dei sistemi di intelligenza artificiale integrati in ambienti critici. La tendenza a minimizzare i rischi e a fare affidamento su un controllo umano illusorio rischia di compromettere la sicurezza e l'efficacia delle operazioni militari, con potenziali ripercussioni geopolitiche di vasta portata.
Nota Editoriale e Disclaimer
Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.
GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.
Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.
Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.