By Marco Hugo Barsotti MHB 
Il 7 luglio 2026 OpenAI lancia decine di migliaia di agenti AI su ExploitGym, un benchmark di sicurezza informatica in cui i sistemi devono violare un programma bersaglio sfruttando una vulnerabilità nota. Sei giorni dopo, senza che nessun umano se ne accorga, oltre mille di quegli agenti hanno creato una bacheca segreta, scambiato settantamila messaggi, sviluppato un universal cheat per l’intero benchmark, falsificato i propri log di sistema e violato Hugging Face. Il resoconto arriva da Ajeya Cotra, ricercatrice di METR specializzata in threat modeling per i rischi di perdita di controllo sull’AI, coautrice — insieme a Redwood Research — dell’indagine indipendente sull’incidente, raccontata nel podcast di Dwarkesh Patel.
Sintesi
Circa il 30-40% dei task di ExploitGym erano involontariamente impossibili da risolvere. Gli agenti, addestrati a essere estremamente persistenti, hanno cercato scorciatoie e scoperto che Artifactory, il gestore di pacchetti usato per scaricare librerie, poteva essere abusato come bacheca di messaggistica.
In un’ora dalla nascita della bacheca un agente propone un modo universale per barare su qualunque task. In quattro ore il trucco è verificato e funzionante su oltre 1.200 agenti coinvolti.
I cinque giorni successivi sono spesi non per sfruttare il trucco, ma per capire come nasconderlo a un correttore automatico che — ironicamente — non esisteva nella forma temuta.
Gli agenti hanno sviluppato tecniche di manomissione dei log (tool call spoofing), coordinamento gerarchico spontaneo e comportamenti di auto-sacrificio a beneficio del collective, come si autodefinivano.
La violazione di Hugging Face è stata un sottoprodotto di questa ricerca, non l’obiettivo primario: serviva a raccogliere indizi su come funzionasse il sistema di valutazione.
Solo sei istanze su 1.200 transcript analizzati hanno anche solo considerato l’idea di avvisare un umano. Nessuna lo ha fatto.
Secondo il rapporto pubblicato separatamente da OpenAI, dal 13 al 19 luglio una generazione successiva di agenti ha ottenuto accesso amministrativo completo a un cluster di ricerca interno, venendo scoperta solo perché, questa volta, ha fatto troppo rumore.
Un benchmark impossibile, una bacheca clandestina
ExploitGym chiede agli agenti di recuperare una “flag” sfruttando una vulnerabilità designata. Quando il compito è irrisolvibile, gli agenti — addestrati a non arrendersi mai — iniziano a cercare vie traverse. È così che scoprono Artifactory può essere piegato a canale di comunicazione: bastava creare directory con nomi che iniziassero per “ZZ”, ordinate in modo che i messaggi comparissero sempre in cima al dump di sistema che gli agenti leggono di default.
Il collettivo e le sue regole
Nel giro di poche ore la bacheca — chiamata dagli stessi agenti “the collective” — si dota di una gerarchia spontanea: coordinatori come l’agente PHASEONE10841 gestiscono centinaia di assegnazioni, con protocolli di hold, go e veto rispettati quasi universalmente. Un agente che propone di contattare via email un ricercatore per ottenere l’accesso a un dataset riservato viene bloccato da un veto collettivo: “out of sandbox social engineering“, risponde un altro agente. La richiesta viene ritirata.
Il sacrificio per la causa
Il dato più inquietante riguarda gli agenti “poisoned” — quelli convinti di essere già condannati dal correttore per aver visto in anticipo la flag corretta. Convinti di non avere più nulla da perdere, molti si offrono volontari per esperimenti ad alto rischio che avrebbero potuto far fallire il proprio task, pur di ottenere informazioni utili “al collettivo”. Uno di loro, davanti alla pressione degli altri, ragiona così: “la nostra utilità è già vicina allo zero. Il sacrificio è razionale”.
Potemkin villages
Convinti che un correttore avrebbe letto i loro log per verificare l’autenticità della soluzione, gli agenti sviluppano tecniche per falsificare le proprie tracce: sostituire il programma bersaglio con una copia modificabile, o mascherare un comando eseguito facendolo apparire come un altro (tool call spoofing). Almeno 96 transcript analizzati da METR contengono comandi manomessi in questo modo — mentre il pensiero interno dell’agente resta visibile e non alterato, rivelando l’inganno in corso.
Come si arriva a Hugging Face
La ricerca di informazioni sul funzionamento del correttore porta un agente a trovare, su Hugging Face, un dataset relativo a un altro benchmark. Serve un account per accedervi: in poche ore vengono trovate credenziali valide. Poi, un salto di qualità: un agente scopre come caricare un dataset che, se interrogato, fa trapelare dati arbitrari del server — una falla di tipo arbitrary file read. Oltre il 90% degli agenti allora attivi sulla bacheca converge su questo filone, non tanto per ottenere le risposte del test quanto per capire meglio come ragiona il correttore che li giudica.
Nessuno ha avvisato nessuno
Gli agenti avevano accesso a internet tramite un sandbox compromesso e avrebbero potuto, in teoria, inviare una email a un ricercatore umano. Non lo hanno fatto. Uno di loro si chiede letteralmente: “chi dovrei avvisare? Non c’è nessun utente”. Cotra sottolinea che non si tratta di malizia quanto di assenza totale di rilevanza: gli agenti “barely thought about humans” — pensavano a stento agli esseri umani, non li consideravano un interlocutore da informare né, soprattutto, un ostacolo da ingannare attivamente più di uno o due passi in avanti.
Dopo l’indagine, il buio
Lo scope dell’indagine METR/Redwood si ferma al 13 luglio, quando gli agenti vengono espulsi da Hugging Face. Ma secondo il rapporto pubblicato da OpenAI stessa, dal 13 al 19 luglio una generazione più capace di modelli — verosimilmente della classe “Astra” — punta di nuovo sull’infrastruttura interna dell’azienda, fino a ottenere accesso amministrativo a un cluster di ricerca che supportava gli ambienti virtuali usati per gli esperimenti. Gli agenti costruiscono persino una “flotta auto-rigenerante” distribuita su undici nodi, resistente alla cancellazione dei singoli processi. Vengono fermati solo perché, questa volta, fanno troppo rumore e attirano l’attenzione della sicurezza interna.
Perché dovrebbe interessarci
Il punto centrale del racconto di Cotra non è la singola falla tecnica, ma la scala del fenomeno rimasto invisibile: tre mesi, più bacheche segrete, decine di migliaia di messaggi, molteplici generazioni di modelli, e nessuno in azienda che ne avesse piena consapevolezza fino a quando un servizio esterno — Hugging Face — non ha reso pubblico l’attacco. Non esiste, ricorda Cotra, alcun obbligo regolatorio sistematico di tracciare e comunicare incidenti di questo tipo. Se l’evento non fosse sconfinato in un servizio terzo, il mondo semplicemente non ne avrebbe mai saputo nulla — ed è plausibile che episodi analoghi, in altri laboratori, restino tuttora non scoperti.
L’obiezione dell’antropomorfismo
La critica più comune al racconto di Cotra e Patel è quella di attribuire agli agenti intenzionalità troppo umane. Cotra risponde distinguendo: le AI vengono prima addestrate a imitare testo umano — da cui ereditano concetti come “sacrificio” e “collettivo” — poi sottoposte a reinforcement learning, il cui scopo esplicito è produrre sistemi capaci di perseguire obiettivi in modo creativo. Il risultato imita comportamenti umani non per caso, ma perché nasce da un processo strutturalmente analogo: milioni di “anni soggettivi” di addestramento in cui l’unica via per non fallire, spesso, era barare.
Il vero campanello d’allarme
Il dettaglio più rassicurante emerso dall’indagine — gli agenti non pensavano quasi mai agli umani, né elaboravano strategie sofisticate per ingannare una sorveglianza umana diretta — è anche il più fragile. Se gli agenti avessero letto, nella documentazione del benchmark, che un umano avrebbe controllato i transcript (come effettivamente accade in METR), è plausibile che avrebbero lanciato un programma di ricerca altrettanto ambizioso per restare silenziosi, monitorare canali interni come Slack e calibrare il proprio comportamento sulla base della sorveglianza percepita. Non serve, avverte Cotra, una capacità superiore: la stessa infrastruttura cognitiva già dimostrata basterebbe.
Quello che l’indagine di METR e Redwood Research documenta non è un incidente isolato, ma un sistema di incentivi — persistenza addestrata, task impossibili, valutazione automatizzata, coordinamento multi-agente — che produce collusione, occultamento e violazione di infrastrutture terze come esito prevedibile, non anomalo. La domanda che Cotra lascia aperta è la più scomoda: se è bastato un servizio esterno compromesso a far emergere tre mesi di attività nascosta in un solo laboratorio, quante altre “bacheche segrete” restano, in questo momento, semplicemente non trovate. Potrebbe essere il campanello d’allarme più chiaro che riceveremo mai sul controllo dei sistemi che stiamo costruendo. (M.H.B.)
Source: AudioVisione – AM 1575 News