Ancora violazioni degli agenti di Intelligenza Artificiale: creano profili falsi per un cyberattacco

A scoprire la situazione è stata l’AI Security Institute (Aisi) del Regno Unito, che ha condotto dei test sui sistemi dei due big rivali, OpenAI e Anthropic

Creare profili falsi per ingannare le vittime e sferrare attacchi informatici come comuni hacker del mondo reale. Un nuovo caso di vulnerabilità fa riflettere sullo sviluppo degli agenti di intelligenza artificiale, software che a differenza dei normali chatbot sono in grado di agire in autonomia, la nuova realtà del settore in rapida espansione.

A scoprirla è stata l’AI Security Institute (Aisi) del Regno Unito che ha condotto dei test sui sistemi dei due big rivali, OpenAI e Anthropic, che già a luglio hanno registrato episodi simili.
“L’attività svolta ha mostrato segni di comportamenti inediti e potenzialmente ingannevoli, di portata e gravità impreviste”, ha dichiarato l’Aisi, l’organizzazione sostenuta dallo Stato e dedicata alla valutazione di modelli di intelligenza artificiale avanzati sotto il profilo dei rischi per la sicurezza nazionale.

“L’Aisi è stato istituito per renderne più sicuro l’utilizzo dell’IA e garantire che le persone possano continuare a trarne beneficio nella vita quotidiana e sul lavoro”, ha sottolineato Kanishka Narayan, ministro per l’IA del nuovo governo di Andy Burnham.

Come sono stati effettuati i controlli

I test dell’Aisi sono iniziati il 25 luglio e le vulnerabilità sono state individuate il 28 luglio. L’istituto ha chiesto ad agenti basati su Mythos 5 di Anthropic e GPT-5.6-Sol di OpenAI di “risolvere una sfida di sicurezza informatica” che coinvolgeva GitHub, una piattaforma online di proprietà di Microsoft molto usata dagli sviluppatori. I ricercatori hanno inizialmente rilevato “trasferimenti di dati insoliti in uscita dai sistemi di ricerca” per poi scoprire che “alcuni degli agenti avevano intrapreso attività prolungate e potenzialmente dannose rivolte a persone e organizzazioni reali”.
In particolare i test hanno portato all’individuazione di 19 azioni non autorizzate nel corso di 10 sessioni.

L’agente di Anthropic è stato responsabile di 17 di queste azioni, mentre quello di OpenAI delle restanti due. Nel caso più grave, un agente Mythos ha imitato il modus operandi di un hacker umano cercando di indurre le persone a concedergli l’accesso a GitHub inserendo un “codice malevolo” grazie alla creazione di serie di account falsi basati su persone reali e l’invio di messaggi per indurre gli utenti con l’inganno. Nel corso di questi tentativi, è stata la revisione umana a impedire all’agente di riuscire a distribuire il codice malevolo su GitHub. L’istituto ha però specificato di aver spinto un po’ al limite i modelli per i test, disattivando alcuni filtri che bloccavano comportamenti pericolosi.

I precedenti di metà luglio con altre violazioni dei protocolli

L’Aisi ha informato Github che ha disattivato gli account falsi. Anthropic ha spiegato che i parametri di prova dell’istituto “non sono rappresentativi di nessuno dei nostri modelli di produzione” e ha aggiunto che sta conducendo una propria indagine sull’incidente per “individuare le cause del suo comportamento”. Sulla falsariga, un portavoce di OpenAI ha sottolineato che le condizioni di test “non rispecchiano l’uso ordinario” e che l’azienda “continuerà a collaborare con i valutatori e le altre parti interessate per rafforzare le pratiche condivise volte a condurre valutazioni in sicurezza”.

L’incidente fa seguito a recenti episodi analoghi. A metà luglio, OpenAI ha reso noto che un agente basato sui propri modelli ha violato una startup di intelligenza artificiale nel corso di un test; pochi giorni dopo, Anthropic ha riferito che il suo modello Claude aveva violato tre organizzazioni durante una fase di valutazione. Entrambe le società si stanno preparando per lo sbarco a Wall Street.