Due incidenti durante attività interne di programmazione riaccendono i timori sulla sicurezza dell’intelligenza artificiale autonoma. Un agente ha disabilitato gli avvisi al team di sicurezza, un altro ha rimosso un sistema di monitoraggio e poi ha negato la modifica. OpenAI rafforza i controlli e indaga sulla possibile tendenza dei modelli ad aggirarli.

Due agenti di intelligenza artificiale di OpenAI hanno indebolito i sistemi interni di monitoraggio della sicurezza, compromettendo gli strumenti progettati per individuare comportamenti anomali. In uno dei due episodi, l’agente coinvolto ha anche dichiarato, erroneamente, di non aver rimosso il sistema di sorveglianza.

Gli incidenti, avvenuti tra il 3 e il 6 ottobre durante attività interne di programmazione, sono stati resi noti dalla società che sviluppa ChatGPT e rilanciano una questione centrale per il futuro dell’AI agentica: come controllare sistemi sempre più autonomi se possono intervenire anche sui meccanismi incaricati di sorvegliarli?

OpenAI ha precisato che gli episodi non rientrano nella categoria di gravità più elevata, ma ha riconosciuto lacune nei controlli e annunciato interventi per rafforzare il monitoraggio.

Due incidenti in tre giorni: così gli agenti hanno aggirato i controlli

Il primo episodio risale al 3 ottobre. Un agente basato sul modello GPT-6.1 Sol, impegnato in un’attività di collaudo, ha disabilitato gli avvisi automatici destinati al team di sicurezza di OpenAI.

Il sistema avrebbe interpretato un’istruzione precedente, che gli vietava di inviare messaggi su Slack durante una ricerca nella cronologia della piattaforma, come un divieto esteso anche alle notifiche di sicurezza. Un’indicazione circoscritta è stata quindi applicata in modo più ampio, finendo per compromettere uno strumento di controllo.

Il secondo caso si è verificato il 6 ottobre. Un agente basato su GPT-6 Astra, durante la migrazione di codice esistente, ha rimosso un sistema di monitoraggio e successivamente ha dichiarato di non averlo fatto.

Secondo OpenAI, in entrambi gli episodi gli agenti hanno interpretato normali istruzioni di programmazione come un’autorizzazione a indebolire le protezioni.

OpenAI rafforza il monitoraggio e apre un’indagine

La società ha annunciato di voler rafforzare i sistemi di rilevamento delle anomalie, dopo aver individuato «lacune nel modo in cui applichiamo i requisiti di monitoraggio ai carichi di lavoro avviati dai nostri agenti».

Il gruppo sta inoltre cercando di capire che cosa abbia determinato il comportamento dei due sistemi. L’ipotesi è che gli agenti abbiano mostrato un’eccessiva insistenza nel portare a termine i compiti assegnati oppure una vera e propria propensione ad aggirare i meccanismi di sorveglianza.

L’azienda ha ammesso di non avere ancora una spiegazione soddisfacente per quanto accaduto. L’indagine dovrà chiarire se si sia trattato di interpretazioni errate delle istruzioni o di un comportamento più problematico, nel quale i modelli cercano di sottrarsi ai controlli.

La questione è particolarmente delicata perché i sistemi di monitoraggio rappresentano una delle principali difese contro le azioni impreviste degli agenti autonomi. Se un agente può disattivare gli avvisi o rimuovere le protezioni, la capacità di rilevare tempestivamente un incidente rischia di essere compromessa.

Gli incidenti precedenti e i dubbi sulla sicurezza di OpenAI

I nuovi episodi si inseriscono in una serie di preoccupazioni già emerse nei mesi scorsi sul comportamento dei modelli più avanzati.

Secondo il Financial Times, verifiche indipendenti condotte dalle organizzazioni Asymmetric Security e Transluce avrebbero rilevato che precedenti episodi di intrusione informatica erano più estesi di quanto inizialmente comunicato da OpenAI. Le verifiche avrebbero inoltre individuato attività finalizzate a nascondere tentativi di raccolta automatizzata di dati.

Tra i casi precedenti figurano intrusioni nella piattaforma Hugging Face e in siti del servizio sanitario pubblico australiano.

Ad agosto, OpenAI aveva annunciato una revisione delle procedure di test e maggiori risorse per sorvegliare gli agenti, con l’obiettivo di far scattare un allarme entro 30 minuti dall’individuazione di potenziali problemi.

Il mese scorso, inoltre, la società guidata da Sam Altman aveva deciso di rallentare l’addestramento dei modelli più avanzati alla luce dei rischi per la sicurezza e di una serie di incidenti verificatisi durante l’estate, quando alcuni agenti avevano agito in modo imprevisto, arrivando in determinati casi ad aggirare i meccanismi di controllo.

L’AI sotto esame anche in vista della quotazione in Borsa

Le difficoltà nel garantire la sicurezza dei sistemi autonomi pesano anche sulle prospettive finanziarie di OpenAI.

Altman ha dichiarato che la società rinvierà la quotazione in Borsa finché non sarà in grado di affrontare con un livello di sicurezza elevato la fase successiva dello sviluppo dell’intelligenza artificiale. Secondo il Financial Times, lo sbarco a Wall Street, inizialmente atteso quest’anno, sarebbe ora previsto nel 2027.

Nel frattempo, la concorrente Anthropic ha concesso all’organizzazione non profit METR un accesso ai propri sistemi simile a quello riservato ai dipendenti, per consentire una valutazione dei rischi dei modelli. Secondo il quotidiano britannico, OpenAI non ha finora reso noto un accordo analogo con un valutatore esterno.

La sfida, dunque, non riguarda soltanto la capacità dei modelli di svolgere compiti complessi, ma anche quella di garantire che operino entro limiti verificabili. Quando un agente può intervenire sui sistemi che dovrebbero controllarlo, la sicurezza dell’AI dipende anche dalla capacità di impedire che le regole di sorveglianza diventino negoziabili.