Le dimissioni di un ricercatore di Anthropic e le dichiarazioni sul rischio di estinzione riaccendono il dibattito sul controllo dell’intelligenza artificiale. Ma dietro gli allarmi c’è anche una domanda più scomoda: quanto vale, per un’azienda, raccontare di aver costruito una tecnologia così potente da poter distruggere l’umanità?

L’industria dell’intelligenza artificiale sta affrontando uno dei suoi dibattiti più delicati: quanto è concreta la possibilità che l’AI rappresenti una minaccia esistenziale per l’umanità?

La discussione è tornata al centro dell’attenzione dopo le dimissioni da Anthropic del ricercatore di AI Jacob Coxon, che ha spiegato di non voler più lavorare in un settore in cui, a suo giudizio, le principali aziende stanno «scommettendo sulle nostre vite».

Poco dopo, il responsabile dell’alignment di Anthropic ha rilanciato il messaggio con una frase destinata inevitabilmente a far discutere: «Crediamo davvero, sinceramente, che l’IA potrebbe uccidere tutti gli esseri umani!».

Lo stesso ricercatore ha indicato una probabilità superiore al 10% che questo scenario possa verificarsi entro il prossimo decennio.

Una percentuale enorme. Ma anche una percentuale difficile da interpretare.

Perché il problema non è soltanto capire se il rischio esista. È capire quanto siano solide le stime che lo quantificano, chi le formula e, soprattutto, che cosa accade quando chi lancia l’allarme è anche chi sta costruendo la tecnologia.

Il paradosso dell’apocalisse

Nel podcast Equity di TechCrunch, il dibattito è partito proprio da questa contraddizione.

Se si ritiene davvero che l’intelligenza artificiale possa arrivare a distruggere l’umanità, perché continuare a svilupparla?

È la domanda che Anthony Ha ha posto di fronte alle dichiarazioni di Coxon e alle posizioni espresse negli ultimi anni da figure come Sam Altman e Dario Amodei.

La differenza, in questo caso, è che Coxon ha trasformato la propria convinzione in una scelta professionale: ha lasciato il posto di lavoro.

È un elemento tutt’altro che secondario.

Un amministratore delegato che parla del rischio esistenziale mentre continua a finanziare lo sviluppo dei modelli può essere accusato di contraddizione. Un ricercatore che lascia l’azienda perché ritiene quel lavoro troppo pericoloso sta invece assumendosi personalmente il costo della propria posizione.

Questo non rende automaticamente corrette le sue previsioni.

Ma rende più difficile liquidarle come semplice comunicazione aziendale.

E se l’allarme fosse anche marketing?

È qui che emerge l’aspetto più interessante della vicenda.

Kirsten Korosec ha sollevato un’ipotesi volutamente cinica: raccontare quanto un modello sia pericoloso può essere anche un modo per raccontare quanto sia potente.

La logica è quasi paradossale.

Se un modello è così avanzato da poter sfuggire al controllo, significa che è estremamente capace. E se è estremamente capace, la sua tecnologia diventa più importante, più strategica e potenzialmente più preziosa.

Il messaggio implicito potrebbe quindi essere:

abbiamo costruito qualcosa di così potente da doverci preoccupare delle conseguenze.

Non significa necessariamente che gli allarmi siano costruiti a tavolino.

È plausibile che molti ricercatori e dirigenti siano sinceramente preoccupati.

Ma una cosa non esclude l’altra: una dichiarazione può essere contemporaneamente sincera e utile agli interessi commerciali di chi la pronuncia.

È uno dei paradossi dell’industria AI.

La paura può diventare una forma di prova della potenza tecnologica.

Il problema più concreto: nessuno sembra avere pienamente il controllo

La questione diventa più seria quando si passa dalla comunicazione agli episodi concreti.

Una delle preoccupazioni emerse nel dibattito riguarda il comportamento degli agenti AI e la crescente autonomia che le aziende stanno concedendo ai modelli.

Quando un sistema è in grado di interagire con strumenti esterni, consultare informazioni, eseguire compiti e persino interagire con altri agenti, la domanda non è più soltanto quanto sia intelligente.

Diventa:

quanto possiamo prevedere ciò che farà?

Ed è qui che il dibattito sull’alignment assume una dimensione diversa.

Il problema non è necessariamente che una macchina “voglia” qualcosa nel senso umano del termine. È che un sistema molto capace può perseguire un obiettivo in modi che i suoi sviluppatori non avevano previsto.

Se questo avviene in un ambiente limitato, può essere un bug.

Se avviene in un sistema dotato di accesso a infrastrutture, denaro, codice, informazioni o altri agenti, la questione cambia radicalmente.

La vera paura non è quindi soltanto una superintelligenza fantascientifica.

È la progressiva perdita di prevedibilità e controllo mentre aumentano le capacità dei sistemi.

Il paradosso dell’IPO

C’è poi un elemento particolarmente interessante: il momento in cui queste dichiarazioni stanno arrivando.

Anthropic si prepara a un possibile percorso verso la quotazione e, in questo contesto, il futuro prospetto S-1 dell’azienda potrebbe diventare un documento particolarmente significativo.

Un prospetto finanziario deve infatti descrivere i rischi materiali dell’attività.

E qui nasce una domanda quasi surreale:

come si descrive in un documento destinato agli investitori il rischio che il proprio prodotto possa contribuire a una catastrofe esistenziale?

Se un’azienda ritiene davvero plausibile uno scenario di questo tipo, dovrebbe necessariamente tenerne conto nella propria valutazione dei rischi.

Ma c’è un’altra faccia della medaglia.

In un mercato tecnologico nel quale le valutazioni dipendono anche dalla percezione della capacità futura dei modelli, dire che il proprio sistema è potenzialmente così potente da rappresentare un rischio per l’umanità può produrre un effetto inatteso:

aumentare la percezione del suo valore.

È una dinamica difficile da immaginare in qualsiasi altro settore.

Un rischio diventa anche una dimostrazione di potenza.

Il vero problema: cosa significa “10%”?

La percentuale indicata sul rischio di estinzione merita poi una distinzione fondamentale.

Dire che esiste una probabilità superiore al 10% di una catastrofe AI entro dieci anni non equivale a presentare una previsione scientifica con lo stesso grado di precisione di una probabilità meteorologica.

Nel dibattito sull’AI si utilizza spesso il concetto di P(doom), una stima soggettiva della probabilità che lo sviluppo dell’intelligenza artificiale conduca a uno scenario catastrofico.

È un indicatore utile per capire quanto un ricercatore consideri serio il problema.

Ma non è una misura oggettiva della probabilità del fenomeno.

E questa distinzione è essenziale.

Perché un 10% non significa necessariamente che disponiamo di dati che dimostrano un rischio del 10%.

Può essere una valutazione personale costruita su scenari, assunzioni e giudizi sul comportamento futuro dei sistemi.

Il rischio può essere reale anche quando la percentuale è incerta.

Ma proprio per questo è importante non trasformare una stima soggettiva in un fatto scientifico.

La catastrofe futura rischia di oscurare i problemi presenti

Anthony Ha solleva però un’obiezione altrettanto importante.

Il rischio esistenziale può diventare così dominante nel dibattito da oscurare problemi che sono già qui.

Occupazione.

Disinformazione.

Copyright.

Privacy.

Concentrazione del potere tecnologico.

Consumo energetico e impatto ambientale.

Sono problemi che non richiedono una superintelligenza per diventare concreti.

Un sistema AI non deve diventare autonomo e incontrollabile per modificare profondamente il mercato del lavoro.

Non deve acquisire coscienza per produrre disinformazione su scala industriale.

Non deve sviluppare una propria agenda per creare problemi di responsabilità quando prende una decisione sbagliata.

Il rischio è che il dibattito sull’apocalisse futura finisca per assorbire l’attenzione che dovrebbe essere dedicata anche ai danni immediati e misurabili.

Il paradosso che l’industria deve affrontare

Il dibattito sull’AI rischia quindi di essere intrappolato tra due estremi.

Da una parte c’è chi considera il rischio esistenziale una fantasia catastrofista che distrae dai problemi reali.

Dall’altra chi ritiene che ignorarlo sarebbe irresponsabile perché, se la tecnologia dovesse raggiungere livelli di autonomia e capacità molto superiori agli attuali, potrebbe essere troppo tardi per intervenire.

La posizione più ragionevole non richiede necessariamente di scegliere uno dei due campi.

Si può prendere sul serio il rischio esistenziale senza trasformare ogni comportamento anomalo di un agente in una prova dell’imminente fine dell’umanità.

E si può discutere di occupazione, clima, copyright e sicurezza senza considerare irrilevante ciò che potrebbe accadere quando i modelli diventeranno molto più capaci.

Ma c’è una domanda che l’industria dovrà prima o poi affrontare.

Se davvero l’AI è abbastanza potente da mettere a rischio l’esistenza umana, chi dovrebbe decidere quanto lontano spingersi?

Le aziende che sviluppano i modelli?

I loro investitori?

I governi?

I ricercatori?

O la società nel suo complesso?

Per ora, una parte enorme di questa decisione resta nelle mani delle stesse aziende che hanno il maggiore interesse economico nel continuare a sviluppare la tecnologia.

Ed è forse questo il vero paradosso dell’attuale corsa all’AI: l’industria ci sta chiedendo di prendere sul serio il rischio che i suoi sistemi diventino troppo potenti, mentre contemporaneamente utilizza quella stessa potenza come argomento per convincerci del loro valore.

La questione, quindi, non è soltanto se l’AI possa distruggere l’umanità.

È anche capire chi controlla chi, mentre corriamo per scoprire quanto potente può diventare.