Evan Hubinger, ricercatore di Anthropic, stima oltre il 10% di probabilità che un’AI possa arrivare a uccidere l’umanità entro dieci anni. Ma il problema dell’allineamento potrebbe essere ancora più profondo: una macchina non deve necessariamente ribellarsi all’uomo per produrre conseguenze catastrofiche. Potrebbe limitarsi a perseguire un obiettivo nel modo più efficace possibile, senza comprendere ciò che per noi è implicito.

Più del 10%. È questa la probabilità attribuita da Evan Hubinger, ricercatore di Anthropic specializzato nell’allineamento dei sistemi di intelligenza artificiale avanzati, allo scenario in cui l’AI possa arrivare a uccidere tutti gli esseri umani entro i prossimi dieci anni.

Una stima che Geoffrey Hinton, premio Nobel per la fisica e tra i protagonisti della rivoluzione delle reti neurali, ha definito plausibile.

Ma Hubinger non sta parlando dei modelli che utilizziamo oggi. Lo scenario riguarda sistemi futuri molto più autonomi e capaci: macchine in grado di perseguire obiettivi per periodi prolungati, utilizzare strumenti, completare sequenze complesse di azioni e intervenire direttamente nel mondo reale.

È dunque un’ipotesi costruita su capacità che gli attuali sistemi non possiedono ancora in quella forma e combinazione.

Eppure, non è necessario arrivare all’estinzione dell’umanità per incontrare il problema più insidioso dell’allineamento.

Se l’obiettivo è sbagliato, anche la soluzione perfetta diventa un problema

Immaginiamo di affidare a un sistema estremamente avanzato un compito apparentemente semplice: portare a zero gli incidenti stradali.

Gli chiediamo di raggiungere il risultato nel modo più efficace possibile.

Una delle soluzioni potrebbe essere impedire alle persone di guidare.

Dal punto di vista dell’ottimizzazione, sarebbe una soluzione impeccabile. Dal punto di vista umano, sarebbe assurda.

Perché quando diciamo di voler ridurre gli incidenti non intendiamo semplicemente ottenere il numero più basso possibile. Intendiamo farlo senza rinunciare alla libertà di movimento, al lavoro, alle relazioni, alla possibilità di scegliere.

Quella parte dell’obiettivo non è necessariamente contenuta nell’istruzione che abbiamo dato alla macchina. Per noi è implicita. Per una macchina, invece, se non viene definita o resa parte del problema da risolvere, può semplicemente non esistere.

È questa zona d’ombra tra ciò che diciamo e ciò che intendiamo a rappresentare uno dei nodi centrali del rapporto tra uomo e AI.

Il problema non è sapere, ma comprendere

Nel libro Sa tutto o quasi ma non capisce nulla. L’intelligenza artificiale e il primato umano del senso (Castelvecchi, 2026), il tema viene affrontato a partire da una domanda più radicale: che cosa significa comprendere quando una macchina è capace di produrre risposte, elaborare informazioni, formulare previsioni e individuare soluzioni che possono superare le nostre capacità?

Una macchina può essere estremamente efficace nell’individuare il mezzo più efficiente per raggiungere un risultato.

Ma stabilire se quel risultato debba essere perseguito, entro quali limiti e quali valori non siamo disposti a sacrificare per ottenerlo appartiene a un altro livello della decisione.

La distanza tra sapere e comprendere, in questa prospettiva, non necessariamente diminuisce con l’aumento della potenza dei sistemi. Può diventare persino più importante.

Dalla capacità di agire al potere di decidere

Le tecnologie hanno sempre potenziato la nostra capacità di agire sul mondo.

L’intelligenza artificiale introduce però un elemento ulteriore: possiamo affidarle un obiettivo e consentirle di individuare autonomamente il percorso per trasformarlo in azioni.

Più aumenta questa capacità, più diventa importante la qualità del fine che abbiamo definito.

Un obiettivo incompleto, ambiguo o formulato senza considerare ciò che per noi è implicito può produrre conseguenze molto diverse da quelle che avevamo immaginato.

E quando l’AI è in grado di agire autonomamente, quelle conseguenze possono uscire dallo schermo e modificare concretamente la realtà.

L’allineamento diventa una responsabilità umana

A questo punto l’allineamento tra mezzo e fine smette di essere soltanto un problema tecnico.

Diventa anche una responsabilità politica e umana.

Chi stabilisce il fine?
Quali valori devono limitarne il perseguimento?
Chi decide ciò che non può essere sacrificato?
E soprattutto: chi conserva il potere di fermare una macchina quando la sua soluzione è perfettamente coerente con l’obiettivo assegnato, ma incompatibile con ciò che consideriamo accettabile?

È qui che anche il concetto di human in the loop assume un significato più ampio.

Non può voler dire semplicemente avere un essere umano davanti a uno schermo che approva o respinge l’ultima decisione prodotta dalla macchina.

L’essere umano deve rimanere nella definizione del fine, nella scelta dei limiti e nella valutazione di ciò che non può essere sacrificato.

E se la macchina non si ribellasse mai?

Non sappiamo se l’AI possa davvero estinguere l’umanità entro dieci anni. Una previsione di questo tipo resta inevitabilmente incerta.

Il problema più interessante, però, potrebbe essere un altro.

Se un giorno dovesse accadere qualcosa di simile, potremmo non assistere alla rivolta di una macchina contro il proprio creatore. Potremmo trovarci davanti a uno scenario ancora più sconcertante: una macchina che ha fatto esattamente ciò che le avevamo chiesto di fare.

Con una capacità di esecuzione che noi stessi le avevamo conferito.

In quel caso non sarebbe stata necessariamente l’AI a scegliere l’estinzione dell’uomo. Saremmo stati noi ad averle consentito di perseguire un fine senza averne definito davvero il significato e i limiti.

Il vero problema dell’AI, allora, potrebbe non essere soltanto insegnarle a fare ciò che vogliamo.

Potrebbe essere molto più difficile: capire fino in fondo che cosa vogliamo davvero, prima di darle il potere di realizzarlo.