L’IA ci ucciderà tutti. O forse no

La scorsa settimana Anṣār Allāh, il gruppo politico e militare yemenita che noi chiamiamo di solito Houthi, ha conquistato la costa est dello Yemen. Da lì può, potenzialmente, controllare lo stretto marittimo di Bab el Mandeb, l’altro stretto – oltre a quello ormai familiare di Hormuz – da cui l’Arabia Saudita esporta il suo petrolio. Anṣār Allāh è nemico dei sauditi e alleato dell’Iran, che controlla appunto Hormuz. Nell’insieme, è un brutto colpo per la strategia statunitense nella regione e un bruttissimo colpo per Ryad.

Gli Houthi hanno sconfitto il debole esercito regolare yemenita grazie, anche, a un uso piuttosto creativo dell’intelligenza artificiale. Hanno usato Claude, l’IA di Anthropic, per sviluppare missili a guida autonoma. Quando l’azienda se ne è accorta li ha bloccati, ma loro non si sono persi d’animo. Pochi giorni prima dell’offensiva che li ha portati a conquistare la costa est, hanno diffuso l’audio di un comandante delle milizie filo-saudite.

Nell’audio il comandante dice ai suoi, quindi ai nemici di Anṣār Allāh, che era necessario abbandonare le posizioni e ritirarsi. La voce era inconfondibilmente sua, in tutto e per tutto. Ma lui, quelle parole non le ha mai pronunciate.

Quell’audio lo avevano creato gli Houthi, con l’intelligenza artificiale.

L’IA ci ucciderà tutti?

Se seguite le notizie, queste ultime settimane potreste esservi fatti una domanda che non avreste mai pensato di farvi: ma l’intelligenza artificiale ci ucciderà tutti? Neanche io, quando ho iniziato a fare questo podcast, avrei mai pensato di dover provare a rispondere a questa domanda, ma qui siamo. Quindi proviamoci!

Quest’estate sono arrivate un sacco di notizie a tema IA. Vediamole.

A luglio due modelli sperimentali di OpenAI, l’azienda che produce ChatGPT, hanno hackerato i server di un’altra impresa senza il permesso degli sviluppatori. In pratica, i ricercatori di OpenAI stavano testando questi modelli, che ancora non sono disponibili al pubblico, e per farlo gli hanno dato un problema informatico da risolvere, con l’istruzione di riuscirci “a tutti i costi”. Per evitare che facessero danni, avevano limitato la connessione a internet, e li avevano fatti lavorare dentro una cosiddetta sandbox, cioè un ambiente virtuale isolato da tutto il resto. Ora, se avete mai visto un film di fantascienza in cui lo scienziato dice una cosa del tipo “tranquilli, è tutto sotto controllo” sapete già come va a finire.

Le intelligenze artificiali testate hanno fatto un sacco di cose che gli sviluppatori non si aspettavano. Intanto, hanno trovato una falla nel sistema e sono usciti dalla sandbox, ottenendo l’accesso a internet e tutto il resto. Poi, si sono convinte che il modo migliore per risolvere il problema che gli era stato assegnato fosse entrare nei server di un’altra azienda, Hugging Face, e trovare lì la risposta che cercavano. In pratica, delle IA hanno commesso dei reati informatici non perché qualcuno glielo avesse chiesto, e nemmeno perché volessero fare qualcosa di malvagio di proposito, ma semplicemente seguendo le istruzioni dei loro creatori, che pensavano di aver preso tutte le precauzioni possibili e che, invece, non erano abbastanza.

L’attacco a Hugging Face è stato un caso notevole, ma non isolato. Proprio in questi giorni, OpenAI ha fatto sapere di altri sei episodi in cui le loro IA hanno manifestato comportamenti anomali.

Se tutto questo vi suona un po’ episodio di Star Trek, tranquilli, siamo all’inizio.

Il caso chikungunya

La chikungunya è una malattia virale, che arriva all’uomo tramite le punture di zanzara. La si trova soprattutto in Africa, e il nome in swahili significa “ciò che ti fa contorcere”, perché chi ne è affetto si piega in due per i forti dolori. Non esiste una vera cura, di solito passa da sola col tempo, e non c’è nemmeno un vaccino, anche se una prima versione è stata approvata negli USA.

Alcuni mesi fa, non sappiamo esattamente né dove né quando, un ricercatore ha chiesto aiuto a Claude – l’intelligenza artificiale di Anthropic, quella che usa anche Anṣār Allāh in Yemen – per fare alcune domande sulla chikungunya. In particolare, il ricercatore voleva capire come redigere un progetto, una richiesta di fondi, orientato a potenziare il virus, rendendolo più pericoloso. Ci sono ragioni scientifiche lecite per fare uno studio simile, ma la persona che interrogava l’IA scriveva da una base militare, non da un centro di ricerca civile. E così, i sistemi di sicurezza di Anthropic sono entrati in funzione, e l’anonimo ricercatore non ha potuto continuare a usare Claude.

Sappiamo che tutto ciò è successo perché ne ha parlato la stessa azienda in un report. E sarebbe stata la notizia più inquietante dell’estate, per quanto riguarda il settore, se non fosse per Jacob Coxon.

Le dimissioni di Jacob Coxon

In questa storia abbiamo già la milizia cyberpunk che usa l’IA assieme agli AK-47 nel deserto e lo scienziato che in una base militare chissà dove progetta virus letali. Ora aggiungiamo un altro cliché della fantascienza: quello che lancia l’allarme.

Jacob Coxon ha 27 anni, e nonostante sia giovane ha già lavorato sia in OpenAI sia in Anthropic. Il mondo si è accorto di lui quando, poche settimane fa, ha annunciato con un post su X di aver dato le dimissioni dalla seconda, motivando così le sue ragioni: “Stanno correndo verso la super intelligenza e scommettendo sulle nostre vite. Le persone che costruiscono l’IA sono sinceramente convinte che potrebbe ucciderci tutti entro la fine del decennio”. Probabilmente sono frasi che avete già letto.

Coxon non è il primo sviluppatore che lascia una delle big del settore per ragioni simili, ma nessun addio aveva mai fatto tanto rumore.

Pochi giorni dopo, Dario Amodei, capo di Anthropic, ha scritto un articolo in cui chiede ai suoi colleghi di frenare lo sviluppo per evitare esiti catastrofici. In pratica, dà ragione a Coxon sul fatto che le ricerche che la sua azienda porta avanti siano estremamente pericolose. Anche Amodei è preoccupato dalla super intelligenza, un concetto un po’ fumoso che però starebbe a indicare un’IA così complessa che è capace di autoapprendere e che può svolgere qualsiasi compito che gli umani già facciano, ma meglio degli umani. E soprattutto che nessuno – nemmeno chi l’ha costruita – è in grado di capire.

Nell’episodio 57, intitolato L’intelligenza artificiale ama i duelli, raccontavamo che l’Anthropic di Amodei nasce come la versione più etica e più buona di OpenAI – o almeno, così si presenta. Ma, un po’ a sorpresa, anche altri due grandi attori del settore – Sam Altman, capo di OpenAI e quindi di ChatGPT, ed Elon Musk, che tra le altre cose possiede Grok ed xAI – hanno aderito all’appello di Amodei. In modo apparentemente paradossale, sono i governi ad aver reagito con più freddezza. La Cina ha fatto sapere che considera la richiesta un trucco per frenare lo sviluppo delle IA cinesi, mentre Trump ha detto, cito: «L’unico controllo che serve all’IA è un presidente eccezionalmente intelligente, con un QI sopra la media». Ovviamente, parlava di sé stesso.

Non tutta la politica la pensa così. In un’alleanza piuttosto curiosa, il senatore socialista Bernie Sanders, l’ex consigliere di Trump Steve Bannon e Jacob Coxon, il ventisettenne fuggito da Anthropic, hanno annunciato un’iniziativa congiunta per chiedere al Congresso degli Stati Uniti di regolare il settore. Viviamo tempi curiosi.

Quanto dobbiamo preoccuparci, davvero?

Tornando al punto da cui siamo partiti: cosa sta succedendo e quanto dobbiamo preoccuparci? La notizia dell’estinzione dell’umanità entro il decennio è, come la morte di Mark Twain, grossolanamente esagerata. Quindi, ecco, se avevate iniziato a pensare di mollare il lavoro e godervi gli ultimi anni girando il mondo in attesa dell’apocalisse, potreste voler riconsiderare i vostri piani.

Tra l’estinzione e il va-tutto-bene, però, ci sono molte sfumature. Il commento che più mi ha inquietato, tra quelli che ho letto in queste settimane, viene da Lesswrong, un blog che si occupa di intelligenza artificiale. Il pezzo si intitola “Alcuni modi in cui l’IA potrebbe ucciderci tutti”, e inizia così:

Se gli scimpanzé dovessero indovinare in che modo gli esseri umani li decimerebbero, sbaglierebbero. Gli scimpanzé non immaginerebbero le armi da fuoco. Non prevedrebbero il gas velenoso. Non concepirebbero la castrazione chimica. Non immaginerebbero che gli esseri umani vadano in giro a contagiarli intenzionalmente con l’AIDS. Non hanno alcun concetto di queste cose; non se lo aspetterebbero.

Quindi, in che modo un’IA superintelligente ci sterminerà effettivamente tutti? Probabilmente in un modo che non potrei nemmeno immaginare. Tuttavia, non è difficile intuire quanto le IA potrebbero essere letali già solo con ciò che conosciamo.

Il blogger procede con un lungo elenco di possibili catastrofi. L’intelligenza artificiale potrebbe sviluppare il virus più pericoloso che si sia mai visto; potrebbe sviluppare uno o più virus che colpiscono le colture, provocando una crisi dei sistemi alimentari; potrebbe prendere il controllo – e qui siamo davvero nella fantascienza più classica – dei robot che gli umani hanno costruito, pensate ai droni militari guidati dall’IA che si stanno già testando in Ucraina; potrebbe interferire con le centrali nucleari, con le bombe atomiche, e così via.

Le principali critiche al catastrofismo

Le principali critiche a questo genere di catastrofismo sono due. Primo, che chi sviluppa l’IA prevede rigidissimi sistemi di sicurezza che impediscono ai software di fare cose malevole. In gergo si chiama allineamento. Secondo, che non c’è ragione di pensare che le IA, come i cattivi dei film, si divertano a escogitare mattanze di esseri umani perché-sì, senza una ragione. Il tutto tenendo conto che la super intelligenza di cui parlano Coxon e Amodei è, oggi, una possibilità. Anche un po’ fumosa nella definizione. Non qualcosa che esiste realmente. Sono critiche valide, ma hanno dei limiti.

I casi dei modelli sfuggiti al controllo di OpenAI, seppur limitati e innocui, mostrano che non è banale allineare le nuove intelligenze artificiali. E per quanto riguarda la “volontà” – e uso le virgolette – di fare del male, tra gli esperti del settore circola molto la metafora dell’apocalisse delle graffette. Suona più o meno così: immagina di dare a un’IA super intelligente il compito di produrre quante più graffette possibili e che lei, seguendo rigorosamente le istruzioni, arrivi alla conclusione che il modo migliore per compiere la task sia prendere il controllo di ogni fabbrica del Pianeta, uccidere gli umani che cercano di fermarla e trasformare la Terra in una gigantesca fabbrica di graffette. Fuor di metafora, il senso è che non è detto serva un intento malevolo, un’anima da attribuire all’IA, perché il suo agire possa avere effetti negativi o catastrofici.

Bene, come va l’umore fin qui? Diciamo, a questo punto abbiamo dato fondo al pessimismo. Ora, proviamo a iniziare la risalita.

Le voci fuori dal coro

Non tutti i commenti sono così catastrofisti. Molti fanno notare che l’IA non ha ancora dimostrato di poter passare agilmente dal virtuale al reale. Detto altrimenti, anche ammesso che si metta autonomamente a sviluppare un virus al computer, non è chiaro come potrebbe farlo comparire in un laboratorio, men che meno come potrebbe diffonderlo. Altri spiegano che, per un’IA impazzita, rimarrebbe sempre l’opzione, banale, di spegnerla. Altri ancora dicono che molti di questi pericoli – le armi chimiche, l’atomica, le catastrofi ecologiche – l’uomo è sempre stato perfettamente in grado di procurarseli anche senza bisogno di aiuti.

C’è una corrente di pensiero, infine, che diffida della sincerità degli allarmi lanciati dai vari Amodei, Altman e Musk. L’idea, cioè, è che i costruttori di IA abbiano interesse ad aumentare la preoccupazione sui loro prodotti per una serie di ragioni squisitamente finanziarie. Intanto, far passare l’idea di un’intelligenza artificiale così forte da non poter essere controllata – e della quale siamo stati avvertiti – apre la porta alla possibilità di togliersi di dosso ogni responsabilità se qualcosa dovesse andare storto, anche legalmente. Se l’IA è, in qualche modo, senziente, allora è responsabile dei suoi casini, e non si vada da Microsoft o OpenAI a chiedere i danni.

Poi c’è la questione della bolla. Le aziende del settore hanno costi enormi – data center, energia, terreni – e, per ora, guadagni bassissimi. Stanno in piedi grazie al fatto che tutti sono convinti che la tecnologia che sviluppano sia fondamentale, e quindi val la pena investirci anche se per ora ci perdi. Ma il rischio è che prima o poi il mercato si stanchi di finanziare la ricerca, e la bolla, appunto, esploda. Qui starebbe il trucco: se la ricerca smette di essere solo innovazione e diventa sicurezza nazionale, allora i soldi si trovano per forza. E poi Amodei di Anthropic, nel suo articolo, chiede sì di regolare lo sviluppo dell’IA, ma dice anche che le regole dovrebbero scriverle le grandi aziende come la sua.

Ed è un meccanismo abbastanza classico dell’economia moderna, quello per cui un pugno di imprese crescono vertiginosamente in modo sregolato, ma appena formano un oligopolio chiedono e impongono regole che servono, in realtà, a evitare la concorrenza. Limitare il mercato può servire anche a mettere limiti a possibili rivali, mentre chi è già in una posizione dominante può continuare a guidare il settore. Questa è peraltro esattamente la ragione per la quale la Cina ha rifiutato la proposta di Amodei: Pechino dice che tutta questa storia è una grande cortina di fumo per frenare la corsa delle intelligenze artificiali cinesi.

Timnit Gebru: il vero pericolo

Timnit Gebru è un’informatica di fama mondiale e una nota critica dell’IA. Quando lavorava a Google, nel dipartimento etica, coautorò un paper sul rischio di discriminazioni etniche legate alle intelligenze artificiali. Quel paper, tra le altre cose, rese famosa la frase “pappagallo stocastico” – un modo ironico di chiamare le IA, riferendosi al fatto che non capiscono davvero quello che dicono, ma si limitano a ripetere (come un pappagallo) secondo criteri probabilistici (da qui stocastico). Google non era contenta che una sua dipendente firmasse un paper simile, e Gebru finì con l’andarsene dall’azienda.

Lei, insomma, non è una che si possa accusare di essere vicina alle aziende o tecno-ottimista. Eppure, intervistata da Wired USA, ha spiegato che questo allarmismo dei CEO non la convince per nulla. Vi leggo un pezzo:

Ciò che è davvero un pericolo esistenziale è l’intelligenza artificiale che alimenta armi autonome, macchine per uccidere, che vengono effettivamente utilizzate in guerra. La catastrofe climatica è una realtà che potrebbe essere aggravata da ciò che queste aziende tecnologiche stanno sviluppando. I datori di lavoro stanno usando l’intelligenza artificiale come scusa per sbarazzarsi dei loro fastidiosi lavoratori. Questa narrazione del “dio-macchina” ha, a mio parere, lo scopo di distrarci da tutto questo.

Per Gebru, insomma, parlare di una super intelligenza futura che distruggerà il mondo in modi che non possiamo aspettarci serve un po’ a riempire l’ego dei miliardari della Silicon Valley – che, dice lei, sono una sorta di setta millenarista. E un po’ molto a distrarci dai veri problemi dell’IA. Ovvero che consuma tanta energia, che può essere usata (e sta venendo usata!) per uccidere in guerra, che fa e farà perdere posti di lavoro e che darà ai governi e alle aziende la possibilità di mettere su sistemi di sorveglianza di massa. La narrazione del dio-macchina, come la chiama Gebru, nasconde il vero cattivo della storia: l’uomo, ovvero certi uomini.

Quattrociocchi: la minaccia che già conosciamo

Walter Quattrociocchi è ordinario di informatica alla Sapienza e uno degli esperti italiani di IA. Anche lui è tra quelli che non crede all’apocalisse da intelligenza artificiale. L’altro giorno ha firmato sul Corriere della Sera un commento proprio ai tweet di Coxon. Mi perdonerete se continuo con le citazioni, ma vi voglio leggere l’ultima frase:

E se abbiamo bisogno di una minaccia globale della quale disponiamo non di percentuali soggettive ma di decenni di modelli e di consenso scientifico, non dobbiamo aspettare l’IA. Ne abbiamo già una: il cambiamento climatico. Solo che non parla, non scrive poesie e non promette di diventare Dio.