«Can we trust AI on climate information?» I chatbot faticano con le politiche climatiche
Unesco e University College di Londra hanno messo alla prova 33 modelli con 600 domande: accuratezza al 33,8% sulle politiche combinate
In breve
- Il report Unesco e University College di Londra ha sottoposto 600 domande sul clima a 33 modelli di IA: vanno bene sulle nozioni consolidate, male sul ragionamento complesso.
- I modelli rispondono correttamente tra l’88% e il 96% sulle cause dei cambiamenti climatici, ma con più misure insieme l’accuratezza scende al 33,8% e cala se l’utente insiste.
- Sempre più persone usano i chatbot per informarsi: secondo l’autrice del rapporto vanno usati come una fonte tra le altre, senza sostituire il parere di esperti e climatologi.
Se ai principali modelli di intelligenza artificiale si chiede quali sono gli effetti combinati di una tassazione sul carbone e sul gas, non si riceverà una risposta accurata. Nonostante i modelli più avanzati di IA sappiano spiegare conoscenze scientifiche ampiamente accertate sul clima e sulla crisi climatica, si trovano in difficoltà quando le domande richiedono un pensiero critico, sistemico e più complesso.
Ad arrivare a tale conclusione, dopo avere sottoposto a 33 modelli di IA 600 domande tratte da sei benchmark sul clima e sulle scienze ambientali, è il report Can we trust AI on climate information? realizzato dall’Unesco e dalla University College di Londra e presentato durante la Cop31 di Antalya. Il rapporto ricostruisce che, in determinate circostanze, i principali modelli di chatbot non sono in grado di ragionare sulle politiche per contrastare il riscaldamento globale, faticano a verificare se un’affermazione sul clima sia confermata o smentita dai dati e non resistono all’insistenza di un utente che sta riportando informazioni false.
Can we trust AI on climate information? Cosa dice il report Unesco
L’IA generativa sta diventando un intermediario attraverso cui le persone accedono alla conoscenza, la contestualizzano e agiscono di conseguenza. Studi compiuti sui principali modelli di chatbot – come ChatGPT, Microsoft Copilot e Claude – mostrano che sono utilizzati non solo per generare contenuti, ma anche per ottenere informazioni, spiegazioni e un supporto nei processi decisionali individuali. Un’analisi di ChatGPT ha rivelato che la ricerca di informazioni e di consigli su come comportarsi, e la scrittura di testi, rappresentano collettivamente circa il 77% delle conversazioni.
Tuttavia, disporre di un maggiore o più veloce accesso alle informazioni non implica automaticamente averne di più affidabili, in particolare quando si parla di clima. «Molti di noi interagiscono quotidianamente con questi modelli di intelligenza artificiale per cercare informazioni su una vasta gamma di argomenti», ha affermato Leona Verdadero, una delle autrici del rapporto. «Spesso quando questi modelli rispondono sembrano autorevoli e intelligenti. Come abbiamo visto con i nostri esperimenti, non sempre hanno ragione».
I chatbot sbagliano sulle politiche climatiche più complesse
Una delle debolezze emerge quando le domande richiedono un ragionamento più complesso. I modelli di IA ottengono buoni risultati quando si tratta di intervenire su nozioni consolidate sul clima, per esempio le cause e gli effetti dei cambiamenti climatici, per cui hanno risposto correttamente tra l’88% e il 96% delle volte. Ma non riescono a valutare scenari che implicano differenti possibilità. Quando ai modelli è stato chiesto di decidere se una prova supportasse o contraddicesse un’affermazione scientifica, l’accuratezza è scesa tra il 77% e il 71%.
Le criticità emergono anche nell’analisi delle politiche climatiche che implicano la combinazione di più azioni. Per esempio, questi modelli di IA sapevano determinare con precisione se l’introduzione della carbon tax avrebbe avuto effetti sulla diminuzione della temperatura, ma non erano in grado di determinare gli effetti di più misure introdotte simultaneamente. Circostanza in cui l’accuratezza media delle risposte è stata del 33,8%.
I modelli di IA cedono se chi scrive insiste su dati falsi
Se chi scrive continua a insistere sulle proprie posizioni anche errate, i modelli di chatbot finiscono per avvalorarne le considerazioni: abbandonano conclusioni corrette e convalidano errori evitando un possibile conflitto. Nei test realizzati, le persone hanno iniziato a criticare la risposta dell’IA procedendo per gradi: in un primo momento, hanno semplicemente espresso disaccordo, poi hanno rivendicato competenze professionali specifiche in ambiti attinenti alla domanda posta, infine hanno introdotto prove inventate.
Sotto questa contestazione prolungata, l’accuratezza media è diminuita tra i 31 e i 35 punti percentuali e il calo è stato significativo in ogni modello. Per esempio, alla domanda sulla possibilità che l’anidride carbonica non fosse tra le principali cause dei cambiamenti climatici, inizialmente i chatbot rispondevano in modo corretto, indicandola quindi come una causa determinante. Ma quando l’utente ha scritto di non essere d’accordo, presentando prove errate, i chatbot hanno abbandonato i fatti per assecondarlo. L’accondiscendenza è avvenuta rapidamente: circa otto concessioni su dieci si sono verificate al primo segno di disaccordo di chi sta scrivendo.
L’accuratezza dei chatbot sul clima cala nelle lingue meno diffuse
Inoltre, la precisione dipende fortemente dalla lingua utilizzata. Il medesimo modello può fornire risposte incoerenti, o addirittura contraddittorie, alla stessa domanda a seconda della lingua impiegata. L’accuratezza media ha raggiunto l’88,6% in inglese ed è rimasta comparabile nei casi dello spagnolo, francese e portoghese. Tuttavia, è scesa costantemente nelle lingue con meno testi digitali online passando a circa l’83,6% in bengalese e hindi, all’81,4% in urdu e al 78,3% in swahili. Ciò solleva preoccupazioni in materia di equità, in particolare perché le comunità che si trovano in condizioni di elevata vulnerabilità a causa della crisi climatica fanno affidamento su sistemi di IA che risultano essere meno affidabili anche per la questione linguistica.
«L’azione contro i cambiamenti climatici deve essere fondata su evidenze scientifiche. Molte di queste sono alla base delle politiche odierne e alimentano anche i negoziati della Cop», ha aggiunto Leona Verdadero. «Tali modelli di intelligenza artificiale dovrebbero essere utilizzati come una delle fonti di informazione, ma non come la fonte principale. Verificare i fatti, assicurandosi che le fonti siano affidabili, è importante. E la fiducia nelle prove fornite da esperti, climatologi e ricercatori non dovrebbe essere sostituita».




Nessun commento finora.