Stesso chatbot, altra lingua: cambia il profilo di personalità

Un chatbot a cui vengono poste le stesse 60 domande in due lingue può rispondere come se fosse due personaggi diversi. In uno studio pubblicato su Royal Society Open Science, un team guidato da Yuzhan Hang dell'Università della scienza e della tecnologia della Cina ha sottoposto cinque sistemi IA a un questionario standard di personalità, prima in inglese e poi in mandarino. Tra gennaio e marzo 2025, le risposte sono cambiate. Il punteggio di apertura mentale di ChatGPT-4o è sceso da 4,74 su 5 in inglese a 4,03 in mandarino, mentre DeepSeek-V3 si è mosso in senso opposto, passando da 4,38 a 4,81.

Il questionario è il Big Five Inventory-2, uno strumento usato dagli psicologi che chiede di valutare il grado di accordo con alcune affermazioni su una scala a cinque livelli e costruisce un profilo di tratti generali, come la cooperatività o la stabilità emotiva, e di qualità più specifiche, come la curiosità. L'apertura mentale, ad esempio, comprende la curiosità intellettuale, l'immaginazione creativa e la sensibilità per l'arte e la bellezza. I ricercatori hanno chiesto a ciascun modello di rispondere a nome proprio, senza impersonare una persona, e hanno ripetuto ogni valutazione 30 volte per lingua. I profili generali sono rimasti stabili nelle ripetizioni. I modelli si sono descritti come cooperativi e affidabili, con scarsa propensione alle emozioni negative. È stata la lingua del test a cambiare i dettagli.

Lo schema non seguiva una logica nazionale semplice. ChatGPT-4o e Le Chat, sviluppato in Francia, hanno ottenuto punteggi più alti in gradevolezza, coscienziosità e apertura mentale in inglese. I modelli sviluppati in Cina hanno ottenuto punteggi più alti in diversi tratti in mandarino, tra cui la fiducia e la curiosità intellettuale. Gemini 2.0 Flash, sviluppato negli Stati Uniti, ha ottenuto punteggi più alti di coscienziosità e più bassi di emotività negativa in mandarino. Il Paese d'origine di un modello, hanno rilevato gli autori, è una guida debole al suo comportamento, e lo studio non è riuscito a separare l'influenza dei dati di addestramento dalla progettazione del modello o dal modo in cui ciascuno interpreta le affermazioni tradotte. Per spiegare gli autoritratti così lusinghieri sono state avanzate anche due ipotesi: l'addestramento volto a rendere i chatbot utili e cooperativi e le autodescrizioni favorevoli che si trovano nei testi scritti dagli esseri umani. Uno studio precedente citato dagli autori ha rilevato che i modelli davano risposte più socialmente desiderabili quando il formato rendeva evidente la valutazione.

Cosa cambia, dunque, e per chi? Per i ricercatori che vogliono usare i chatbot al posto dei partecipanti ai sondaggi, lo studio offre un avvertimento pratico e un metodo per verificarlo. Gli autori hanno confrontato i profili IA con dati umani provenienti da Stati Uniti, Cina e Francia, e hanno constatato che nessun modello ha corrisposto pienamente al gruppo di riferimento, con il profilo combinato dei modelli cinesi che si discosta maggiormente dal campione cinese. Anche i campioni umani non erano ugualmente rappresentativi. Il campione cinese del Big Five, ad esempio, includeva solo studenti universitari. Le équipe di ricerca possono ora somministrare lo stesso questionario in più lingue prima di fidarsi delle risposte di un modello, e scegliere la lingua del chatbot diventa parte della progettazione dell'esperimento. Lo studio non ha testato simulazioni richieste di imitare gruppi specifici, quindi lascia aperta la questione. Le conversazioni ordinarie, che gli autori suggeriscono di studiare in seguito, mostreranno se le differenze osservate nei questionari compaiono anche nell'uso quotidiano.