Mesma IA, outra língua: os seus resultados de personalidade mudam

Um chatbot a quem se fazem as mesmas 60 perguntas em duas línguas pode responder como duas personagens diferentes. Num estudo publicado na Royal Society Open Science, uma equipa liderada por Yuzhan Hang, da Universidade de Ciência e Tecnologia da China, deu a cinco sistemas de IA um questionário de personalidade padrão, primeiro em inglês e depois em mandarim. Entre janeiro e março de 2025, as respostas mudaram. A pontuação de abertura de espírito do ChatGPT-4o desceu de 4,74 em 5 em inglês para 4,03 em mandarim, enquanto o DeepSeek-V3 se moveu no sentido contrário, de 4,38 para 4,81.

O questionário é o Big Five Inventory-2, uma ferramenta usada por psicólogos que pede às pessoas que avaliem o seu grau de concordância com afirmações numa escala de cinco pontos e que constrói um perfil de traços gerais, como a cooperação ou a estabilidade emocional, e de qualidades mais específicas, como a curiosidade. A abertura de espírito, por exemplo, abrange a curiosidade intelectual, a imaginação criativa e a sensibilidade à arte e à beleza. Os investigadores pediram a cada modelo que respondesse como ele próprio, e não que se fizesse passar por uma pessoa, e repetiram cada avaliação 30 vezes por língua. Os perfis gerais mantiveram-se estáveis ao longo das repetições. Os modelos descreveram-se como cooperativos e fiáveis, com pouca tendência para emoções negativas. A língua do teste mudou os pormenores.

O padrão não seguiu uma lógica nacional simples. O ChatGPT-4o e o Le Chat, desenvolvido em França, obtiveram pontuações mais altas em amabilidade, responsabilidade e abertura de espírito em inglês. Os modelos desenvolvidos na China obtiveram pontuações mais altas em vários traços em mandarim, incluindo a confiança e a curiosidade intelectual. O Gemini 2.0 Flash, construído nos Estados Unidos, deu pontuações mais altas de responsabilidade e mais baixas de emocionalidade negativa em mandarim. O país de origem de um modelo é, segundo os autores, um guia fraco para o seu comportamento, e o estudo não conseguiu separar a influência dos dados de treino da concepção do modelo ou da forma como cada um interpretou as afirmações traduzidas. Foram também apresentadas duas explicações para os autorretratos lisonjeiros: o treino destinado a tornar os chatbots úteis e cooperantes, e as autodescrições favoráveis que se encontram nos textos escritos por humanos. Um estudo anterior citado pelos autores concluiu que os modelos davam respostas mais socialmente desejáveis quando o formato tornava a avaliação evidente.

Afinal, o que muda com isto, e para quem? Para os investigadores que querem usar chatbots como substitutos dos participantes em inquéritos, o estudo oferece um aviso prático e uma forma de o testar. Os autores compararam os perfis da IA com dados humanos dos Estados Unidos, da China e de França, e concluíram que nenhum modelo coincidiu totalmente com o seu grupo de referência, sendo o perfil combinado dos modelos chineses o que mais se afastou da amostra chinesa. As amostras humanas também não eram igualmente representativas. A amostra chinesa do Big Five, por exemplo, incluía apenas estudantes universitários. As equipas de inquérito podem agora aplicar o mesmo questionário em várias línguas antes de confiar nas respostas de um modelo, e a escolha da língua do chatbot passa a fazer parte da concessão da experiência. O estudo não testou simulações pedidas para imitar grupos específicos, pelo que deixa essa questão em aberto. As conversas comuns, que os autores sugerem estudar a seguir, mostrarão se as diferenças observadas nos questionários também aparecem na utilização quotidiana.