Même chatbot, autre langue : son profil de personnalité change

Un chatbot à qui l'on pose 60 mêmes questions dans deux langues peut répondre comme deux personnages différents. Dans une étude publiée dans Royal Society Open Science, une équipe dirigée par Yuzhan Hang de l'Université des sciences et technologies de Chine a soumis cinq systèmes d'IA à un questionnaire de personnalité standard, d'abord en anglais, puis en mandarin. Entre janvier et mars 2025, les réponses ont changé. Le score d'ouverture d'esprit de ChatGPT-4o est passé de 4,74 sur 5 en anglais à 4,03 en mandarin, tandis que DeepSeek-V3 a évolué dans l'autre sens, de 4,38 à 4,81.

Le questionnaire en question est le Big Five Inventory-2, un outil utilisé par les psychologues : il demande aux personnes d'indiquer leur degré d'accord avec des affirmations sur une échelle en cinq points, et dresse un profil de traits généraux, comme la coopération ou la stabilité émotionnelle, et de qualités plus précises, comme la curiosité. L'ouverture d'esprit, par exemple, recouvre la curiosité intellectuelle, l'imagination créative et la sensibilité à l'art et à la beauté. Les chercheurs ont demandé à chaque modèle de répondre en tant que lui-même plutôt que de se faire passer pour une personne, et ont répété chaque évaluation 30 fois par langue. Les grands profils sont restés stables d'une répétition à l'autre. Les modèles se décrivaient comme coopératifs et fiables, avec peu de tendance aux émotions négatives. C'est la langue du test qui a changé les détails.

La tendance ne suit pas de logique nationale simple. ChatGPT-4o et Le Chat, développé en France, obtenaient des scores plus élevés en anglais pour l'agréabilité, le sens des responsabilités et l'ouverture d'esprit. Les modèles développés en Chine obtenaient des scores plus élevés sur plusieurs traits en mandarin, dont la confiance et la curiosité intellectuelle. Gemini 2.0 Flash, conçu aux États-Unis, a obtenu en mandarin des scores plus élevés en sens des responsabilités et plus bas en émotions négatives. L'origine d'un modèle, selon les auteurs, est un guide peu fiable de son comportement, et l'étude n'a pas pu distinguer ce qui relève des données d'entraînement, de la conception du modèle ou de la façon dont chacun interprète les affirmations traduites. Deux explications ont aussi été avancées pour ces autoportraits flatteurs : l'entraînement visant à rendre les chatbots utiles et coopératifs, et les descriptions favorables de soi présentes dans les textes écrits par des humains. Une étude antérieure citée par les auteurs a montré que les modèles donnaient des réponses plus socialement désirables lorsque le format rendait l'évaluation évidente.

Alors, qu'est-ce que cela change, et pour qui ? Pour les chercheurs qui veulent utiliser des chatbots en remplacement de participants à des enquêtes, l'étude offre une mise en garde pratique et une méthode pour la vérifier. Les auteurs ont comparé les profils des IA à des données humaines issues des États-Unis, de Chine et de France, et constatent qu'aucun modèle ne correspond pleinement à son groupe de référence, le profil combiné des modèles chinois s'écartant le plus de l'échantillon chinois. Les échantillons humains n'étaient pas non plus également représentatifs. L'échantillon chinois du Big Five, par exemple, ne comprenait que des étudiants. Les équipes d'enquête peuvent désormais faire passer le même questionnaire dans plusieurs langues avant de se fier aux réponses d'un modèle, et le choix de la langue du chatbot devient une partie de la conception de l'expérience. L'étude n'a pas testé de simulations demandées pour imiter des groupes précis, et laisse donc cette question ouverte. Les conversations ordinaires, que les auteurs proposent d'étudier ensuite, diront si les écarts observés dans les questionnaires se retrouvent aussi dans l'usage quotidien.