Mismo chatbot, otro idioma: cambia su test de personalidad

Un chatbot al que se le plantean las mismas 60 preguntas en dos idiomas puede responder como dos personajes distintos. En un estudio publicado en Royal Society Open Science, un equipo dirigido por Yuzhan Hang, de la Universidad de Ciencia y Tecnología de China, sometió a cinco sistemas de IA a un cuestionario estándar de personalidad, primero en inglés y después en mandarín. Entre enero y marzo de 2025, las respuestas cambiaron. La puntuación de apertura mental de ChatGPT-4o bajó de 4,74 sobre 5 en inglés a 4,03 en mandarín, mientras que DeepSeek-V3 hizo el movimiento contrario, de 4,38 a 4,81.

El cuestionario es el Big Five Inventory-2, una herramienta de los psicólogos que pide a las personas valorar su grado de acuerdo con una serie de afirmaciones en una escala de cinco puntos y construye un perfil de rasgos generales, como la cooperación o la estabilidad emocional, y de cualidades más específicas, como la curiosidad. La apertura mental, por ejemplo, abarca la curiosidad intelectual, la imaginación creativa y la sensibilidad hacia el arte y la belleza. Los investigadores indicaron a cada modelo que respondiera como sí mismo y no como si fuera una persona, y repitieron cada evaluación 30 veces por idioma. Los perfiles generales se mantuvieron estables en las repeticiones. Los modelos se describieron como cooperativos y fiables, con poca tendencia a las emociones negativas. El idioma de la prueba sí cambió los detalles.

El patrón no siguió una lógica nacional simple. ChatGPT-4o y Le Chat, desarrollado en Francia, obtuvieron puntuaciones más altas en amabilidad, responsabilidad y apertura mental en inglés. Los modelos desarrollados en China puntuaron más alto en varios rasgos en mandarín, entre ellos la confianza y la curiosidad intelectual. Gemini 2.0 Flash, creado en Estados Unidos, dio puntuaciones más altas de responsabilidad y más bajas de emocionalidad negativa en mandarín. Según los autores, el país de origen de un modelo es una guía poco fiable de su comportamiento, y el estudio no pudo separar la influencia de los datos de entrenamiento del diseño del modelo o de la forma en que cada uno interpretó las afirmaciones traducidas. También se propusieron dos explicaciones para los autorretratos halagüeños: el entrenamiento destinado a que los chatbots sean útiles y cooperativos, y las autodescripciones favorables que abundan en los textos humanos. Un estudio anterior citado por los autores halló que los modelos daban respuestas más socialmente deseables cuando el formato hacía evidente la evaluación.

Entonces, ¿qué cambia y para quién? Para los investigadores que quieran usar chatbots como sustitutos de los participantes en encuestas, el estudio ofrece una advertencia práctica y una forma de comprobarla. Los autores compararon los perfiles de la IA con datos humanos de Estados Unidos, China y Francia, y constataron que ningún modelo coincidió por completo con su grupo de referencia; el perfil combinado de los modelos chinos fue el que más se alejó de la muestra china. Las muestras humanas tampoco eran igual de representativas. La muestra china del Big Five, por ejemplo, incluía solo estudiantes universitarios. Los equipos de encuestas pueden ahora aplicar el mismo cuestionario en varios idiomas antes de confiar en las respuestas de un modelo, y elegir el idioma del chatbot pasa a formar parte del diseño del experimento. El estudio no probó simulaciones con instrucciones para imitar a grupos concretos, así que deja esa cuestión abierta. Las conversaciones corrientes, que los autores proponen estudiar a continuación, mostrarán si las diferencias observadas en los cuestionarios también aparecen en el uso diario.