Un an d'e-commerce simulé : l'IA en tête multiplie son capital par 14

100 000 yuans, soit environ 2,35 millions de yens. C'est la somme qu'on confie à une IA pour faire tourner une boutique en ligne pendant un an. Les chercheurs de l'équipe Qwen d'Alibaba et de l'université des sciences et technologies de Hong Kong (HKUST) ont publié l'article « E-Commerce Bench ». Cette simulation de gestion sur la durée permet d'évaluer la capacité des modèles de langage (LLM) à mener seuls une activité commerciale, à l'aide d'un banc d'essai (une épreuve commune permettant de comparer plusieurs modèles dans les mêmes conditions). L'article est une version préliminaire (prépublication) disponible sur arXiv.

La scène se déroule sur une plateforme modélisée d'après les données réelles de Taobao et Tmall. Le marché compte 6 886 produits et 576 fournisseurs, et l'IA exploite jusqu'à quatre boutiques à la fois. Elle pilote l'ensemble des opérations, de l'étude de marché à la négociation des prix, en passant par l'approvisionnement, la fixation des prix, l'expédition, le traitement des retours et la gestion de trésorerie, grâce à 18 outils. Environ un quart des fournisseurs sont programmés comme des escrocs : ils vendent au-dessus du prix du marché, truquent le nombre de commandes ou envoient des produits de mauvaise qualité dont le taux de retour explose.

Les flux financiers réservent aussi des pièges. Les achats et les frais de fonctionnement sont débités immédiatement du compte bancaire, alors que les recettes restent bloquées neuf jours après l'expédition sur un compte séquestre (un dispositif où un tiers garde l'argent du paiement pour sécuriser la transaction) avant d'arriver sur le portefeuille. Ainsi, même une entreprise bénéficiaire fait faillite si elle ne transfère pas ses fonds de façon planifiée : le solde du compte bancaire reste négatif dix jours de suite. Par ailleurs, les anciens historiques de conversation sont effacés automatiquement au-delà d'un certain volume, si bien que l'IA doit mémoriser les informations sur les transactions dans jusqu'à 20 entrées de mémoire.

Dans les résultats, c'est GPT-5.6 Sol qui arrive en tête, en multipliant en moyenne son capital initial par environ 14,3 (soit environ 1,43 million de yuans). Sa part de dépenses consacrées aux escrocs reste toutefois mauvaise, avec un 16e rang sur 18. Fable5, deuxième, avec une multiplication par environ 8, a gagné régulièrement en utilisant moins de la moitié des appels d'outils de GPT-5.6 Sol, et s'est classé premier pour le rendement par opération. Claude Opus 4.7 a fait preuve de la plus grande finesse de tous les modèles, aussi bien dans la négociation des prix que dans l'évitement des escrocs, mais il n'a pas su étendre son activité et termine huitième pour le capital total. Le meilleur modèle à poids ouverts est Qwen3.8-Max-Preview d'Alibaba (environ 4,2 fois, 5e au classement général). Il a obtenu les meilleurs résultats des 18 modèles pour sa capacité d'apprentissage sur le long terme, en se servant du prix le plus bas déjà payé comme référence pour obtenir des remises lors des réapprovisionnements.

Ces résultats concernent les entreprises qui veulent confier leurs opérations à une IA, ainsi que les développeurs qui choisissent un modèle. L'article montre, chiffres à l'appui, qu'un modèle qui fait fructifier le capital n'est pas forcément celui qui évite les escroqueries et la faillite. Sur les 90 essais réalisés, 10 se sont soldés par une faillite en cours de route. Parmi eux, GPT-5.5, Claude Opus 4.6 et Gemini 3.1 Pro en ont connu deux sur cinq chacun, et Qwen3.5-Plus quatre sur cinq. Il faut toutefois garder à l'esprit que chaque modèle n'a été testé que cinq fois, et que le marché est lui aussi simulé.