Qwen-UI-Agent obtient 97,5 % sur AndroidDaily

Un écran de téléphone se remplit d’applications, de menus et de tâches inachevées. Qwen-UI-Agent est conçu pour s’y déplacer : Alibaba a publié le modèle le 20 août pour utiliser des téléphones, des ordinateurs, des sites web et des outils de recherche approfondie en cliquant, en saisissant du texte et en balayant l’écran. Lors d’une démonstration, il a recherché des informations dans Amap, résumé des publications de Xiaohongshu et effectué une réservation via DingTalk en passant par cinq ou six applications.

L’approche met l’accent sur les appareils réels. De nombreux agents d’interface graphique — des systèmes qui utilisent des logiciels par l’intermédiaire de ce qui apparaît à l’écran — sont entraînés dans des simulateurs, tandis qu’Alibaba affirme avoir entraîné et évalué ce modèle sur des appareils réels. L’entreprise a plutôt créé un environnement mobile avec plus de 100 téléphones réels et plus de 150 applications, puis mis au point le benchmark MobileWorld-Real, composé de 400 tâches. Le modèle a atteint 97,5 % sur AndroidDaily et 82,1 % sur MobileWorld ; sur ordinateur, Alibaba annonce 79,5 % sur OSWorld-Verified et 73,6 % sur WebArena.

Qwen-UI-Agent ne se limite pas aux clics de souris. Il peut utiliser la CLI, l’interface en ligne de commande qui permet d’exécuter des logiciels avec des commandes textuelles, pour près de la moitié de ses actions sur ordinateur. Dans une tâche de 170 étapes, il a recoupé des données financières, exécuté des scripts d’analyse, créé des fichiers Excel, PowerPoint et Word, puis effectué des vérifications visuelles pour corriger la mise en page. L’apprentissage par renforcement en ligne — un entraînement fondé sur les résultats des tentatives en cours — permet de gérer des trajectoires de plus de 100 étapes, avec environ 10 000 environnements simultanés.

Le détail le plus utile concerne peut-être les situations dans lesquelles l’agent s’arrête. Pour une demande d’envoi de 500 yuans à une mère via Alipay, il renseigne le montant et la note, mais s’interrompt au moment du paiement. Il demande également les dates de vol ou la classe de cabine manquantes, et attend avant d’envoyer des enveloppes rouges, de supprimer des fichiers ou d’accorder une autorisation d’accès à des données personnelles. Pour les demandes illégales ou présentant un risque élevé, Alibaba affirme qu’il n’effectue aucune opération et met fin à la tâche.

Qu’est-ce que cela change concrètement ? Un utilisateur pourrait confier une tâche complexe qui traverse plusieurs applications, au lieu d’attendre que chaque application expose une API : une notification d’annulation de vol pourrait déclencher une proposition de nouvelle réservation, ou un reçu pourrait passer de la photothèque d’un téléphone à un dossier sur ordinateur avant la génération d’un récapitulatif de dépenses dans Excel. Qwen-UI-Agent est également conçu pour transférer une tâche entre téléphone et ordinateur. Pour l’instant, il s’agit de démonstrations et de résultats de benchmarks, pas d’une preuve qu’un assistant grand public est en service ; Alibaba a rendu publics le rapport technique, la page du projet et le code afin que d’autres puissent les examiner.