Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
A phone screen fills with apps, menus and half-finished tasks. Qwen-UI-Agent is built to move through them: Alibaba’s Qwen released the model on August 20 to operate phones, desktops, websites and deep search by clicking, typing and swiping. In one demonstration, it looked up information in Amap, summarized Xiaohongshu posts and booked through DingTalk across five or six apps.
Un écran de téléphone se remplit d’applications, de menus et de tâches inachevées. Qwen-UI-Agent est conçu pour s’y déplacer : Alibaba a publié le modèle le 20 août pour utiliser des téléphones, des ordinateurs, des sites web et des outils de recherche approfondie en cliquant, en saisissant du texte et en balayant l’écran. Lors d’une démonstration, il a recherché des informations dans Amap, résumé des publications de Xiaohongshu et effectué une réservation via DingTalk en passant par cinq ou six applications.
The approach focuses on real devices. Many graphical-user-interface agents — systems that operate software through what appears on screen — are trained in simulators, while Alibaba says it trained and evaluated this model on real devices. Alibaba instead built a mobile environment with more than 100 real phones and 150-plus apps, then created the 400-task MobileWorld-Real benchmark. The model reached 97.5 percent on AndroidDaily and 82.1 percent on MobileWorld; on desktops, Alibaba reports 79.5 percent on OSWorld-Verified and 73.6 percent on WebArena.
L’approche met l’accent sur les appareils réels. De nombreux agents d’interface graphique — des systèmes qui utilisent des logiciels par l’intermédiaire de ce qui apparaît à l’écran — sont entraînés dans des simulateurs, tandis qu’Alibaba affirme avoir entraîné et évalué ce modèle sur des appareils réels. L’entreprise a plutôt créé un environnement mobile avec plus de 100 téléphones réels et plus de 150 applications, puis mis au point le benchmark MobileWorld-Real, composé de 400 tâches. Le modèle a atteint 97,5 % sur AndroidDaily et 82,1 % sur MobileWorld ; sur ordinateur, Alibaba annonce 79,5 % sur OSWorld-Verified et 73,6 % sur WebArena.
Qwen-UI-Agent is not limited to mouse clicks. It can use CLI, the command-line interface used to run software through text commands, for nearly half of its desktop actions. In a 170-step task, it cross-checked financial data, ran analysis scripts, created Excel, PowerPoint and Word files, and used visual checks to repair layouts. Online reinforcement learning — training from the results of ongoing attempts — supports trajectories beyond 100 steps, with about 10,000 concurrent environments.
Qwen-UI-Agent ne se limite pas aux clics de souris. Il peut utiliser la CLI, l’interface en ligne de commande qui permet d’exécuter des logiciels avec des commandes textuelles, pour près de la moitié de ses actions sur ordinateur. Dans une tâche de 170 étapes, il a recoupé des données financières, exécuté des scripts d’analyse, créé des fichiers Excel, PowerPoint et Word, puis effectué des vérifications visuelles pour corriger la mise en page. L’apprentissage par renforcement en ligne — un entraînement fondé sur les résultats des tentatives en cours — permet de gérer des trajectoires de plus de 100 étapes, avec environ 10 000 environnements simultanés.
The more useful detail may be where the agent stops. For a request to send a mother 500 yuan through Alipay, it fills in the amount and note but pauses at payment. It also asks for missing flight dates or cabin class, and waits before sending red envelopes, deleting files or granting privacy authorization. For illegal or high-risk requests, Alibaba says it performs no operation and terminates instead.
Le détail le plus utile concerne peut-être les situations dans lesquelles l’agent s’arrête. Pour une demande d’envoi de 500 yuans à une mère via Alipay, il renseigne le montant et la note, mais s’interrompt au moment du paiement. Il demande également les dates de vol ou la classe de cabine manquantes, et attend avant d’envoyer des enveloppes rouges, de supprimer des fichiers ou d’accorder une autorisation d’accès à des données personnelles. Pour les demandes illégales ou présentant un risque élevé, Alibaba affirme qu’il n’effectue aucune opération et met fin à la tâche.
So what changes, concretely? A user could hand over a tangled task that crosses apps rather than waiting for each application to expose an API: a flight-cancellation notice could trigger a proposed rebooking plan, or a receipt could move from a phone’s photo library to a desktop folder before an Excel bill summary is generated. Qwen-UI-Agent is also designed to hand work between phone and desktop. For now, these are demonstrations and benchmark results, not proof of a consumer assistant in service; Alibaba has made the technical report, project page and code public for others to inspect.
Qu’est-ce que cela change concrètement ? Un utilisateur pourrait confier une tâche complexe qui traverse plusieurs applications, au lieu d’attendre que chaque application expose une API : une notification d’annulation de vol pourrait déclencher une proposition de nouvelle réservation, ou un reçu pourrait passer de la photothèque d’un téléphone à un dossier sur ordinateur avant la génération d’un récapitulatif de dépenses dans Excel. Qwen-UI-Agent est également conçu pour transférer une tâche entre téléphone et ordinateur. Pour l’instant, il s’agit de démonstrations et de résultats de benchmarks, pas d’une preuve qu’un assistant grand public est en service ; Alibaba a rendu publics le rapport technique, la page du projet et le code afin que d’autres puissent les examiner.