La bêta de Meta AI sur Mac lit l’écran et dicte dans les apps

Un raccourci clavier fait apparaître Meta AI sur Mac sans ouvrir de navigateur. Dans son application bêta, l’assistant peut lire un écran partagé, répondre aux questions sur ce qu’il voit et créer du contenu à partir de ce contexte ; il propose également une dictée dans tout le système, afin que le texte prononcé puisse être inséré dans d’autres applications.

Le mécanisme est volontairement plus limité que lorsqu’une IA prend le contrôle de l’ordinateur. Meta AI peut fonctionner à partir de captures d’écran, en extrayant des informations textuelles et visuelles, mais il ne semble pas piloter le clavier ou la souris. L’application utilise le modèle Muse Spark de Meta, selon TechCrunch, et fonctionne comme une application Mac dédiée conçue avec WebKit et SwiftUI, plutôt que comme une simple enveloppe Electron, selon heise online.

Meta s’inscrit ainsi dans une course sur ordinateur déjà occupée par Gemini de Google, ChatGPT d’OpenAI et Claude d’Anthropic. Gemini peut lui aussi utiliser une fenêtre partagée, tandis que ChatGPT et Claude vont plus loin en permettant à leurs chatbots de prendre le contrôle d’un ordinateur. La sortie de Meta offre donc un nouvel environnement pour utiliser son assistant, mais pas la forme la plus étendue d’automatisation informatique.

L’élargissement le plus important pourrait viser les chefs d’entreprise. Meta indique que les commerçants peuvent connecter des comptes Instagram et Facebook, des campagnes publicitaires et Google Workspace, puis poser des questions sur les performances de leurs campagnes, les mentions J’aime, les partages et les enregistrements. L’assistant peut utiliser les informations de ces comptes et celles disponibles sur le Web pour suggérer de futures publications, rédiger des documents, créer des présentations et des feuilles de calcul, et fournir des mises à jour récurrentes sur les performances.

Alors, qu’est-ce qui change en pratique ? Un commerçant pourrait passer de la consultation de plusieurs tableaux de bord à une demande adressée à un seul assistant pour savoir quelles publications ont été performantes et obtenir une première version de sa prochaine proposition. Ce flux de travail est décrit par Meta pour une application en bêta : son accès à l’écran sert à l’analyse, et non au contrôle de l’ordinateur.