Imaginez un agent d’intelligence artificielle capable non seulement d’effectuer des recherches sur le web, mais aussi d’interagir avec des sites web pour accomplir des tâches spécifiques. Le tout de manière autonome. C’est l’idée qui sous-tend une nouvelle innovation de Microsoft.
Mercredi, le géant du logiciel a annoncé une nouvelle compétence destinée à renforcer les agents d’intelligence artificielle créés à l’aide de son produit Copilot Studio. Cette compétence est l’utilisation de l’ordinateur. Tout agent que vous créez peut travailler avec une application de bureau ou un site web pour effectuer des actions spécifiques, tout comme vous le feriez.
Disponible en accès anticipé, cette nouvelle compétence permettra aux agents d’interagir avec des applications et des sites en cliquant sur des boutons, en sélectionnant des menus et en remplissant des champs et des formulaires à l’écran.
« Si une personne peut utiliser l’application, l’agent le peut aussi »
Les agents peuvent accomplir des tâches interactives même si aucune API n’est disponible pour utiliser l’application ou le site. Comme l’a dit Microsoft, « si une personne peut utiliser l’application, l’agent le peut aussi ».
Pour effectuer des tâches de manière autonome, les agents que vous concevez pourront utiliser des navigateurs courants, tels que Microsoft Edge, Chrome et Firefox. La fonctionnalité elle-même fonctionne sur un backend hébergé par Microsoft, de sorte que vous n’avez pas besoin de vos propres serveurs ou systèmes. Les données générées restent sur le cloud de Microsoft et ne seront pas utilisées pour entraîner le modèle d’IA de l’entreprise.
Les agents peuvent s’adapter automatiquement aux changements apportés aux applications de bureau et aux sites web, de sorte que vous ne devriez pas avoir à les modifier si un bouton ou un écran est révisé.
Ils sont capables de « voir » l’écran
Comme ils sont capables de « voir » l’écran, ils peuvent décider quoi faire et comment le faire en temps réel sans que vous ayez à intervenir. Ils possèdent également un raisonnement intégré qui leur permet de faire face aux problèmes et aux obstacles qui se présentent, de sorte que vous ne devriez pas avoir à intervenir en cas de problème.
Aucune programmation ou codage n’est nécessaire pour créer un agent d’IA. À l’invite de Copilot Studio, vous décrivez simplement ce que vous voulez que l’agent fasse en utilisant le langage naturel. Vous pouvez tester et affiner votre message en voyant les étapes se dérouler en mode simulation avant d’envoyer l’agent en mission. En outre, vous pouvez consulter l’historique de l’utilisation de l’ordinateur par votre agent, avec des captures d’écran et ses propres étapes de raisonnement.
Dans son billet de blog, Microsoft cite trois exemples dans lesquels les agents d’intelligence artificielle pourraient jouer un rôle.
Saisie automatisée de données
Vous devez saisir de grandes quantités de données provenant de différentes sources.
L’agent d’intelligence artificielle peut se charger de cette tâche, réduisant ainsi le temps, les efforts et le travail manuel.
Étude de marché
Une personne travaillant dans le domaine du marketing doit collecter des données provenant de différentes sources en ligne à des fins d’analyse.
L’agent d’IA peut naviguer sur les différents sites et collecter lui-même les informations nécessaires.
Traitement des factures
Un pro du service financier doit extraire des données des factures et les ajouter à un système comptable.
L’agent d’IA pourrait automatiquement saisir et transférer les données dans le bon système.
L’IA d’aujourd’hui est loin d’être parfaite
En théorie, tout cela semble très bien. Mais l’IA d’aujourd’hui est loin d’être parfaite. Même un simple robot d’IA peut faire des erreurs. Si l’on ajoute à cela la complexité de l’utilisation automatisée et indépendante des ordinateurs, l’agent d’IA peut très bien faire un faux pas, cliquer sur le mauvais bouton ou tout simplement abandonner sa mission.
Le seul moyen de le savoir est de créer un agent qui travaillera avec un site web ou une application et de voir comment il s’en sort. Dans cette optique, Microsoft invite les utilisateurs de Copilot Studio à remplir et à envoyer un formulaire d’inscription pour bénéficier d’un accès anticipé à la fonction d’utilisation de l’ordinateur.
Si vous n’utilisez pas encore Copilot Studio, vous pouvez l’essayer gratuitement. Pour l’installer, vous devez utiliser un compte professionnel ou scolaire. Une fois connecté, vous accédez à la page principale de Copilot Studio, où vous pouvez décrire le type d’agent que vous souhaitez créer.
Par ailleurs, OpenAI travaille sur une fonctionnalité similaire, nommée Operator.