Microsoft étend les capacités et la portée de son IA Copilot Vision. Dans un billet de blog, l’entreprise révèle que Copilot Vision est désormais intégré à l’application Windows Copilot, où vous pouvez lui demander d’analyser et de répondre à des questions sur n’importe quel élément de votre écran.
Un grand pas en avant
Disponible aux États-Unis pour Windows 10 et 11 et bientôt dans d’autres pays non européens, Copilot Vision sur Windows agit comme un compagnon virtuel, vous offrant un regard neuf pour vous aider avec les fichiers, applications et autres éléments affichés et partagés à l’écran. Vous pouvez lui demander d’analyser ou de résumer le contenu, ou de répondre à vos questions.
Vous ne savez pas comment utiliser une application en particulier ? Vous pouvez demander à Copilot comment accomplir une tâche spécifique. L’IA vous indiquera alors où aller et quoi faire.
Par exemple, vous êtes peut-être bloqué à un certain niveau pendant que vous jouez à un jeu. Demandez des conseils à Copilot Vision pour vous guider. Vous visualisez une photo dans un logiciel comme Adobe Photoshop Elements et vous vous demandez comment améliorer l’éclairage ? Demandez conseil à Copilot Vision, qui vous expliquera la procédure à suivre dans Photoshop Elements.
Vous pouvez même partager deux applications ou fichiers simultanément, et Copilot Vision fera le lien entre eux. Par exemple, vous pouvez partager votre calendrier et une page web d’événements intéressants, et demander à l’IA de trouver les dates auxquelles vous pourriez assister aux événements qui vous intéressent. Copilot Vision trouvera une date appropriée et vous guidera même pas à pas pour ajouter l’événement à votre calendrier.
Cette nouvelle compétence représente une avancée majeure pour Copilot Vision. Auparavant, la version bureau de l’outil ne fonctionnait que sur le navigateur Edge et ne pouvait analyser et répondre qu’aux questions concernant une page web active. Désormais, tout ce que vous ouvrez sous Windows peut être partagé avec Copilot.
Mon expérience
J’ai testé Copilot Vision en utilisant certains des exemples que j’ai cités. Par exemple, j’ai ouvert une photo dans Photoshop Elements qui présentait des reflets et j’ai demandé à Copilot comment les supprimer. Il m’a expliqué où et comment utiliser l’outil Correcteur localisé pour éliminer les reflets.
J’ai également ouvert mon calendrier et le calendrier des prochains matchs des Yankees de New York. J’ai demandé à Copilot de me trouver une date où je serais libre pour assister à un match entre les Yankees et les Orioles. Il a identifié une date précise et m’a même demandé si je souhaitais ajouter l’événement à mon calendrier, en me proposant de me montrer comment procéder.
La confidentialité est toujours une préoccupation avec les outils de partage et de capture d’écran. Avec Copilot Vision, c’est vous qui contrôlez. Vous devez choisir de partager une fenêtre spécifique avec l’IA ; sinon, elle ne peut ni voir ni analyser ce qui s’affiche sur votre écran.