huit façons d’utiliser cet agent d’IA …

ZDNET

Copilot Vision de Microsoft est une fonction pratique qui analyse, résume et répond aux questions sur ce qu’est affiché à l’écran. Vous pouvez l’utiliser sur un appareil mobile pour inspecter les images provenant en direct de votre appareil photo, et, à partir d’un PC, le contenu de la page Web courante. En analysant ce qui est à l’écran, Copilot essaie de « comprendre » le contenu pour vous fournir une aide contextuelle en temps réel.

Vous pouvez utiliser Copilot Vision sur un iPhone, sur un smartphone Android et dans Microsoft Edge sur votre PC. Pour l’instant, certaines fonctionnalités sont accessibles gratuitement à tous les utilisateurs de Copilot, tandis que d’autres nécessitent un abonnement Copilot Pro. Tout le monde peut utiliser Copilot dans Edge pour analyser une page Web en cours. En revanche, un abonnement Pro est nécessaire pour utiliser Copilot Vision sur un appareil mobile.

Copilot Vision fonctionne avec la plupart des sites, sauf ceux dont le contenu est préjudiciable ou destiné aux adultes. Il ne peut pas non plus analyser une page Web dont l’accès est restreint ou qui est cachée derrière un login ou un paywall. Si vous visitez un site non pris en charge, Copilot affichera alors une icône grisée et refusera tout simplement de discuter du contenu de la page.

Pour des raisons de confidentialité, vos demandes et le contenu des pages ne sont ni capturés ni stockés. Les réponses de Copilot, par contre, sont enregistrées afin que Microsoft puisse les surveiller pour détecter les conversations potentiellement néfastes. Une fois la session terminée, toutes les données sont censées être supprimées.

Parlez-lui aussi et affichez les transcriptions

Copilot Vision fonctionne grâce à Copilot Voice, qui permet d’engager une conversation en langage naturel. Vous pouvez choisir parmi huit voix différentes, chacune ayant son propre style. Vous pouvez également modifier la vitesse pour inciter la voix à parler plus ou moins vite.

Une fois la conversation terminée, vous pouvez revenir à l’écran principal et afficher vos chats récents. Appuyez sur le premier en haut pour voir la transcription de la conversation que vous venez de terminer.

Avec Copilot Vision sur votre smartphone, vous pouvez obtenir de l’aide et des informations sur toutes sortes d’objets du « monde réel », tels que des photos, des maquettes, des peintures, des vêtements, des animaux, des plantes et bien plus encore, ainsi que sur n’importe quel type de document imprimé. Dans Edge, vous pouvez obtenir des détails sur n’importe quelle page Web prise en charge. Voici comment j’utilise Copilot Vision pour gagner du temps sur mon smartphone et mon PC.

Utiliser Copilot Vision sur votre appareil mobile

Tout d’abord, voyons comment fonctionne Copilot Vision sur un smartphone ou une tablette. Si vous n’avez pas encore un abonnement Copilot Pro, vous en aurez besoin pour utiliser Copilot Vision sur votre iPhone ou votre appareil Android. Téléchargez et installez l’application Copilot à partir de Apple’s App Store ou de Google Play si vous ne l’avez pas encore. Ouvrez l’application et connectez-vous avec votre compte Microsoft.

*Capture d’écran par Lance Whitney/ZDNET

Touchez l’icône du microphone en bas pour accéder à l’écran Copilot Voice. Appuyez sur l’icône des lunettes pour passer en mode Copilot Vision. Dirigez votre téléphone vers une personne, un lieu, un objet ou un document physique spécifique. Vous pouvez alors demander à Copilot de le décrire ou de l’analyser.

Vous pouvez également poser des questions spécifiques sur l’objet. Copilot répondra en fonction de sa vision et de sa compréhension de l’objet. Voici quelques exemples.

1. Analyser une affiche

Dans ce cas, j’ai demandé à Copilot Vision de visualiser un poster de la couverture de Amazing Spider-Man #1. Après avoir correctement identifié la couverture, j’ai demandé à Copilot Vision combien coûterait un exemplaire neuf de cette édition-là. Il a répondu plus d’un million de dollars!

Capture d’écran par Lance Whitney/ZDNET

2. Poser des questions sur une maquette

Ici, j’ai demandé à Copilot Vision de vérifier une maquette du vaisseau Enterprise. Pour mettre l’IA au défi, je lui ai demandé combien de membres d’équipage avaient servi à bord de ce vaisseau sans donner son nom, et le chatbot a répondu correctement à ma question : 430!

Capture d’écran par Lance Whitney/ZDNET

3. Posez des questions sur les vêtements

Pour cette question, j’ai demandé à l’IA de regarder un chapeau melon, le type de chapeau que Winston Churchill a rendu célèbre. Je lui ai demandé quand il avait été créé et Copilot m’a expliqué son origine.

Capture d’écran par Lance Whitney/ZDNET

4. Trouver des détails dans un document imprimé

Ici, j’ai demandé à Copilot Vision de « lire » une liste de chaînes pour SiriusXM (service de diffusion de radios par satellite). J’ai demandé si la liste comprenait une chaîne pour les Beatles, et Copilot Vision a choisi la bonne chaîne.

Capture d’écran par Lance Whitney/ZDNET

Utiliser Copilot Vision dans Edge

Voyons maintenant comment fonctionne Copilot dans Edge.

Lancez Edge sur votre ordinateur et assurez-vous d’être connecté avec votre compte Microsoft. Naviguez jusqu’à une page Web que vous souhaitez faire analyser par Copilot. Cliquez sur l’icône Copilot en haut à droite, sélectionnez l’icône du microphone, puis cliquez sur l’icône des lunettes. Demandez à Copilot de résumer la page ou posez-lui des questions spécifiques sur le contenu.

1. Résumer un article

Pour celui-ci, j’ai demandé à Copilot Vision de résumer un article en ligne et j’ai ensuite posé des questions spécifiques.

Capture d’écran par Lance Whitney/ZDNET

2. Demander de l’aide pour les achats

Ici, j’ai demandé à l’IA d’afficher une liste de caméras de sécurité extérieures sur Amazon et de recommander un modèle en fonction de certains critères. Plus précisément, je lui ai demandé de trouver des caméras d’extérieur sans abonnement pour moins de 200 $.

Capture d’écran par Lance Whitney/ZDNET

3. Obtenir une recette

J’ai ensuite consulté une page sur la tarte au citron meringuée, ce qui m’a mis l’eau à la bouche pour ce savoureux dessert. Mais je voulais préparer une tarte qui ne soit pas trop malsaine. J’ai donc demandé à Copilot de me donner la recette, étape par étape, de ce plat mais avec un faible teneur en matières grasses et sans sucre.

4. Obtenir de l’aide pour décrocher un emploi

Pour ce faire, j’ai consulté les offres d’emploi pour les rédacteurs indépendants sur LinkedIn. Lorsque j’ai trouvé un poste qui sembait intéressant, j’ai demandé à Copilot de générer une lettre de motivation.

Capture d’écran par Lance Whitney/ZDNET

Ce qui est particulièrement intéressant, c’est que Copilot Vision peut voir l’intégralité d’une page Web, et pas seulement ce qui est visible à l’écran. Par exemple, je lui ai demandé de résumer un article que j’avais écrit, et il en a parlé du début à la fin, alors que seuls quelques paragraphes étaient visibles à l’écran. Cela signifie qu’il n’est pas nécessaire de faire défiler une page de haut en bas ou de se concentrer sur une section spécifique pour que Copilot opère sa magie.

La prochaine fois que vous aurez une curiosité pour une chose vue en réel ou sur le Web, essayez d’utiliser Copilot Vision pour combler le et répondre à toutes les questions que vous vous posez.

Source : « ZDNet.com »