Les lunettes connectées de Meta et Ray-Ban seront bientôt encore plus intelligentes. Grâce à une intelligence artificielle, les lunettes vont pouvoir « comprendre ce que vous voyez » et vous assister dans votre vie quotidienne.
Meta vient d’annoncer une importante mise à jour pour les lunettes connectées de la collection Ray-Ban Meta. Par le biais de l’assistant virtuel intégré, les lunettes vont profiter de fonctionnalités dites « multimodales ». Elles vont donc combiner plusieurs modes d’interaction avec le réel pour assister leur porteur.
Concrètement, les lunettes de Meta vont pouvoir percevoir, comprendre et interagir avec l’environnement de l’utilisateur. Grâce à la caméra, elles vont voir tout ce que vous voyez. Elles pourront répondre à des questions sur ce que vous avez sous les yeux. Par exemple, vous pourrez lui demander de « rédiger une légende pour une photo » que vous venez de prendre ou « de décrire un objet que vous tenez » entre les mains.
À lire aussi : Pour former son IA, Meta exploite vos publications Facebook et Instagram
À quoi sert l’IA des Ray-Ban Meta ?
Dans la foulée de l’annonce, Mark Zuckerberg a fait la démonstration des nouvelles possibilités offertes par Meta AI, l’assistant des Ray-Ban, dans une vidéo sur Instagram. On y aperçoit le PDG de Meta en train de choisir une chemise dans sa penderie. À sa demande, l’IA des lunettes lui suggère une série de pantalons qui pourraient compléter sa tenue. Dans une autre vidéo, le fondateur de Facebook demande à l’IA de traduire du texte aperçu sur un panneau. Il ne faut que quelques secondes pour que Meta AI réponde à la requête. Enfin, l’assistant virtuel est également parvenu à décrire avec précision une sculpture ou sous-titrer les photos prises par les lunettes. Pour convoquer l’assistant, il suffit de dire « Hey Meta ». Le fonctionnement de l’assistant et des options multimodales a été largement évoqué lors de la conférence Meta Connect.
Derrière cette nouvelle fonctionnalité, on trouve évidement un modèle d’IA conçu par les soins du groupe de Menlo Park. Dans un premier temps, les nouvelles fonctionnalités basées sur l’IA seront uniquement accessibles dans le cadre d’un programme d’accès anticipé, réservé aux États-Unis. Celui-ci est cantonné à « un petit nombre de personnes qui s’inscrivent », avant de s’ouvrir à davantage d’usagers en 2024. Sans surprise, Meta précise que l’IA est encore au stade expérimental :
« Lorsque vous essayez ces nouvelles expériences, gardez à l’esprit que, lorsque nous testons, ces fonctionnalités d’IA multimodale peuvent ne pas toujours avoir raison. Nous continuons à apprendre ce qui fonctionne le mieux et à améliorer l’expérience pour tout le monde ».
Des infos en temps réel grâce à Bing
Par ailleurs, Meta va permettre à l’assistant virtuel de répondre à des questions concernant l’actualité. Comme l’explique le groupe, « vous pouvez demander à Meta AI des résultats sportifs ou des informations sur les points de repère locaux, les restaurants, les actions et plus encore ».
Jusqu’ici, l’IA était limitée à une base de données datant de décembre 2022. Il n’était pas possible d’obtenir des informations en temps réel. Dans son communiqué, Meta précise que l’IA s’appuie « en partie » sur le moteur de recherche Bing pour récupérer les informations nécessaires. Cette nouveauté ne fait pas partie du programme d’accès anticipé. Elle est actuellement en cours de déploiement sur toutes les lunettes vendues sur le marché américain. Meta n’a pas précisé quand les autres régions du monde pourront profiter de cette amélioration.
Source :
Meta