Lors de l’événement Meta Connect qui s’est tenu la semaine dernière, Mark Zuckerberg a présenté de nouvelles fonctionnalités sur les lunettes connectées Meta Ray-Ban, le produit phare de la société. Qualifiant les lunettes de « facteur de forme parfait pour l’IA », les améliorations sont centrées sur l’IA multimodale. L’idée est de proposer une interaction plus naturelle, similaire à ce que nous avons déjà vu avec Gemini de Google et ChatGPT 4o.
Mais au-delà des améliorations apportées à la communication, l’IA multimodale des lunettes permet de nouvelles interactions intéressantes, en leur donnant la capacité de « voir » ce que vous voyez et d' »entendre » ce que vous entendez, avec moins de contexte nécessaire de la part de l’utilisateur.
L’une des fonctionnalités les plus utiles est la capacité des lunettes à « se souvenir » des choses à votre place. Comment ? En prenant note d’indicateurs visuels à classer pour plus tard.
Voici un aperçu de tout ce qui sera bientôt mis en place.
1. Traductions à la volée
Meta
Les lunettes Meta Ray-Ban seront dotées d’une fonction de traduction conçue pour fonctionner en temps réel (ou du moins presque) avec l’espagnol, le français et l’italien. Lors de l’événement, Zuckerberg a fait la démonstration d’une conversation avec un locuteur espagnol. Et les lunettes ont traduit ce que chaque locuteur a dit et entendu de l’espagnol vers l’anglais en seulement quelques secondes.
Bien sûr, toutes les conversations n’impliquent pas que les deux utilisateurs portent les lunettes connectées. C’est pourquoi l’entreprise permet aux utilisateurs de synchroniser leur production avec l’application compagnon Meta, en s’appuyant sur le smartphone pour afficher les traductions.
Un nouvel outil de traduction AI pour Instagram Reels
Outre les nouvelles fonctionnalités des lunettes, Meta a également présenté son nouvel outil de traduction AI pour Instagram Reels, qui traduit automatiquement l’audio en anglais et utilise ensuite l’IA pour synchroniser les mouvements de la bouche de l’orateur avec la traduction anglaise. Le résultat – du moins dans la démo – était une vidéo en anglais d’apparence naturelle utilisant l’échantillon de voix de l’orateur.
Pour l’instant, cette fonctionnalité n’en est qu’à ses débuts. Elle n’est disponible pour l’instant qu’en espagnol sur Instagram et Facebook.
2. Les lunettes peuvent désormais « se souvenir » de choses
Meta
La démo a également montré la « mémoire photographique » des lunettes. Et ce en résolvant un problème que nous avons tous rencontré. Il s’agit de se souvenir de l’endroit où l’on s’est garé. L’utilisateur a regardé le numéro de la place de parking et a simplement dit : « Souviens toi de l’endroit où je me suis garé ».
Plus tard, en demandant aux lunettes « Hé Meta, où me suis-je garé ? », l’IA a répondu en indiquant le numéro de la place de parking.
Ce type de « classement » des connaissances à la volée est un exemple d’utilisation de ce que l’IA sait faire de mieux. C’est à dire rappeler des données spécifiques dans un contexte prédéfini.
D’autres exemples d’utilisation de cette fonctionnalité sont faciles à imaginer, qu’il s’agisse de listes de courses, de dates d’événements ou de numéros de téléphone.
3. Une multimodalité de niveau supérieur
Auparavant, vous deviez dire « Hey Meta » pour invoquer l’IA des lunettes. Puis attendre le prompt pour commencer votre requête. Désormais, vous pouvez simplement poser des questions aux lunettes en temps réel, même lorsque vous êtes en mouvement. Et ce en utilisant l’IA multimodale des lunettes pour analyser ce que vous voyez ou entendez.
- Une démonstration a montré un utilisateur épluchant un avocat et demandant « Que puis-je faire avec ça ? », sans préciser à quoi « ça » faisait référence.
- Une autre démo montrait un utilisateur fouillant dans un placard et en sortant plusieurs vêtements à la fois, demandant à l’IA de l’aider à styliser une tenue en temps réel.
À l’instar d’autres assistants vocaux populaires, il est toujours possible d’interrompre Meta AI lors d’une conversation.
Dans le même ordre d’idées, les capacités multimodales des lunettes vont au-delà de la simple analyse statique de ce qui est vu. Les lunettes reconnaissent des éléments tels que les URL, les numéros de téléphone que vous pouvez appeler, ou les QR codes que vous pouvez scanner instantanément avec les lunettes.
4. partenariat Be My Eyes
Enfin, Zuckerberg a fait la démonstration d’une nouvelle fonction d’accessibilité astucieuse des lunettes. Les personnes aveugles et les malvoyantes peuvent utiliser les lunettes pour transmettre ce qu’ils voient à une personne à l’autre bout du fil, qui peut leur expliquer en détail ce qu’ils regardent.
Be My Eyes est un programme qui est déjà en production. La démonstration montrait une femme regardant une invitation à une fête avec les dates et les heures. Cette technologie pourrait être utilisée pour la lecture de panneaux en passant par les achats de produits d’épicerie.
Enfin, Zuck a présenté quelques nouveaux modèles, notamment une nouvelle édition limitée des Ray-Bans avec des montures claires et transparentes, ainsi que l’introduction de nouvelles lentilles de transition, qui permettent de dédoubler leur utilisation en tant que lunettes de soleil et lunettes de vue.
Les Meta Ray-Bans sont vendues à partir de 300 euros et se déclinent en neuf modèles de montures différents, ainsi qu’en une nouvelle édition limitée transparente.