À l’occasion du lancement des Pixel 11, Google DeepMind a dévoilé SL2T, un modèle d’IA capable de traduire la langue des signes en texte en temps réel. Intégré à Gboard et à Live Transcribe, il permet aux utilisateurs sourds et malentendants de signer devant leur téléphone pour écrire un message, chercher sur le web ou interagir avec Gemini. Une première mondiale sur smartphone.
La présentation de la gamme Pixel 11 n’a pas seulement été l’occasion pour Google de dévoiler de nouveaux smartphones. La division IA du géant américain, Google DeepMind, a profité de l’événement pour lever le voile sur SL2T (sign-language-to-text), un modèle d’IA capable de traduire la langue des signes en texte, directement intégré à Gboard et à Live Transcribe. Une première mondiale sur smartphone, qui s’attaque à un problème resté largement ignoré par l’industrie tech malgré des décennies de progrès sur les langues orales.
Avec cette nouveauté, les utilisateurs sourds ou malentendants peuvent désormais signer devant leur téléphone à la place de taper du texte. Il devient possible de chercher quelque chose sur le web, de rédiger un message ou un document, ou encore d’interroger Gemini simplement en langue des signes. Dans Live Transcribe, l’application peut aussi retranscrire les réponses signées au fil d’une conversation, évitant les allers-retours entre signes et clavier. Selon les testeurs de Google, signer serait plus rapide, plus naturel et plus agréable que de taper au clavier.
Seule la langue des signes américaine (ASL) est prise en charge pour l’instant, avec une traduction vers l’anglais. Google promet d’autres langues des signes ainsi qu’un déploiement sur davantage d’appareils, sans donner de calendrier précis.
Un défi linguistique autant que visuel
Traduire la langue des signes en texte ne se résume pas à reconnaître des gestes. Comme le rappelle Google, il existe plus de 200 langues des signes dans le monde, chacune avec sa propre grammaire et son propre lexique, mobilisant non seulement les mains mais aussi le visage, la tête, le torse et l’espace autour du signeur.
Deux obstacles se posent donc aux chercheurs. D’abord un problème de traduction à proprement parler : une langue des signes n’est pas la transcription mot à mot d’une langue orale, contrairement à ce que laissaient penser certains dispositifs anciens tels que les « gants de traduction ». Google les qualifie d’ailleurs de solution « fondamentalement limitée », les langues des signes n’étant pas de l’anglais (ou du français) simplement mimé avec les mains, comme le rappellent nos confrères de Next.ink. Ensuite, un défi de vision par ordinateur : il faut suivre en temps réel des mouvements corporels complexes, rapides et souvent simultanés.
Le fonctionnement est détaillé dans la vidéo à partir de 7:35.
Pour y répondre, DeepMind a entraîné SL2T sur plus de 100 000 heures de données couvrant une cinquantaine de langues des signes, dont environ un quart consacré à l’ASL. Selon l’équipe, cet entraînement conjoint sur plusieurs langues et niveaux de maîtrise permettrait au modèle d’apprendre des structures communes, avec de meilleurs résultats que des modèles entraînés sur une seule langue.
La vidéo n’est jamais envoyée au serveur
Sur le plan de la vie privée, Google a fait un choix qui mérite d’être souligné : le modèle ne traite pas le flux vidéo brut. Un modèle embarqué, MediaPipe Holistic, s’exécute en local sur le téléphone et se contente de suivre des points de repère sur le corps du signeur (mains, visage, posture). Ce sont uniquement ces coordonnées, et non la vidéo, qui sont envoyées au serveur pour être traduites en texte. La vidéo elle-même serait supprimée immédiatement après ce traitement local.
Cette approche a aussi un avantage technique : en s’appuyant sur des points de repère plutôt que sur des annotations intermédiaires (les « gloses », très utilisées dans la recherche académique sur ce sujet), Google affirme s’affranchir des limites de vocabulaire artificielles et permettre à la qualité de traduction de progresser directement avec le volume de données d’entraînement.
Des performances qui restent perfectibles
Google revendique les meilleurs résultats sur les principaux benchmarks de traduction ASL vers l’anglais, comme FLEURS-ASL. Le modèle a également été optimisé pour un usage réel : faible latence, limitation des hallucinations sur des séquences qui ne relèvent pas de la langue des signes, prise en compte des signeurs gauchers (environ 10 % des utilisateurs selon Google) et du signe à une seule main, fréquent lorsque l’autre main tient justement le téléphone.
Des erreurs subsistent cependant, notamment sur les signes rares, l’épellation manuelle rapide, les constructions passives ou certaines nuances de temps qui ne sont pas toujours restituées correctement dans la traduction.
Une IA co-construite avec la communauté sourde
Google met en avant une méthode de développement associant des membres de la communauté sourde à chaque étape du projet, de la conception initiale (portée par un ingénieur sourd de l’entreprise) jusqu’à l’évaluation du modèle. L’entreprise a également créé l’AI Sign Language Advisory Committee (AISLAC), qui réunit des organisations internationales de sourds et malentendants ainsi que des experts du sujet, et a publié un rapport d’impact détaillant les capacités et les limites actuelles de cette version 1.0 de SL2T.
SL2T est disponible dès maintenant dans Gboard et Live Transcribe sur Pixel 11, sans coût additionnel. D’autres appareils et d’autres langues des signes, à commencer peut-être un jour par la LSF, sont annoncés pour la suite.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Par : Opera