Des chercheurs britanniques ont récemment publié une étude dans laquelle ils montrent comment une intelligence artificielle peut être capable de reconnaitre du texte simplement à partir du bruit du clavier lorsque l’utilisateur frappe les touches.
Dans des tests, l’IA en question a été capable de récupérer 95% des données simplement avec un microphone (d’un PC portable ou smartphone). Dans le cadre d’une visioconférence Zoom, l’IA a été capable de reproduire 92% du texte frappé par l’interlocuteur, contre 91,7% lors d’une conférence Skype.
Pour développer leur algorithme, les chercheurs ont enregistré chaque son produit par chaque lettre d’un MacBook Pro de 2021. Le clavier en question est toujours en utilisation sur les MacBook actuels, et il a en plus la particularité d’être assez silencieux. Les sons récupérés ont été enregistrés sur le logiciel CoAtNet qui mélange deep learning et IA traditionnelle.
Il est ainsi rapidement devenu capable de faire correspondre chaque son à chaque lettre, et de transcrire ainsi les textes frappés par un utilisateur, le tout enregistré depuis le micro d’un iPhone 13 à proximité.
On imagine combien un tel logiciel pourrait se montrer dangereux s’il tombe entre les mains de cybercriminels. Puisqu’il est possible de récupérer du texte frappé à distance pendant de simples visioconférences, la récupération de mots de passe ou autres données confidentielles est grand. Néanmoins, il faut que l’IA s’adapte à chaque modèle de clavier et qu’elle reconnaisse le modèle de sa cible pour produire des résultats.