La plupart des gens sont probablement conscients des risques pour la vie prive poss par la camra frontale de leur appareil mobile ou de leur ordinateur portable, et peuvent donc prendre des mesures pour rduire ces risques. Mais une tude rcente montre qu’un pirate dtermin peut galement capturer des images d’un utilisateur d’une manire inattendue, via le capteur de lumire ambiante qui permet d’ajuster automatiquement la luminosit de l’cran sur de nombreux appareils.
Il est devenu courant que les applications et les sites web demandent une autorisation lorsqu’ils souhaitent accder des donnes provenant de camras, de microphones ou de systmes de golocalisation. Pourtant, les appareils tels que les smartphones, les tablettes, les ordinateurs portables et mme les tlviseurs intelligents sont truffs d’autres capteurs dont les risques potentiels pour la scurit sont souvent ngligs, explique Yang Liu, doctorant au MIT.
Installation d’imagerie avec configurations primaire et double
La protection de la vie prive est l’une des principales questions souleves par la prvalence des appareils intelligents, tels que les tlphones portables, les montres, les tablettes et les tlviseurs. Les capteurs intgrs offrent d’normes possibilits, mais, malheureusement, ils augmentent aussi le risque de fuite d’informations sur les utilisateurs. Par exemple, les camras frontales intgres permettent de faire des selfies et des vidoconfrences, mais elles peuvent laisser chapper des informations sur le visage de l’utilisateur si elles ne sont pas gres correctement.
Le contrle des autorisations peut offrir une protection efficace de la vie prive en permettant aux utilisateurs de grer l’accs aux capteurs (par exemple, les camras) et aux donnes. Toutefois, certains capteurs sont considrs comme faible risque et peuvent tre accessibles directement sans aucune autorisation ni privilge. Par exemple, le capteur de lumire ambiante est utilis pour mesurer l’clairement de la lumire environnante et pour ajuster automatiquement la luminosit de l’cran. Le capteur de lumire ambiante doit tre toujours allum pour fonctionner et est traditionnellement considr comme prsentant un faible risque parce qu’il fournit une valeur unique et ne semble pas permettre l’imagerie de l’environnement.
- Configuration primaire o l’cran affiche une squence de motifs et o le capteur de lumire ambiante reoit la lumire d’abord partiellement bloque par la main qui interagit, puis rflchie par le visage humain ;
- Configuration double o le capteur de lumire ambiante fonctionne comme une source de lumire ponctuelle virtuelle et l’cran pixellis comme un capteur virtuel. Aucune lentille n’est ncessaire entre l’cran et la scne pour former une image sur le capteur virtuel, car les mains en interaction crent des ombres en contact sur le capteur virtuel, formant une correspondance biunivoque entre le pixel cible de la scne et le pixel du capteur.
Les capteurs de lumire ambiante posent un problme particulier. Ces composants fournissent une lecture de l’clairage dans l’environnement local, que les systmes d’exploitation utilisent pour modifier la luminosit de l’cran ou basculer vers des modes sombres. Bien que cela ne semble pas fournir beaucoup d’informations dtailles, les chercheurs ont montr que ces capteurs peuvent dtecter les changements d’intensit lumineuse, ce qui peut tre utilis pour dduire le type de programmes tlviss qu’une personne regarde, les sites web sur lesquels elle navigue, ou mme les saisies au clavier sur un cran tactile.
Avec le capteur de lumire ambiante, les utilisateurs ne savent mme pas qu’une application utilise ces donnes. Et ce capteur est toujours allum. Dans un article publi dans Science Advances, Liu et ses collgues ont montr qu’en croisant les donnes du capteur de lumire ambiante d’une tablette avec des vidos spcialement conues et affiches sur l’cran de la tablette, il est possible de gnrer des images des mains de l’utilisateur lorsqu’il interagit avec la tablette. Bien que les images soient de faible rsolution et que leur capture prenne peu de temps, ce type d’approche pourrait permettre un pirate dtermin de dduire la faon dont une personne utilise l’cran tactile de son appareil , explique Liu.
Les gens sont conscients de l’existence des camras selfie sur les ordinateurs portables et les tablettes et utilisent parfois des bloqueurs physiques pour les couvrir , explique Liu. Mais pour le capteur de lumire ambiante, les gens ne savent mme pas qu’une application utilise ces donnes. Et ce capteur est toujours allum.
Qu’est-ce qu’un capteur de lumire ambiante ?
Le capteur de lumire ambiante est un composant important, non seulement dans les smartphones, mais aussi dans une large gamme d’appareils lectroniques, et il peut affecter bien plus que la luminosit de l’cran. Les capteurs de lumire ambiante peuvent tre extrmement petits – avec un encombrement mesurant seulement L2,0 mm x W1,0 mm x H0,5 mm, dans le cas du botier TSL2521 d’OSRAM, qui est conu pour s’insrer entre l’cran et le chssis d’un smartphone.
Les capteurs permettent aux camras des smartphones de corriger l’effet de bande et les artefacts gnrs par le scintillement des sources de lumire artificielle telles que les LED. Il est intressant de noter qu’Apple aurait ajout un capteur de lumire ambiante orient vers l’arrire son trs populaire iPhone pour la premire fois en 2022.
Outre les appareils mobiles, on trouve des capteurs de lumire ambiante dans de nombreux moniteurs, tlviseurs et mme dans certains projecteurs, afin de permettre un rglage automatique de la luminosit. tant donn le grand nombre de ces appareils utiliss aujourd’hui, il n’est pas exagr de dire que les capteurs de lumire ambiante sont partout.
Les experts en scurit mobile ont galement fait une autre observation. Contrairement aux camras frontales, l’accs aux capteurs de lumire ambiante ne ncessite aucune autorisation de la part de l’utilisateur, du moins sur les appareils Android , explique Yang Liu, chercheur au MIT (tats-Unis), qui tudie les menaces pour la vie prive lies l’imagerie d’un capteur de lumire ambiante. De plus, les capteurs – qui sont souvent ngligs en tant que problme de scurit – sont toujours activs lorsque les appareils sont en marche afin d’assurer une fonctionnalit continue.
Rtro-ingnierie de la scne
Dans leur tude, Liu et ses collgues montrent comment un simple capteur de lumire ambiante – qui contient gnralement une poigne de photodiodes capables de dtecter la lumire visible et parfois aussi la lumire infrarouge – peut indirectement permettre l’imagerie. Tout devient beaucoup plus clair si l’on considre la lumire qui rebondit sur le sujet plac devant le capteur.
What are your thoughts on privacy smartphones 🕵️📱? TechHQ’s @JT_bluebird1 reviews the @MurenaCom 2, which ships with @e_mydata « deGoogled » mobile OS. ‘Out of the box’ report here 📰👉https://t.co/Q01BOWIEhS pic.twitter.com/uqEFXd2JOF
— TechHQ (@techhq) October 19, 2023
Nous soutenons que le capteur de lumire ambiante peut permettre l’imagerie si l’on utilise l’cran comme une source active contrlable d’clairage affichant une squence vido connue , crit l’quipe dans son article – publi rcemment (en libre accs) dans la revue Science Advances. Le capteur de lumire ambiante mesure la variation d’intensit correspondante de la lumire rflchie ou bloque par la scne.
Dans un tel scnario de menace pour la vie prive, il est possible d’utiliser un algorithme d’inversion pour reconstruire les objets susceptibles d’obstruer les chemins lumineux entre l’cran de l’appareil et le capteur de lumire ambiante. Dans son travail, l’quipe montre comment il est possible de dchiffrer une main place devant l’cran, avec une rsolution suffisante pour distinguer quatre doigts.
couter les gestes tactiles
Les chercheurs en scurit ont ensuite tendu cette approche l’coute des gestes tactiles l’aide du capteur de lumire ambiante d’une tablette de 17,3 pouces. Les images recueillies sur des priodes de 20 minutes montrent des gestes de glissement un doigt, de dfilement deux doigts, de pincement trois doigts, de balayage quatre doigts et de rotation cinq doigts.
Aprs avoir mis en vidence la manire dont un tel problme de protection de la vie prive pouvait se poser, les auteurs de l’article se sont penchs sur les moyens de l’attnuer. La premire consiste appliquer des autorisations plus strictes pour limiter l’accs. Par ailleurs, la prcision et la frquence de rafrachissement du capteur de lumire ambiante pourraient tre rduites, ce qui rendrait la reconstruction des images plus difficile, mais sans affecter l’exprience de l’utilisateur.
Les concepteurs de produits pourraient galement souhaiter apporter des modifications, sur la base des conclusions du groupe. Du point de vue matriel, l’emplacement du capteur de lumire ambiante ne doit pas tre directement orient vers l’utilisateur , recommandent les chercheurs du MIT. Il pourrait se trouver sur le ct des appareils intelligents, ce qui romprait l’interaction directe entre l’cran et le capteur de lumire, rduisant ainsi les risques d’atteinte la vie prive.
Un capteur de lumire ambiante orient sur le ct pourrait ne pas convenir aux consommateurs qui aiment utiliser un tui pour smartphone (bien que le problme puisse tre rsolu facilement l’aide d’une perceuse). Toutefois, compte tenu des risques pour la vie prive, masquer l’entre et rgler manuellement la luminosit de l’cran pourrait tre l’option la plus sre. Du moins pour ceux qui ont de gros secrets cacher.
Capturer des images l’aide d’un capteur de lumire n’est cependant pas une mince affaire, car l’appareil ne comporte qu’un seul pixel qui enregistre l’intensit de la lumire un moment donn. Selon Liu, les pirates contournent ce problme en sacrifiant la rsolution temporelle au profit de la rsolution spatiale. Ils affichent sur l’cran de la tablette une squence rapide de motifs qui clairent diffrentes parties de la scne, ce qui se traduit par des relevs d’intensit lumineuse diffrents au niveau du capteur. Un algorithme de reconstruction est capable de prendre cette squence de lectures et de la faire correspondre aux motifs d’clairage connus pour reconstituer une image.
L’appareil n’ayant pas d’objectif, il est impossible de faire la mise au point sur quoi que ce soit, mme une petite distance. Et comme il ne se passe pas grand-chose d’intressant juste devant le capteur de lumire, l’un des principaux dfis des chercheurs a t d’essayer d’obtenir une image de ce qui se passait directement au-dessus de l’cran afin de suivre les mouvements de la main de l’utilisateur. L’quipe a donc utilis une approche appele double photographie , qui repose sur des principes physiques contre-intuitifs et des calculs astucieux pour transformer l’cran de la tablette en appareil photo.
La technique repose sur un principe physique connu sous le nom de rciprocit d’Helmholtz. Imaginez un rayon de lumire qui traverse un systme optique et subit une srie de rflexions, de rfractions et d’absorptions. Ce principe stipule que si vous envoyez un nouveau rayon de lumire en arrire le long du mme chemin, ces transformations s’additionneront exactement de la mme manire. Dans la photographie conventionnelle, la lumire voyage d’une source d’clairage un appareil photo. La photographie double exploite la rciprocit de Helmholtz pour inverser de manire informatique le flux de lumire, en changeant essentiellement l’appareil photo et la source de lumire. Il est ainsi possible de prendre une photographie du point de vue de la source lumineuse plutt que de celui de l’appareil photo.
Dans le scnario test par Liu et ses collgues, la lumire de l’cran est partiellement bloque par la main de l’utilisateur et se reflte sur son visage. Elle est ensuite capte par le capteur de lumire. Cependant, du point de vue de la double photographie, on peut imaginer que la lumire voyage dans la direction oppose au capteur, la main projetant une ombre sur l’cran.
L’quipe a conu un algorithme d’inversion capable de convertir les donnes du capteur de lumire en une image de 32 pixels sur 32 qui capture la rgion situe juste au-dessus de l’cran. Pour tester l’approche, ils ont pris une tablette Samsung Galaxy View2 standard avec un cran de 17,3 pouces et ont plac la tte et la main d’un mannequin devant la tablette pour simuler une personne. Ils ont dmontr qu’ils taient capables de capturer des images d’une varit de gestes tactiles, tels que le dfilement deux doigts et le pincement trois doigts. Ils ont galement montr qu’ils pouvaient capturer une image approximative de la main de l’utilisateur en utilisant une vido modifie des personnages de dessins anims Tom et Jerry, suggrant que les modles d’illumination pouvaient tre dissimuls dans les vidos.
Les dfis et opportunits lis l’utilisation des capteurs de lumire ambiante pour la reconnaissance gestuelle
La principale limite de l’approche, admet Liu, est le temps ncessaire la capture des images. Comme les chercheurs s’appuyaient sur un capteur pixel unique, ils ont d passer en revue un trs grand nombre de motifs d’clairage pour obtenir une image claire. La vitesse relativement lente du capteur de lumire a fait que la rsolution la plus rapide des gestes de la main a t de 3,3 minutes, tandis que l’exprience avec la vido modifie de Tom et Jerry a dur 68 minutes.
Le temps d’acquisition en minutes est trop lourd pour lancer des attaques simples et gnrales contre la vie prive grande chelle , dclare Lukasz Olejnik, chercheur et consultant indpendant en scurit, qui a dj soulign les risques de scurit poss par les capteurs de lumire ambiante. Toutefois, je n’exclurais pas l’importance des collectes cibles pour des oprations sur mesure contre des cibles choisies . Mais il souligne galement que, suite ses recherches antrieures, le World Wide Web Consortium a publi une nouvelle norme qui limite l’accs l’API des capteurs de lumire, dj adopte par les fournisseurs de navigateurs.
Liu note toutefois qu’il n’existe pas encore de restrictions gnrales pour les applications Android. En outre, les chercheurs ont dcouvert que certains appareils enregistrent directement les donnes du capteur de lumire dans un fichier systme facilement accessible, sans passer par une API. L’quipe a galement constat que la rduction de la rsolution des images pouvait ramener les temps d’acquisition dans des limites pratiques tout en conservant suffisamment de dtails pour les tches de reconnaissance de base.
Nanmoins, Liu reconnat que l’approche est trop complique pour des attaques grande chelle. L’un des points positifs est qu’il est peu probable qu’elle fonctionne un jour sur un smartphone, car les crans sont tout simplement trop petits. Toutefois, Liu estime que les rsultats obtenus dmontrent que des combinaisons de composants apparemment inoffensifs dans les appareils mobiles peuvent entraner des risques surprenants pour la scurit.
Source : MIT – Massachusetts Institute of Technology, Imaging Privacy Threats From An Ambient Light Sensor
Et vous ?
Quel est votre avis sur le sujet ?
Les rsultats de l’tude sont-ils pertinents ?
Quels sont selon vous, les scnarios rels ou potentiels o l’utilisation des capteurs de lumire ambiante pour l’espionnage pourrait compromettre la vie prive des individus ?
Quels sont les types de donnes que les capteurs de lumire ambiante peuvent collecter et comment ces informations pourraient-elles tre exploites pour espionner les utilisateurs ?
Voir aussi :