L’histoire commence en février 2021 lors du confinement lié au Covid-19. Mark, un père de famille consulte à distance un médecin pour son enfant. Le professionnel de santé demande une photo de la région génitale de l’enfant suite à un gonflement anormal à cet endroit.
Deux jours plus tard, il reçoit une alerte de Google qui indique que ses comptes sont suspendus en raison d’un « contenu préjudiciable » représentant « une violation grave des politiques de Google et qui pourrait être illégale« . Il a donc perdu l’accès à ses mails, ses contacts, et même son numéro de téléphone car il était abonné à Google Fi qui est un opérateur virtuel.
Google photo est doté d’une IA, nommée Content Safety, qui intercepte des images à caractères pédopornographiques. Pour identifier ce type de contenu, le géant américain utilise la technologie Microsoft Photo DNA.
Bien que Mark ai tout tenté pour faire appel de la décision de Google, ce dernier a rejeté toutes ses demandes engendrant une enquête dans les services de police de San Francisco.
Ce n’est pas la première fois que Google est pointé du doigt pour ses manières intrusives concernant les données personnelles. L’entreprise américaine signale qu’elle ne scanne les images que lors d’utilisation de ses services ce qui a sûrement dû arriver lors de la sauvegarde de l’application Google Photos.