La Chine prend à bras le corps la problématique de la santé mentale avec les chatbots IA. Les autorités ont proposé une série de règles très contraignantes qui pourraient fortement limiter les capacités de ChatGPT et des autres bots.
Violence, psychoses, encouragement de pratiques dangereuses, désinformation, promotion de l’automutilation et du suicide… Les exemples se multiplient depuis des années sur les méfaits des chatbots et autres « compagnons » IA mal encadrés. OpenAI a d’ailleurs dû mettre en place un système de contrôle parental beaucoup plus solide, suite au suicide d’un adolescent accro à ChatGPT. Une plainte a été déposée par la famille.
Chatbots sous contrôle
La Chine entend bien serrer la vis, très fort. L’administration du cyberespace a proposé une série de règles qui, si elles étaient validées (ce qui ne fait pas vraiment de doute), limiteraient énormément ce que les bots peuvent faire. Ces derniers ne devraient pas chercher à influencer émotionnellement les utilisateurs, notamment avec de fausses promesses ou des encouragement excessifs. Toute incitation, glorification ou banalisation des comportements suicidaires ou violents serait strictement interdite.
Parmi les autres propositions des autorités de Pékin, on trouve l’enregistrement des coordonnées d’un proche ou d’un tuteur lors de l’inscription d’un enfant ou d’une personne âgée. Ce proche serait alors automatiquement alerté en cas de discussion sur le suicide ou l’automutilation. Les « pièges émotionnels » seraient aussi bannis : les bots ne doivent pas pousser les utilisateurs à prendre des décisions « déraisonnables » ou créer une relation de dépendance affective.
Les services IA afficheraient des rappels ou fenêtres contextuelles lorsque l’usage dépasse deux heures consécutives. Les bots auraient interdiction d’évoquer des sujets comme l’obscénité, les jeux d’argent, la diffamation, les insultes envers d’autres utilisateurs. Enfin, les plateformes dépassant le million d’utilisateurs inscrits ou 100 000 utilisateurs actifs mensuels procéderaient à audits de sécurité chaque année.
Si un service se rendait coupable de ne pas respecter ces règles, la Chine se donne le droit d’exiger son retrait des boutiques d’applications. La priorité de Pékin est de prévenir les risques psychologiques, la dépendance et les « dérives » du comportement. Cela reviendrait aussi à créer une des réglementations les plus sévères au monde pour encadrer l’anthropomorphisme des bots IA.
En imposant un cadre aussi contraignant, la Chine prend le risque d’accentuer la fragmentation du paysage mondial de l’IA (ChatGPT n’y est pas disponible, par exemple), ouvrant la voie à une IA à deux vitesses en fonction des régions. Mais ces règles sont aussi un moyen pour le pays d’accentuer la censure, le contrôle social et la surveillance de la population.
?? Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source :
CNBC