Amazon est inondé de livres écrits par une IA générative. Certains de ces ouvrages contiennent des recommandations dangereuses, voire potentiellement mortelles. Parfois, l’IA conseille en effet aux internautes d’ingérer un champignon toxique…
L’émergence de ChatGPT, Google Bard et consorts a rebattu les cartes du monde du livre. Sans grande surprise, de nombreux individus s’appuient désormais sur l’intelligence artificielle générative pour écrire des livres à leur place. Le géant Amazon a d’ailleurs été submergé par une vague d’ouvrages rédigés par une IA sur la boutique Kindle.
Dans la plupart des cas, ces recueils de poèmes, manuels d’instructions, romans et livres pour enfants se distinguent par leur médiocrité. Ils sont généralement bourrés d’approximations, d’idées basiques et ressassent des contenus éculés. Malheureusement, les livres imaginés par l’IA peuvent aussi représenter un danger pour les acheteurs.
À lire aussi : Cette école utilise ChatGPT d’une façon surprenante
Les dangers des livres écrits par l’IA
La New York Mycological Society, une organisation à but non lucratif qui rassemble les individus passionnés par les champignons, a découvert des recommandations potentiellement mortelles dans certains livres. Certains ouvrages, consacrés à la cueillette et à la consommation de champignons, racontent apparemment n’importe quoi. Les descriptions, identifiées comme des contenus venus d’une IA, sont approximatives, trompeuses et peuvent induire en erreur les novices.
Après avoir passé plusieurs des descriptions dans des détecteurs d’IA, nos confrères de 404Media ont pu confirmer que certains livres consacrés aux champignons n’ont pas été rédigés par un être humain. Pour rassurer leurs lecteurs, les livres mettent pourtant en avant un auteur humain… dont le nom est purement fictif. Certains auteurs recensés sur Amazon ont publié une dizaine de livres de cet acabit en deux mois. On ne trouve aucune information fiable sur leur compte sur la toile.
D’après Sigrid Jakob, présidente de la New York Mycological Society, les erreurs factuelles épinglées dans les livres risquent de mettre en danger les individus qui se lancent dans le monde des champignons :
« Il y a des centaines de champignons toxiques en Amérique du Nord et plusieurs qui sont mortels. Ils peuvent ressembler à des espèces comestibles populaires. Une mauvaise description dans un livre peut pousser quelqu’un à manger un champignon vénéneux ».
Un novice pourrait acheter l’un des livres écrits par l’IA, suivre les conseils de celui-ci et s’empoisonner avec un champignon impropre à la consommation. Les conséquences peuvent être mortelles, souligne l’organisation, qui estime que l’IA n’est pas encore capable de bien différencier tous les champignons. Alerté par la New York Mycological Society, Amazon a promptement banni les ouvrages contenant des erreurs :
« Amazon évalue constamment les technologies émergentes et s’engage à fournir la meilleure expérience possible d’achat, de lecture et de publication à ses auteurs et clients. Tous les éditeurs du magasin doivent respecter nos directives de contenu, quelle que soit la façon dont le contenu a été créé. Nous investissons beaucoup de temps et de ressources pour nous assurer que nos lignes directrices sont respectées et nous supprimons les livres qui ne respectent pas ces lignes directrices ».
On ne s’étonnera pas que l’intelligence artificielle puisse générer des contenus erronés. Toutes les IA, de ChatGPT à Claude en passant par Bard, sont susceptibles de générer des réponses très éloignées de la réalité. Il arrive qu’un modèle linguistique se mette en effet à « halluciner », c’est-à-dire à inventer des réponses, s’il manque de données dans son corpus de référence. Le modèle se met alors à improviser, ce qui peut générer des erreurs ou des absurdités. C’est d’ailleurs pourquoi Savey Meal, le ChatGPT d’un supermarché néozélandais, s’est mis à proposer des recettes de riz à l’eau de javel à ses interlocuteurs…
Source :
404Media