ChatGPT, Claude, Google Bard et les autres IA ont tendance à raconter n’importe quoi. Pour éviter qu’un chatbot ne propage de fausses informations, une start-up norvégienne a imaginé plusieurs techniques d’atténuation.
Toutes les IA, de ChatGPT à Claude en passant par Google Bard, sont susceptibles de générer des réponses erronées, très éloignées de la réalité. Parfois, un modèle linguistique va énoncer des faits inexacts, voire carrément absurdes, pour répondre à la question de son interlocuteur. Ces réponses sont pourtant présentées par l’intelligence artificielle comme des faits avérés. Les chercheurs ont baptisé ce phénomène les « hallucinations » de l’IA.
Les dangers d’une hallucination de l’IA
In fine, un chatbot propulsé par un modèle de langage est susceptible de propager de fausses informations à l’insu des utilisateurs. Les exemples ne manquent pas. Dans plusieurs livres rédigés par l’IA, disponibles sur Amazon, on trouve des conseils dangereux… ou mortels. Par ailleurs, un chatbot animé par le modèle GPT s’est mis à imaginer des recettes culinaires immangeables et toxiques. Le robot conversationnel, proposé par un supermarché néozélandais, conseillait en effet aux internautes de cuisiner avec de l’eau de javel, de la colle forte ou de la térébenthine.
Ces hallucinations représentent un frein pour les chercheurs et les développeurs. Si l’IA peut occasionnellement raconter n’importe quoi, il est épineux de lui confier des tâches critiques ou de s’en servir dans certains domaines, comme la médecine.
À lire aussi : Des pirates piègent les cybercriminels avec un faux ChatGPT malveillant
Les techniques pour réduire les hallucinations
Conscients de ce problème de taille, les chercheurs en IA travaillent actuellement d’arrache-pied pour trouver une solution. Comme le rapportent nos confrères de The Next Web, Iris.ai, une start-up norvégienne, a peut-être trouvé un début de solution.
Basée à Oslo, l’entreprise a mis au point un moteur, animé par l’IA, qui va consulter une montagne de données avant de les résumer, les analyser et les « comprendre ». Financé par l’Union européenne, le projet s’appuie sur un « algorithme de réseau neuronal » pour automatiser « le processus de découverte de documents scientifiques pertinents et de création de nouvelles hypothèses ». Selon la startup, le moteur peut faire « gagner jusqu’à 90 % de temps du processus de recherche ». Mais, comme tous les autres outils basés sur l’IA, l’IA risque parfois d’halluciner.
Pour éviter ça, la start-up, née en 2015, a mis en place une série de techniques d’atténuation. Tout d’abord, Iris.ai va vérifier systématiquement l’exactitude des réponses générées par son outil. La start-up a mis au point une technique qui permet de déterminer si une réponse est juste, ou erronée, de manière automatique.
« Nous cartographions les concepts de connaissances clés que nous nous attendons à voir dans une bonne réponse. Ensuite, nous vérifions si la réponse de l’IA contient ces faits et s’ils proviennent de sources fiables », explique Victor Botev, directeur technique d’Iris.ai, interrogé par le média.
Par ailleurs, la société norvégienne va comparer la réponse générée par l’IA à un fait établi grâce à une métrique de son cru, le « Word importance-based similarity of documents metric » (WISDM). D’après Iris.ai, il s’agit d’une « nouvelle méthode rapide et évolutive pour le calcul de similarité/différence de documents pour l’analyse de documents scientifiques ». La start-up automatise et accélère ainsi le processus de comparaison des réponses par rapport aux faits.
Ensuite, la société va s’attarder sur la cohérence de la réponse fournie par l’IA en décelant la présence de données pertinentes, ou non pertinentes. Des graphiques de connaissances démontrant des relations entre les données sont exploités par les chercheurs. Ceux-ci mettent en exergue toutes les étapes que le modèle d’IA traverse dans la génération d’une réponse. Une fois que le processus est décomposé, le système de la start-up parvient plus facilement à repérer les moments où l’IA se met à dérailler et à générer des erreurs.
« Les causes profondes des hallucinations dans tous les domaines peuvent être identifiées et traitées plus tôt », avance Victor Botev.
L’importance des données de formation
En cumulant ces différentes techniques, Iris.ai estime être capable de réduire significativement le taux d’hallucinations. Après avoir testé ces techniques en interne, la start-up a en effet constaté une forte baisse des erreurs. Malheureusement, cette innovation a ses limites. De l’aveu de l’entreprise d’Oslo, elle est plus plutôt destinée aux modèles dédiés à la recherche. En effet, les chercheurs qui s’en servent sont alors en mesure de prendre du recul sur les propos tenus par un chatbot à l’aide du système. Ce n’est pas toujours le cas des interlocuteurs d’un modèle d’IA mis à disposition du grand public.
C’est pourquoi Iris.ai recommande de prêter une grande attention aux données utilisées pour former un modèle linguistique. En optant pour des informations filtrées et triées sur le volet, et en choisissant « un langage de codage », il est théoriquement possible de réduire les situations dans lesquelles le modèle va se mettre à interpréter les choses de travers. Le code n’est pas sujet à interprétation, contrairement aux données textuelles qui sous-tendent la plupart des modèles.
Source :
The Next Web