Un avocat américain s’est tourné vers ChatGPT pour l’assister dans son travail. Malheureusement pour lui, l’IA générative a fait n’importe quoi… et les tribunaux s’en sont rendu compte.
Les IA génératives, comme ChatGPT ou Google Bard, s’apprêtent à bouleverser de nombreux secteurs d’activités. Le domaine juridique n’y échappe pas. D’après des tests menés par l’Université du Minnesota, ChatGPT est d’ailleurs assez intelligent pour réussir un examen de droit de niveau universitaire.
Grisés par les possibilités offertes par le chatbot, certains juristes se sont rapidement tournés vers l’IA pour les assister dans leur travail. C’est le cas d’un juge colombien. Celui-ci s’est servi de ChatGPT pour rendre un verdict épineux. Concrètement, le chatbot a été utilisé pour organiser et structurer les recherches du magistrat. Pour le juge, le robot conversationnel s’est révélé être un assistant efficace.
À lire aussi : on a testé un « ChatGPT » non censuré… et ça fait peur
Cet avocat n’aurait pas dû utiliser ChatGPT
Malheureusement, le modèle linguistique n’est pas toujours à la hauteur des ambitions de son interlocuteur. Comme le rapportent nos confrères du New York Times, un avocat du nom de Steven A. Schwartz l’a compris à ses dépens. L’avocat était chargé de représenter un homme ayant déposé une plainte contre la compagnie aérienne colombienne Avianca. Le plaignant avait été blessé par un chariot métallique dédié aux bagages lors d’un vol vers New York.
Pour convaincre le juge de ne pas rejeter l’affaire, Schwartz a réalisé un rapport de 10 pages mettant en avant six affaires similaires. Celles-ci devaient convaincre le magistrat de ne pas enterrer les poursuites, le délai de prescription ayant été dépassé, comme le réclamait Avianca. Pour écrire l’argumentaire, l’avocat s’est appuyé sur ChatGPT.
Il a notamment demandé à l’IA générative de dénicher des affaires analogues en piochant dans son corpus de données. Le chatbot a répondu à sa requête… en inventant des affaires de toutes pièces. L’IA a généré de fausses citations, de faux exemples et de fausses décisions judiciaires. En consultant le document, les avocats d’Avianca n’ont pas trouvé la moindre trace des événements cités. Le juge a alors mené son enquête. Il a vite remarqué que les numéros de dossier relatifs aux affaires ne correspondaient pas.
« Six des affaires soumises semblent être de fausses décisions judiciaires avec de fausses citations », indique le juge.
Quand ChatGPT croit à ses mensonges
Dos au mur, l’avocat du plaignant a révélé avoir utilisé l’IA générative pour réaliser ses recherches. Il précise avoir interrogé le chatbot sur la véracité des éléments communiqués… et ChatGPT a soutenu que toutes les données étaient véridiques. Le chatbot a même assuré que toutes les citations pouvaient être retrouvées « dans des bases de données juridiques réputées ». Ce n’était pas le cas.
Apparemment, ChatGPT a mélangé les citations, les décisions et les détails de plusieurs affaires pour rédiger le document et adapter les faits à la demande de son interlocuteur. Dos au mur, Schwartz assure qu’il ne savait pas qu’il était possible que « son contenu puisse être faux ». Il affirme regretter « d’avoir utilisé l’intelligence artificielle générative pour compléter sa recherche juridique et ne le fera jamais à l’avenir sans vérification absolue de l’authenticité » des réponses. L’avocat indique qu’il n’avait pas « l’intention de tromper le tribunal ou la compagnie aérienne ».
Cette affaire illustre le plus gros problème des IA génératives. Tous les modèles de langage, de GPT-4 à PaLM 2 en passant par Alpaca ou Llama, sont susceptibles d’avoir des « hallucinations ». En clair, les IA se mettent à raconter n’importe quoi, à générer des faits erronés et à tordre la réalité, dans un excès de créativité. En conséquence, il ne faut surtout pas se fier aveuglément aux propos d’un chatbot…
Source :
New York Times