Meta a mis à la disposition du public le chatbot BlenderBot 3 avec des « recettes de sécurité » intégrées qui, selon l’entreprise, ont réduit les réponses offensives de 90 %, même si le robot peut toujours mentir et être impoli.
La démo de BlenderBot 3 est accessible en ligne aux Etats-Unis et devrait être disponible dans d’autres pays prochainement.
« BlenderBot 3 est capable d’effectuer des recherches sur internet pour discuter de pratiquement n’importe quel sujet, et il est conçu pour apprendre à améliorer ses compétences et sa sécurité par le biais de conversations naturelles et de commentaires publics de personnes », explique Meta dans un billet de blog.
Des entraînements sérieux
L’un des principaux aspects de la recherche menée par Meta pour rendre le chatbot accessible au public consiste à développer des mesures de sécurité.
« Nous avons mis au point de nouvelles techniques qui permettent d’apprendre, grâce à la participation des personnes sérieuses, tout en évitant les personnes qui ne cherchent qu’à tromper le modèle en lui donnant des réponses inutiles ou toxiques », explique le site, en faisant référence à des recherches antérieures sur la distinction automatique entre les utilisateurs utiles et les trolls.
Les mésaventures du chatbot de Microsoft, dans sa bêta publique en 2016, Tay.ai, a montré exactement ce qui peut arriver lorsque des humains interagissent avec un chatbot entraîné à faire des commentaires offensants et racistes.
Pas à l’abri de faux pas
Meta prévient que BlenderBot 3 est également capable de dire de mauvaises choses. Il semble que ce soit le principal problème non résolu de Meta, bien qu’il dispose d’un modèle capable d’apprendre à partir des commentaires.
« Malgré tout le travail accompli, nous reconnaissons que BlenderBot peut encore dire des choses dont nous ne sommes pas fiers », peut-on lire dans une page de la FAQ de BlenderBot 3.
« C’est une raison de plus pour faire participer la communauté des chercheurs. Sans accès direct à ces modèles, les chercheurs sont limités dans leur capacité à concevoir des stratégies de détection et d’atténuation. »
Les bots peuvent oublier qu’ils sont des bots
Meta encourage les utilisateurs à signaler tout propos offensant tenu par le chatbot. Elle prévient également qu’il peut dire des choses fausses ou contradictoires. Les chatbots oublient même qu’ils sont des robots et ont des « hallucinations », selon la description de Meta.
« »Malheureusement oui, le bot peut dire des choses fausses ou contradictoires. Les utilisateurs ne doivent pas se fier à ce bot pour obtenir des informations factuelles, notamment des conseils médicaux, juridiques ou financiers »», note le site.
« »Dans la recherche, nous disons que les modèles comme celui qui alimente ce bot ont des « hallucinations » : le bot assure avec confiance quelque chose qui n’est pas vrai. Les bots peuvent également mal se souvenir des détails de la conversation en cours, et même oublier qu’ils sont un bot. »»
S’il s’appelle BlenderBot, c’est parce que les recherches précédentes de Meta ont montré qu’en apprenant à un bot à « mélanger » de nombreuses compétences conversationnelles, on améliore ses performances.
BlenderBot 3, vraiment sensible ?
Google cherche à améliorer le « fondement factuel » des chatbots et de l’IA conversationnelle grâce à LaMDA (Language Models for Dialog Applications). Cet outil a été dévoilé à la mi-2021. Google a entraîné LaMDA au dialogue, afin qu’il puisse participer à des conversations libres. L’entreprise a lancé LaMDA 2 lors de sa conférence I/O en mai, puis proposé aux chercheurs l’application AI Test Kitch afin de permettre à d’autres personnes de découvrir ce que « cela pourrait être d’avoir LaMDA entre les mains ».
LaMDA a fait parler d’elle en juin après que Blake Lemoine, ingénieur chez Google, a rendu public le document « Est-ce que LaMDA est sensible ? », qu’il avait montré aux dirigeants de Google en avril. Mais beaucoup ont affirmé leur désaccord quant à la prétendue sensibilité de LaMBDA.
LaMDA est un modèle de 137 milliards de paramètres dont le développement a nécessité près de deux mois de fonctionnement sur 1 024 des puces Tensor Processing Unit de Google. Mais Google n’a communiqué à personne d’autre qu’à ses propres ingénieurs.
Diversifier l’étude
Selon Meta, BlenderBot 3 est un « modèle de dialogue de 175 milliards de paramètres capable de converser dans un domaine ouvert, avec un accès à l’internet et une mémoire à long terme ». Le fait qu’il soit désormais accessible au public permet à Meta d’étudier ses capacités dans un cadre plus diversifié que celui des études de recherche.
Meta indique avoir combiné des techniques d’apprentissage automatique, SeeKeR et Director, pour construire des modèles conversationnels apprenant des interactions et des réactions.
« Les premières expériences montrent déjà que plus les gens interagissent avec le modèle, plus il apprend de ses expériences et plus il s’améliore et devient plus sûr au fil du temps – bien que la sécurité reste un problème ouvert », se réjouit Meta.
Source ZDNet.com