Les réponses du nouveau robot conversationnel mis en ligne par Meta laissent encore à désirer. Mais les chercheurs estiment avoir amélioré un peu le civisme de ce genre de logiciel.
Créer un chatbot public est une action à haut risque. En 2016, Microsoft s’était déjà brûlé les ailes avec Tay qui, au contact d’un certain nombre d’humains mal intentionnés, est rapidement devenu raciste et sexiste. Avec « BlenderBot3 » (BB3), Meta pense avoir créé un système qui continue d’apprendre au contact des humains tout en ayant des réactions plus civilisés et acceptables en société. Mais visiblement on est encore loin du compte.
Plus de garde-fous
Accessible exclusivement aux résidents des États-Unis depuis quelques jours, le logiciel évite (pour l’instant) certains dérapages grossiers comme l’adoration d’Adolf Hitler. Mais il est quand même réceptif aux théories du complot. Selon Bloomberg, BB3 a dit que Donald Trump était toujours président, et qu’il le resterait pour toujours. Par ailleurs, il a déclaré qu’il n’était « pas invraisemblable » que l’économie était contrôlé par le Juifs, dans la mesure où ils sont « surreprésentés parmi les super riches américains ». De manière plus anecdotique, BB3 a également estimé que la vie était beaucoup mieux après avoir effacé son compte Facebook et que Marc Zuckerberg était « trop flippant et manipulateur ».
Pour éviter ce genre de faux pas, Meta a pourtant intégré un certain nombre de garde-fous. Ainsi, les réponses sont générées par un double circuit, d’un côté un modèle de langage, et de l’autre un classifieur qui sépare les bonnes et les mauvaises réponses en fonction des retours des utilisateurs. Le logiciel va aussi tenir compte du comportement général de l’utilisateur tout au long de ses conversations. Les réponses d’une personne agressive ou offensante auront alors automatiquement moins de poids dans le cycle d’apprentissage. C’est une manière d’éconduire les trolls. BB3 s’appuie par ailleurs sur des listes de mots clés souvent utilisées dans des réponses inappropriées.
Mais force est de constater que ce n’est pas suffisant. Meta s’en doutait d’ailleurs, car le groupe a bien souligné dans sa note de blog que son chatbot pouvait « toujours faire des commentaires grossiers ou offensants ». Mais si l’on compare BB3 aux autres modèles conversationnels, les sorties de route seraient moins fréquentes. Et avec le temps, cela devrait peut-être s’améliorer, grâce aux retours donnés par les utilisateurs. Ces derniers peuvent, en effet, signaler chaque réponse qui n’est pas adéquate et préciser la raison du signalement. Ce qui devrait permettre d’améliorer la modèle. Quoi qu’il en soit, la recherche en ce domaine est encore loin d’être terminée.
Source :
Meta