LightOn l’affirme, benchmark à l’appui : son dernier modèle Reason-ModernColBERT rivalise avec les meilleurs du domaine.
Ce nouveau modèle conçu par la startup française LightOn vise à proposer des performances accrues en matière de recherche d’information.
Itérations sur BERT
Comme le nom l’indique, celui ci est basé sur le modèle BERT développé par Google en 2018.
Mais il intègre les améliorations apportées à ce modèle par LightOn depuis plusieurs années. LightOn a ainsi développé en fin d’année 2024 la famille de modèle ModernBERT pour proposer une alternative plus efficace aux modèles BERT initialement publiés.
S’appuyant sur ces évolutions, LightOn développe des modèles qui avancent des performances supérieures en termes d’entraînement et de volumes. L’entraînement de Reason-ModernColBERT n’a ainsi demandé que deux heures… et moins de cent lignes de code.
Performances accrues
LightOn met également en avant les performances de son modèle. Il embarque 150 millions de paramètres. Mais il parvient à égaler des modèles concurrents fonctionnant avec 7 milliards de paramètres sur le benchmark Bright, un benchmark spécialisé sur les tâches de recherche d’information au sein d’un corpus.
Ce nouveau modèle vient compléter la gamme de modèles proposés par LightOn, qui a dévoilé plusieurs modèles de ce type au cours des derniers mois.
Ces modèles se spécialisent dans la recherche efficace d’information au sein d’un corpus de documents. « Reason-ModernColBERT a été conçu pour parcourir et retrouver des bases de connaissances complexes, apportant des réponses précises aux questions nuancées et quand la pertinence sous-jacente est subtile ou implicite » assure la société. De plus, le modèle est proposé en open source, que ce soit pour son code d’entraînement ou les jeux de données pertinents.
LightOn, en toute discrétion
LightOn est une entreprise française fondée en 2016 et spécialisée dans le développement de technologies d’intelligence artificielle.
Face aux ténors du genre, celle-ci reste discrète et compte des effectifs moindres.
Cela ne l’a pas empêché d’annoncer son introduction en bourse en fin d’année 2024, devenant la première entreprise européenne spécialisée dans les technologies d’intelligence artificielle à être cotée sur les marchés publics.