Les approches open source continuent de se montrer prometteuses pour démocratiser l’intelligence artificielle.
L’équipe de recherche NovaSky de l’Université de Californie a dévoilé Sky-T1-32B-Preview, un modèle de raisonnement open source capable de rivaliser avec o1-preview d’OpenAI.
La prouesse ? Ce modèle a été conçu en seulement 19 heures, pour un coût inférieur à 450 dollars, à l’aide de huit GPU Nvidia H100.
Un modèle IA performant à moindre coût
L’équipe a développé Sky-T1 en exploitant les capacités de Qwen2.5-32-Instruct et en l’entraînant sur des données générées avec QwQ-32B-Preview, un autre modèle open source comparable à o1-preview.
« Nous avons structuré un mélange de données couvrant divers domaines qui nécessitent un raisonnement complexe, en appliquant une procédure d’échantillonnage de rejet pour garantir leur qualité. Nous avons ensuite retravaillé les traces QwQ avec GPT-4o-mini, dans un format inspiré de Still-2, pour faciliter l’analyse et améliorer les performances globales », explique l’équipe dans un article détaillant sa méthodologie.
Il fait mieux qu’OpenAI o1
Le modèle a obtenu des résultats égaux ou supérieurs à ceux de o1-preview sur les tests de référence en mathématiques et en codage.
Cependant, il n’a pas surpassé ses performances sur le test avancé GPQA-Diamond, qui inclut des questions complexes liées à la physique. NovaSky a rendu open source toutes les parties du modèle, y compris les pondérations, les données, l’infrastructure et les détails techniques.
Sachant qu’Open AI s’apprête à lancer o3, un modèle censé être plus efficace, il sera intéressant de comparer les évolutions introduites ces derniers mois. Mais comme le souligne l’équipe de NovaSky dans son blog, le fait que Sky-T1 ait pu être développé si rapidement « démontre qu’il est possible de reproduire des capacités de raisonnement de haut niveau de manière abordable et efficace ».