Malgré un départ tardif, Apple a su se rattraper en investissant massivement dans l’intelligence artificielle. La société américaine a annoncé Apple Intelligence, une suite de solutions destinée à enrichir presque tous ses produits. Mais ce n’est pas tout : Apple se penche désormais sérieusement sur la création de modèles linguistiques générés par IA.
Apple passe à l’offensive
La firme de Cupertino a notamment dévoilé DCLM-Baseline-7B sur la plateforme Hugging Face. Ce modèle de langage, doté de 7 milliards de paramètres, s’inscrit dans le cadre du benchmark DataComp for Language Models (DCLM), une initiative visant à améliorer la qualité des données utilisées pour l’entraînement des modèles de langage.
Avec 7 milliards de paramètres, ce modèle est comparable à des modèles populaires tels que Llama 2 et Gemma. À vrai dire, lorsqu’il a été testé sur le benchmark Massive Multitask Language Understanding (MMLU) face à des modèles populaires de même taille, DCLM-Baseline-7B a obtenu des résultats compétitifs et a même surpassé Mistral 7B.
Une approche open-source
Malgré ses performances convaincantes, l’une des principales caractéristiques de DCLM-Baseline-7B est son ouverture, avec « des données ouvertes, des modèles ouverts et un code d’entraînement ouvert », comme l’explique Vaishaal Shankar, chercheur chez Apple.
C’est une approche louable, car elle permet à d’autres chercheurs et développeurs de s’appuyer sur les modèles et de poursuivre les progrès dans ce domaine. Le modèle a été entraîné sur les données DCLM-BASELINE, combinées aux données StarCoder et ProofPile2, afin d’atteindre des compétences dans d’autres tâches telles que le codage et les mathématiques.
Aussi : Qu’est-ce que l’IA générative et pourquoi est-elle si populaire ? Voici tout ce qu’il faut savoir
Rendez-vous cet automne ?
Rappelons qu’Apple n’en est pas à son premier essai dans le domaine des modèles d’IA. La société a déjà présenté d’autres modèles, tels que Ferret-UI, un modèle de langage multimodal de grande envergure (MLLM), et Reference Resolution As Language Modeling (ReALM), un système d’IA conversationnelle. Avec le lancement d’iOS 18 et d’Apple Intelligence cet automne, nous pourrons observer comment Apple se positionne vraiment dans le secteur de l’IA et évaluer les performances de ses produits dans ce domaine.