ICLR 2025 (Singapour) – L’un des événements annuels les plus importants dans le domaine de l’intelligence artificielle débute cette semaine à Singapour.
Il s’agit de la Conférence internationale sur les représentations d’apprentissage. Le géant des puces Nvidia est très présent, et partage plus de 70 documents de recherche de son équipe.
Les articles couvrent des sujets allant de la génération de musique à la création de vidéos réalistes en 3D, en passant par l’entraînement des robots.
Nvidia
Pas seulement une entreprise de puces
« Les gens pensent souvent que Nvidia est une entreprise de puces, qui fabrique des puces géniales. Et bien sûr, nous en sommes très fiers », dit à ZDNET Bryan Catanzaro, responsable de la recherche appliquée en deep learning chez Nvidia. « Mais ce qui compte le plus, selon moi, c’est que pour que nous puissions fabriquer ces puces géniales, nous devons faire des recherches. »
Les documents présentés cette semaine, dont la plupart ont été publiés au cours de l’année écoulée sur arXiv preprint, vont de la recherche pure à des programmes qui proposent des outils immédiatement utilisables.
Dans la première catégorie, par exemple, un projet appelé LLaMaFlex améliore la génération de différents LLM à partir d’un seul parent. Il est courant aujourd’hui de « distiller » un seul et très grand LLM en LLM « étudiants » qui héritent des capacités du « professeur » mais occupent moins de mémoire.
Nvidia
Les chercheurs de Nvidia ont observé que la méthode de distillation pouvait être améliorée en utilisant ce qu’ils appellent le « préentraînement élastique ». En prenant un seul LLM pré-entraîné de grande taille – dans ce cas, Llama 3.18B de Meta Platforms – ils l’ont soumis à une seule phase d’entraînement supplémentaire avec 60 milliards de nouveaux jetons d’entraînement. Le résultat est un algorithme appelé « routeur » qui peut produire automatiquement n’importe quel nombre de LLM descendants de taille différente en appuyant pratiquement sur un bouton.
Modèle de fondation Fugatto
Dans la catégorie des programmes plus tangibles, le programme Fugatto 1 est un « modèle de base » pour la synthèse audio. Un modèle d’IA qui peut traiter n’importe quelle combinaison d’instructions textuelles et de clips sonores et transformer le clip en fonction des instructions.
Par exemple :
- Fugatto peut produire un son à la demande, comme le miaulement d’un chat.
- Il peut découper un échantillon de chanson pour reproduire chaque chanteur.
- Il peut fusionner le son de l’eau qui ondule avec celui d’une guitare classique pour créer un son hybride qui est un mélange des deux.
Nvidia
Le réseau neuronal de Fugatto est un réseau développé par Google en 2022 qui peut fonctionner sur des « spectrogrammes« . C’est-à-dire des sons sous forme d’ondes. La contribution originale de Rafael Valle de Nvidia et de son équipe est un nouveau dataset et un entraînement qui apprend au modèle à traiter des commandes textuelles complexes.
Les projets de Nvidia tels que Fugatto s’appuient sur de nombreuses innovations antérieures. Comme le fait tout laboratoire de recherche. L’un des aspects importants qui distingue les documents de recherche de Nvidia est qu’ils donnent plus de détails techniques sur les implémentations matérielles utilisées dans la recherche. Par exemple le nombre de puces GPU utilisées. D’autres laboratoires laissent souvent ces données de côté.
L’IA au service du développement des puces
Les projets de recherche tels que LLaMaFlex et Fugatto mettent en évidence les nombreuses possibilités d’utilisation des puces Nvidia. Ce qui est toujours un excellent moyen de promouvoir les capacités de ces composants. Ils permettent également à Nvidia de se tenir au courant de l’état de l’art en matière d’IA. Ce qui peut influencer le développement des puces de l’entreprise. En clair, ils aident l’entreprise à attirer des talents.
Enfin, ils montrent comment la puissance brute des puces Nvidia joue un rôle important dans le domaine de l’IA. L' »accélération » de l’IA est une histoire qui n’est pas aussi connue qu’elle devrait l’être, a déclaré M. Catanzaro. « Je suis convaincu qu’une grande partie des progrès de l’IA au cours des 15 dernières années est due à l’accélération », a déclaré M. Catanzaro.
Consultez toutes les publications de recherche de Nvidia sur le site Web principal de recherche.