La technique d’intelligence artificielle générative connue sous le nom de « génération augmentée de récupération » (RAG – Retrieval Augmented Generation), est dans le radar des entreprises depuis des mois. Et voici les premiers produits.
Google a dévoilé la semaine dernière DataGemma, qui est une combinaison des modèles de LLM open-source Gemma de Google et de son projet Data Commons pour les données accessibles au public. DataGemma utilise des approches RAG pour récupérer les données avant de donner une réponse à une requête.
L’idée est d’éviter les « hallucinations », explique Google, « en exploitant les connaissances de Data Commons pour améliorer la factualité et le raisonnement des LLM ».
Ancrer les LLM dans leurs données d’entreprise
Le RAG devient une approche populaire pour permettre aux entreprises d’ancrer les LLM dans leurs données d’entreprise. Et l’utilisation de Data Commons représente la première mise en œuvre à ce jour du RAG à l’échelle de l’IA générative disponible sur une plateforme de cloud computing.
Data Commons est un framework de développement open-source qui permet de créer des bases de données accessibles au public. Il rassemble également des données réelles provenant d’institutions telles que les Nations unies qui ont mis leurs données à la disposition du public.
En reliant les deux, Google note qu’il adopte « deux approches distinctes ».
- La première consiste à utiliser les données statistiques publiques de Data Commons pour vérifier des questions spécifiques saisies dans le prompt. Par exemple « L’utilisation des énergies renouvelables a-t-elle augmenté dans le monde ? » Google Gemma répondra au prompt par une affirmation citant des statistiques particulières. Google appelle cela la « génération intercalée », ou RIG (retrieval-interleaved generation).
- Dans la seconde approche, le RAG est utilisé pour citer les sources des données, « et permettre des résultats plus complets et plus informatifs », déclare Google. Le modèle Gemma AI s’appuie sur la « fenêtre de contexte longue » du modèle propriétaire de Google, Gemini 1.5. La fenêtre contextuelle représente la quantité de données en jetons – généralement des mots – que le modèle d’IA peut stocker dans une mémoire temporaire pour agir.
D’ores et déjà, le RIG et le RAG ont permis d’améliorer la qualité des résultats
Gemini annonce que Gemini 1.5 a une fenêtre contextuelle de 128 000 tokens. Et ce bien que certaines versions puissent jongler avec jusqu’à un million de tokens en entrée. Une fenêtre de contexte plus grande signifie que davantage de données extraites de Data Commons peuvent être conservées en mémoire et consultées par le modèle lors de la préparation d’une réponse au prompt.
« DataGemma récupère les informations contextuelles pertinentes de Data Commons avant que le modèle ne commence à générer des réponses », déclare Google, « ce qui minimise le risque d’hallucinations et améliore la précision des réponses ».
La recherche est encore en cours de développement. Vous pouvez approfondir les détails dans le document de recherche officiel rédigé par Prashanth Radhakrishnan, chercheur chez Google, et ses collègues.
Google indique qu’il reste encore des tests et du développement à faire avant que DataGemma ne soit mis à la disposition du public dans Gemma et dans le modèle propriétaire de Google, Gemini.
D’ores et déjà, selon Google, le RIG et le RAG ont permis d’améliorer la qualité des résultats. De sorte que « les utilisateurs auront moins d’hallucinations pour les cas d’utilisation dans la recherche, la prise de décision ou la simple satisfaction de la curiosité ».
A la lutte avec OpenAI
DataGemma est le dernier exemple en date de la manière dont Google et d’autres entreprises dominantes dans le domaine de l’IA étoffent leurs offres avec des éléments qui vont au-delà des LLM.
La semaine dernière, OpenAI a dévoilé son projet sous le nom de code interne « Strawberry ».
Il s’agit de deux modèles qui utilisent une technique d’apprentissage automatique où le modèle d’IA est invité à énoncer les facteurs qui entrent en jeu dans une prédiction particulière qu’il est en train de faire.