NVIDIA vient de rendre disponible son programme « Chat with RTX », un chatbot fonctionnant en local sur un PC. Il peut vous aider à trier vos documents ou à résumer des vidéos YouTube, sous réserve d’avoir la carte graphique qui va bien.
Les GeForce RTX de NVIDIA servent principalement à jouer, leur usage ne fait que s’étendre. En tout cas, l’entreprise n’exploite pas seulement les cœurs Tensor des GPU pour gérer le DLSS (Deep Learning Super Sampling), sa technologie de sur-échantillonnage IA. Le géant des puces californien souhaite faire intervenir ses cartes graphiques dans plusieurs autres domaines.
L’écosystème logiciel GeForce comprend ainsi divers à-côtés à sa gamme classique : le RTX Voice, pour tout ce qui touche aux échanges vocaux ; le RTX Video, qui comprend le RTX Video Super Resolution, ainsi que le RTX Video HDR, des technologies de sur-échantillonnage et de transformation de flux SDR en HDR pour le streaming. À cela s’ajoute aujourd’hui le programme « Chat with RTX ». Présenté en janvier dernier, il est désormais disponible à l’essai.
Un chatbot local
« Chat with RTX » est un chatbot IA qui fonctionne localement sur un PC. Il est soutenu par deux ressources principales : NVIDIA TensorRT-LLM et RAG (Retrieval-Augmented Generation). Pour faire simple, le premier est un logiciel open-source conçu pour booster les performances d’inférence de l’IA des GeForce RTX avec de nombreux modèles de langage. Le second est une technique utilisée pour améliorer la précision et la fiabilité des modèles génératifs d’IA grâce à des données externes.
« Chat with RTX » exploite les capacités de Mistral AI ou Llama 2. Il peut accéder à YouTube et bien sûr, aux différents fichiers de votre machine. Dans la vidéo de présentation proposée ci-dessous, NVIDIA assure que vos données ne quittent pas votre PC. C’est d’ailleurs un argument mis en avant par la société. Elle souligne que « Chat with RTX » permet de traiter des données sensibles sur un PC, en local, sans avoir à les partager avec un tiers et sans la nécessité d’une connexion Internet. Une approche à l’opposé de celle des services LLM basés sur le cloud.
Déjà assez fonctionnel en l’état
Outre les quelques exemples montrés par l’entreprise dans la séquence, Tom Warren de The Verge a mené ses propres expérimentations. Il confirme que le chatbot est très fonctionnel pour effectuer des recherches dans des fichiers locaux et pour les résumer. Notre confrère donne l’exemple de la liasse de documents liés à l’affaire de la FTC contre Microsoft stockés sur son PC, et pour lesquels « Chat with RTX » retrouve les informations clefs en quelques secondes.
En revanche, la recherche appliquée aux vidéos sur YouTube est parfois moins convaincante, toujours selon Tom Warren. Pour finir, il précise que le chatbot n’a pas de mémoire contextuel et qu’il dissémine des fichiers JSON dans les dossiers indexés.
Rien de dramatique, puisque « Chat with RTX » n’est présenté que comme une démo pour le moment. Une démo restrictive par contre, puisque limitée aux GeForce RTX 30 et RTX 40 avec au moins 8 Go de VRAM – la GeForce RTX 3050 6 Go récemment lancée n’est donc pas éligible. Enfin, l’ordinateur doit être sous Windows 11.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source :
Nvidia