toutes les options gratu …

L’IA générative (Gen AI) a considérablement progressé depuis deux ans.

Cette technologie permet de créer du texte, des images et d’autres médias avec une précision et une créativité impressionnantes.

Les modèles d’IA Gen libres sont précieux pour les développeurs, les chercheurs et les organisations qui souhaitent tirer parti d’une technologie d’IA de pointe sans avoir à payer des droits de licence élevés ou à se soumettre à des politiques commerciales restrictives.

Modèles d’IA open-source et modèles d’IA propriétaires

Les modèles d’IA open source ont plusieurs avantages, notamment :

La personnalisation
La transparence
L’innovation communautaire

Ces modèles une adaptation à des besoins spécifiques, mais aussi de bénéficier d’améliorations constantes. En outre, ils sont généralement assortis de licences permettant une utilisation à la fois commerciale et non commerciale.

Toutefois, les solutions open source ne sont pas toujours le meilleur choix. Dans les secteurs qui exigent une conformité réglementaire stricte, la confidentialité des données ou un support spécialisé, les modèles propriétaires sont souvent plus performants. Ils offrent des cadres juridiques plus solides, un support client dédié et des optimisations adaptées aux exigences de l’industrie. Les solutions propriétaires peuvent également exceller dans des tâches hautement spécialisées, grâce à des fonctionnalités exclusives conçues pour des performances et une fiabilité élevées.

Lorsque les organisations ont besoin de mises à jour en temps réel, d’une sécurité avancée ou de fonctionnalités spécialisées, les modèles propriétaires peuvent offrir une solution plus robuste et plus sûre, équilibrant efficacement l’ouverture et les exigences rigoureuses en matière de qualité et de responsabilité.

La définition de l’IA Open Source

L’Open Source Initiative (OSI) a récemment introduit la Définition de l’IA Open Source (OSAID) pour clarifier ce que l’on peut qualifier d’IA authentiquement open source. Pour répondre aux normes de l’OSAID, un modèle doit être totalement transparent dans sa conception et ses données de formation. C’est cela qui permet aux utilisateurs de le recréer, de l’adapter et de l’utiliser librement.

Cependant, certains modèles populaires, notamment LLaMA de Meta et Stability AI de Stable Diffusion, sont soumis à des restrictions de licence ou manquent de transparence en ce qui concerne les données d’apprentissage. De quoi les empêcher de se conformer pleinement à l’OSAID.

Dans le cadre du processus de validation de l’OSAID, l’OSI a évalué les éléments suivants :

Modèles conformes: Pythia (Eleuther AI), OLMo (AI2), Amber et CrystalCoder (LLM360), et T5 (Google).
Modèles potentiellement conformes: Bloom (BigScience), Starcoder2 (BigCode) et Falcon (TII) pourraient satisfaire aux normes de l’OSAID moyennant des ajustements mineurs des conditions de licence ou de la transparence.
Modèles non conformes: LLaMA (Meta), Grok (X/Twitter), Phi (Microsoft), et Mixtral (Mistral) manquent de la transparence nécessaire ou imposent des conditions de licence restrictives.

LLaMA et autres architectures non conformes

L’architecture Meta LLaMA est un exemple de non-conformité à l’OSAID en raison de sa licence restrictive réservée à la recherche et de l’absence de transparence totale sur les données d’entraînement. De quoi limiter l’utilisation commerciale et la reproductibilité. Les modèles dérivés, comme Mixtral de Mistral et MiniGPT-4 de Vicuna Team, héritent de ces restrictions, propageant la non-conformité de LLaMA à d’autres projets.

Au-delà des modèles basés sur LLaMA, d’autres architectures sont confrontées à des problèmes similaires. Par exemple, Stability Diffusion de Stability AI utilise la licence Creative ML OpenRAIL-M, qui comprend des restrictions éthiques qui s’écartent des exigences de l’OSAID pour une utilisation sans restriction. De même, Grok de xAI combine des éléments propriétaires avec des limitations d’utilisation, ce qui remet en cause son alignement sur les idéaux de l’open-source.

Ces exemples soulignent la difficulté de respecter les normes de l’OSAID, car de nombreux développeurs d’IA concilient le libre accès avec des considérations commerciales et éthiques.

Implications pour les organisations : conformité ou non à l’OSAID

Le choix de modèles conformes à l’OSAID offre aux organisations la transparence, la sécurité juridique et des fonctions de personnalisation complètes, essentielles pour une utilisation responsable et flexible de l’IA. Ces modèles conformes adhèrent à des pratiques éthiques et bénéficient d’un soutien important de la part de la communauté, ce qui favorise un développement collaboratif.

En revanche, les modèles non conformes peuvent limiter l’adaptabilité et s’appuyer davantage sur des ressources propriétaires.

Pour les organisations qui privilégient la flexibilité et l’alignement sur les valeurs des logiciels libres, les modèles conformes à l’OSAID sont avantageux. Toutefois, les modèles non conformes peuvent encore être utiles lorsque des fonctionnalités propriétaires sont nécessaires.

Comprendre l’octroi de licences dans les modèles d’IA open source

Les modèles d’IA open source ouvert sont publiés sous des licences qui définissent les conditions d’utilisation, de modification et de partage. Si certaines licences s’alignent sur les normes traditionnelles des logiciels libres, d’autres intègrent des restrictions ou des directives éthiques qui empêchent une conformité totale à l’OSAID. Les principales licences sont les suivantes :

Apache 2.0 : Une licence qui autorise la libre utilisation, la modification et la distribution, ainsi qu’une concession de brevet. Apache 2.0 est approuvée par l’OSI et populaire pour les projets open source, car elle offre flexibilité et protection juridique.
MIT : Une autre licence qui n’exige qu’une attribution pour la réutilisation. Comme Apache 2.0, MIT est approuvée par l’OSI, largement adoptée, et offre simplicité et restrictions minimales.
Creative ML OpenRAIL-M: Une licence conçue pour les applications d’intelligence artificielle, autorisant une large utilisation mais imposant des règles éthiques pour empêcher toute utilisation préjudiciable. OpenRAIL-M n’est pas approuvée par l’OSI parce qu’elle comporte des restrictions d’utilisation qui entrent en conflit avec les principes de liberté illimitée de l’OSI. Cependant, il est apprécié par les développeurs qui souhaitent donner la priorité à une utilisation éthique de l’IA.
CC BY-SA : La licence Creative Commons Share-Alike permet une utilisation libre et exige que les travaux dérivés restent libres. Bien qu’elle encourage la collaboration ouverte, elle n’est pas approuvée par l’OSI et est plus couramment utilisée pour le contenu que pour le code, car elle manque de souplesse pour les applications logicielles.
CC BY-NC 4.0 : Licence Creative Commons qui permet une utilisation gratuite avec attribution mais restreint les applications commerciales. Cette licence, utilisée pour certains poids de modèles (comme MusicGen et AudioGen de Meta), limite l’utilisation des modèles dans les environnements commerciaux et ne s’aligne pas sur les normes open-source de l’OSI.
Licences personnalisées : De nombreux modèles de notre liste, tels que Granite d’IBM et NeMo de Nvidia, fonctionnent sous des licences propriétaires ou personnalisées. Ces modèles imposent souvent des conditions d’utilisation spécifiques ou modifient les termes traditionnels des logiciels libres pour les aligner sur des objectifs commerciaux, ce qui les rend non conformes aux principes des logiciels libres.
Licences réservées à la recherche : Certains modèles, tels que LLaMA et Codellama de Meta, ne sont disponibles que sous des conditions d’utilisation à des fins de recherche. Ces licences limitent l’utilisation à des fins universitaires ou non commerciales et empêchent les projets communautaires de grande envergure, car elles ne répondent pas aux critères de l’OSI en matière de logiciels libres.

Conditions requises pour l’exécution de modèles d’IA open-source

L’exécution de modèles d’IA génériques open source nécessite du matériel, des environnements logiciels et des ensembles d’outils spécifiques pour les tâches d’entraînement, de réglage fin et de déploiement des modèles. Les modèles haute performance comportant des milliards de paramètres bénéficient de configurations GPU puissantes telles que les A100 ou H100 de Nvidia.

Les environnements essentiels comprennent généralement Python et des bibliothèques d’apprentissage automatique comme PyTorch ou TensorFlow. Des ensembles d’outils spécialisés, dont la bibliothèque Transformers de Hugging Face et NeMo de Nvidia, simplifient les processus d’ajustement et de déploiement. Docker aide à maintenir des environnements cohérents sur différents systèmes, tandis qu’Ollama permet l’exécution locale de grands modèles de langage sur des systèmes compatibles.

Voici les ensembles d’outils essentiels, le matériel recommandé et leurs fonctions spécifiques pour la gestion des modèles d’IA open-source :

Python

Objectif : Environnement de programmation principal
Exigences : N/A
Utilisation : Essentiel pour l’écriture de scripts et la configuration de modèles

PyTorch

Objectif : Entraînement et inférence de modèles
Exigences : GPU (par exemple, Nvidia A100, H100)
Utilisation : Bibliothèque largement utilisée pour les modèles d’apprentissage profond (Deep Learning)

TensorFlow

Objectif : Formation et inférence de modèles
Exigences : GPU (par exemple, Nvidia A100, H100)
Utilisation : Bibliothèque alternative d’apprentissage profond

Hugging Face Transformers

Finalité : Déploiement du modèle et fine-tuning
Exigences : GPU (de préférence)
Utilisation : Bibliothèque pour accéder aux modèles, les affiner et les déployer.

Nvidia NeMo

Objectif : Prise en charge et déploiement de modèles multimodaux
Exigences : GPU Nvidia
Utilisation : Optimisé pour le matériel Nvidia et les tâches multimodales

Docker

Objectif : Cohérence de l’environnement et déploiement
Exigences : Prise en charge des GPU
Utilisation : Conteneurisation des modèles pour un déploiement facile

Ollama

Objectif : Exécuter localement de grands modèles linguistiques
Exigences : macOS, Linux, Windows, supporte les GPU
Utilisation : Plate-forme pour l’exécution locale de LLM sur des systèmes compatibles

LangChain

Finalité : Construire des applications avec des LLM
Exigences : Python 3.7+
Utilisation : Framework pour composer et déployer des applications alimentées par des LLMs

LlamaIndex

Finalité : Connecter les LLM à des sources de données externes
Exigences : Python 3.7+
Utilisation : Cadre pour l’intégration des LLMs avec des sources de données

Cette configuration établit un framework solide pour gérer efficacement les modèles d’IA générative, de l’expérimentation au déploiement prêt à la production. Chaque ensemble d’outils possède des atouts uniques, permettant aux développeurs d’adapter leur environnement aux besoins spécifiques de leur projet.

Choisir le bon modèle

Le choix du bon modèle d’IA générative dépend de plusieurs facteurs, notamment les exigences en matière de licence, les performances souhaitées et les fonctionnalités spécifiques. Si les LLM tendent à offrir plus de précision et de flexibilité, ils requièrent des ressources informatiques importantes. Les modèles plus petits, en revanche, conviennent mieux aux applications et aux appareils dont les ressources sont limitées.

Il est important de noter que la plupart des modèles répertoriés ici, même ceux qui bénéficient de licences traditionnellement ouvertes comme Apache 2.0 ou MIT, ne satisfont pas à la définition de l’IA Open Source (OSAID). Cette lacune est principalement due aux restrictions concernant la transparence des données d’entraînement et les limites d’utilisation, que l’OSAID considère comme essentielles pour une véritable IA Open Source. Toutefois, certains modèles, tels que Bloom et Falcon, présentent un potentiel de conformité avec des ajustements mineurs de leurs licences ou de leurs protocoles de transparence et peuvent atteindre une conformité totale au fil du temps.

Les listes ci-dessous fournissent une vue d’ensemble des principaux modèles d’IA générative open-source, classés par type, émetteur et fonctionnalité, afin de vous aider à choisir la meilleure option pour vos besoins. Et ce qu’il s’agisse d’un modèle entièrement transparent, piloté par la communauté, ou d’un outil très performant avec des caractéristiques et des exigences de licence spécifiques.

Les modèles linguistiques

Les modèles de langage sont essentiels dans les applications textuelles telles que les chatbots, la création de contenu, la traduction et le résumé. Ils sont fondamentaux pour le traitement du langage naturel (NLP) et améliorent continuellement leur compréhension de la structure et du contexte de la langue.

Parmi les modèles les plus connus, citons LLaMA de Meta, GPT-NeoX d’EleutherAI et la famille NVLM 1.0 de Nvidia, tous connus pour leurs atouts uniques dans les tâches multilingues, à grande échelle et multimodales.

Google T5

Taille des paramètres : Small à XXL
Licence : Apache 2.0
Points forts : Modèle de langage haute performance, conforme à OSAID

EleutherAI Pythia

Taille des paramètres : Divers
Licence : Apache 2.0
Points forts : Axé sur l’interprétabilité, conforme à l’OSAID

Allen Institute for AI (AI2) OLMo

Taille des paramètres : Divers
Licence : Apache 2.0
Points forts : Modèle de recherche en langage ouvert, conforme à l’OSAID

BigScience BLOOM

Taille des paramètres : 176B
Licence : OpenRAIL-M
Points forts : Multilingue, IA responsable, potentiellement compatible OSAID

BigCode Starcoder2

Taille des paramètres : Divers
Licence : Apache 2.0
Points forts : Génération de code, potentiellement compatible OSAID

TII Falcon

Taille des paramètres : 7B, 40B
Licence : Apache 2.0
Points forts : Efficace et performant, potentiellement compatible OSAID

AI21 Labs Série Jamba

Tailles des paramètres : Mini à Large
Licence : Personnalisée
Points forts : Génération de langage et de chat

AI Singapore Sea-Lion

Taille des paramètres : 7B
Licence : Personnalisée
Points forts : Langue et représentation culturelle

Série Alibaba Qwen

Taille des paramètres : 7B
Licence : Personnalisée
Points forts : Modèle bilingue (chinois, anglais)

Databricks Dolly 2.0

Taille des paramètres : 12B
Licence : CC BY-SA 3.0
Points forts : Jeu de données ouvert, utilisation commerciale

EleutherAI GPT-J

Taille des paramètres : 6B
Licence : Apache 2.0
Points forts : Modèle de langage à usage général

EleutherAI GPT-NeoX

Taille des paramètres : 20B
Licence : MIT
Points forts : Génération de texte à grande échelle

Google Gemma 2

Taille des paramètres : 2B, 9B, 27B
Licence : Personnalisée
Points forts : Représentation linguistique et culturelle

IBM Granite Series

Taille des paramètres : 3B, 8B
Licence : Personnalisée
Points forts : Résumés, classification, RAG

Meta LLaMA 3.2

Taille des paramètres : 1B à 405B
Licence : Recherche uniquement
Points forts : NLP avancé, multilingue

Microsoft Phi-3 Series

Taille des paramètres : Mini à moyen
Licence : MIT
Points forts : Raisonnement, rentabilité

Mistral AI Mixtral 8x22B

Taille des paramètres : 8x22B
Licence : Apache 2.0
Points forts : Modèle resserré, raisonnement efficace

Mistral AI Mistral 7B

Taille des paramètres : 7B
Licence : Apache 2.0
Points forts : Génération de textes denses et multilingues

Famille NVLM 1.0 de Nvidia

Taille des paramètres : 72B
Licence : Personnalisée
Points forts : LLM multimodal haute performance

Rakuten RakutenAI Series

Taille des paramètres : 7B
Licence : Personnalisée
Points forts : Chat multilingue, NLP

xAI Grok-1

Taille des paramètres : 314B
Licence : Apache 2.0
Points forts : Modèle de langage à grande échelle

Modèles de génération d’images

Les modèles de génération d’images permettent de créer des visuels ou des œuvres d’art de haute qualité à partir de prompt. Cela les rend inestimables pour les créateurs de contenu, les concepteurs et les spécialistes du marketing.

Le modèle Stable Diffusion de Stability AI est largement adopté en raison de sa flexibilité et de la qualité de ses résultats. Le modèle IF de DeepFloyd met l’accent sur la génération de visuels réalistes avec une compréhension du langage.

Stability AI Stable Diffusion 3.5

Taille des paramètres : 2.5B à 8B
Licence : OpenRAIL-M
Points forts : Synthèse d’images de haute qualité

DeepFloyd IF

Taille des paramètres : 400M à 4.3B
Licence : Personnalisée
Points forts : Visuels réalistes avec compréhension du langage

OpenAI DALL-E 3

Taille des paramètres : Non divulguée
Licence : Personnalisée
Points forts : Synthèse texte-image de pointe

Google Imagen

Taille des paramètres : Non divulguée
Licence : Personnalisée
Points forts : Synthèse texte-image de pointe

Midjourney

Taille des paramètres : Non divulguée
Licence : Personnalisée
oints forts : Génération d’images artistiques et stylisées

Adobe Firefly

Taille des paramètres : Non divulguée
Licence : Personnalisée
Points forts : Génération d’images IA intégrée aux produits Adobe

Modèles de vision

Les modèles de vision analysent les images et les vidéos, prenant en charge la détection d’objets, la segmentation et la génération de visuels à partir de prompt.

Ces technologies profitent à plusieurs secteurs, notamment les soins de santé, les véhicules autonomes et les médias.

Meta SAM 2.1

Taille des paramètres : 38.9M à 224.4M
Licence : Apache 2.0
Points forts : Montage vidéo, segmentation

NVIDIA Consistency

Taille des paramètres : Non divulguée
Licence : Personnalisée
Points forts : Cohérence des caractères entre les images vidéo

NVIDIA VISTA-3D

Taille des paramètres : Non divulguée
Licence : Personnalisée
Points forts : Imagerie médicale, segmentation anatomique

NVIDIA NV-DINOv2

Taille des paramètres : Non divulguée
Licence : Non-commerciale
Points forts : Génération d’intégration d’images

Google DeepLab

Taille des paramètres : Non divulguée
Licence : Apache 2.0
Points forts : Segmentation sémantique d’images de haute qualité

Microsoft Florence

Taille des paramètres : 0.23B, 0.77B
Licence : MIT
Points forts : Modèle visuel polyvalent pour la vision par ordinateur

OpenAI CLIP

Taille des paramètres : 400M
Licence : MIT
Points forts : Compréhension de textes et d’images

Modèles audio

Les modèles audio traitent et génèrent des données audio, ce qui permet la reconnaissance vocale, la synthèse de la parole à partir du texte, la composition musicale et l’amélioration du son.

Coqui.ai TTS

Taille des paramètres : N/A
Licence : MPL 2.0
Points forts : Synthèse de la parole à partir du texte, support multilingue

ESPnet ESPnet

Taille des paramètres : N/A
Licence : Apache 2.0
Points forts : Reconnaissance vocale auto-supervisée

Facebook AI wav2vec 2.0

Taille des paramètres : Base (95M), Large (317M)
Licence : Apache 2.0
Points forts : Montage vidéo, segmentation

Hugging Face Transformers (modèles de discours)

Taille des paramètres : Divers
Licence : Apache 2.0
Points forts : Collection de modèles ASR et TTS

Magenta MusicVAE

Taille des paramètres : N/A
Licence : Apache 2.0
Points forts : Génération et interpolation de musique

Meta MusicGen

Taille des paramètres : N/A
Licence : MIT / CC BY-NC 4.0
Points forts : Génération de musique à partir de prompt

Meta AudioGen

Taille des paramètres : N/A
Licence : MIT / CC BY-NC 4.0
Points forts : Génération d’effets sonores à partir de prompt

Meta EnCodec

Taille des paramètres : N/A
Licence : MIT / CC BY-NC 4.0
Points forts : Génération d’effets sonores à partir de prompt

Mozilla DeepSpeech

Taille des paramètres : N/A
Licence : MPL 2.0
Points forts : Moteur de synthèse vocale de bout en bout

NVIDIA NeMo (modèles vocaux)

Taille des paramètres : Divers
Licence : Apache 2.0
Points forts : Modèles ASR et TTS optimisés pour les GPU Nvidia

OpenAI Jukebox

Taille des paramètres : N/A
Licence : MIT
Points forts : Génération neuronale de musique avec conditionnement genre/artiste

OpenAI Whisper

Taille des paramètres : 39M à 1.6B
Licence : MIT
Points forts : Reconnaissance et transcription multilingue de la parole

TensorFlow TFLite Modèles de parole

Taille des paramètres : N/A
Licence : Apache 2.0
Points forts : Modèles de reconnaissance vocale optimisés pour les appareils mobiles

Modèles multimodaux

Les modèles multimodaux combinent du texte, des images, du son et d’autres types de données pour créer du contenu à partir de diverses entrées.

Ces modèles sont efficaces dans les applications nécessitant une compréhension linguistique, visuelle et sensorielle.

Allen Institute for AI (AI2) Molmo

Taille des paramètres : 1B, 70B
Licence : Apache 2.0
Points forts : Un modèle d’IA multimodale qui traite les entrées textuelles et visuelles, conforme à OSAID

Meta ImageBind

Taille des paramètres : N/A
Licence : Personnalisé
Points forts : Intègre six types de données : texte, images, audio, profondeur, thermique et IMU.

Meta SeamlessM4T

Taille des paramètres : N/A
Licence : Personnalisée
Points forts : Fournit des services de traduction et de transcription multilingues

Meta Spirit LM

Taille des paramètres : N/A
Licence : Personnalisée
Points forts : Combine le texte et la parole pour produire des résultats à sonorité naturelle

Microsoft Florence-2

Taille des paramètres : 0.23B, 0.77B
Licence : MIT
Points forts : Traite efficacement les tâches de vision par ordinateur et de langage

NVIDIA VILA

Taille des paramètres : N/A
Licence : Personnalisée
Points forts : Traite efficacement les tâches de vision et de langage

OpenAI CLIP

Taille des paramètres : 400M
Licence : MIT
Points forts : Excelle dans la compréhension de textes et d’images

Équipe Vicuna MiniGPT-4

Taille des paramètres : 13B
Licence : Apache 2.0
Points forts : Capable de comprendre à la fois du texte et des images

Génération augmentée par récupération (RAG)

Les modèles RAG fusionnent l’IA générative et la recherche d’informations, ce qui leur permet d’intégrer dans leurs réponses des données pertinentes provenant de vastes ensembles de données.

BAAI BGE-M3

Taille des paramètres: N/A
Licence : Personnalisée
Points forts : Optimisation de la recherche dense et éparse

IBM Granite 3.0 Series

Taille des paramètres : 3B, 8B
Licence : Personnalisée
Points forts : Recherche avancée, résumé, RAG

Nvidia EmbedQA & ReRankQA

Taille des paramètres : 1B
Licence : Personnalisée
Points forts : AQ multilingue, recherche accélérée par le GPU

Modèles spécialisés

Les modèles spécialisés sont optimisés pour des domaines spécifiques, tels que la programmation, la recherche scientifique et les soins de santé.

Meta Codellama Series

Taille des paramètres : 7B, 13B, 34B
Licence : Personnalisée
Points forts : Génération de code, programmation multilingue

Mistral AI Mamba-Codestra

Taille des paramètres : 7B
Licence : Apache 2.0
Points forts : Accent mis sur le codage et les capacités multilingues

Mistral AI Mathstral

Taille des paramètres : 7B
Licence : Apache 2.0
Points forts : Spécialisé dans le raisonnement mathématique

Modèles de garde-fous (guardrail)

Ces modèles garantissent des résultats sûrs et responsables en détectant et en atténuant les biais, les contenus inappropriés et les réponses nuisibles.

NVIDIA NeMo Guardrails

Taille des paramètres : N/A
Licence : Apache 2.0
Points forts : Boîte à outils open-source pour l’ajout de guardrails programmables

Google ShieldGemma

Taille des paramètres : 2B, 9B, 27B
Licence : Personnalisée
Points forts : Modèles de classificateurs de sécurité construits sur Gemma 2

IBM Granite-Guardian

Taille des paramètres : 8B
Licence : Personnalisée
Points forts : Détecte les contenus préjudiciables ou contraires à l’éthique

Choisir des modèles open-source

Le paysage de l’IA générative évolue rapidement et les modèles open-source sont essentiels pour rendre la technologie accessible à tous. Ces modèles permettent la personnalisation et la collaboration, et font tomber les barrières qui ont limité jusqu’à présent le développement de l’IA aux grandes entreprises.

Les développeurs peuvent adapter les solutions à leurs besoins en choisissant l’IA générative open source, en contribuant à une communauté mondiale. La variété des modèles disponibles – du langage et de la vision aux conceptions axées sur la sécurité – garantit des options pour presque toutes les applications.

Source link