Les générateurs d’art motorisés par des IA sont des outils amusants et de plus en plus populaires. Ils permettent de créer des images et des œuvres d’art en tapant une invite et en laissant le modèle d’IA, qui aura été entraîné sur un ensemble de données de milliards d’images, faire son travail. DALL-E 2 d’OpenAI en est le principal exemple, mais il en existe plusieurs autres, dont Stable Diffusion de Stability AI.
Stable Diffusion est un modèle d’intelligence artificielle à grande échelle open source, entraîné sur un sous-ensemble de 2,3 milliards d’images étiquetées en anglais provenant de l’ensemble de données LAION 5B, qui contient 5,85 milliards de paires image-texte. Vous pouvez accéder à Stable Diffusion en mode cloud via le web, ou l’exécuter sur un PC avec un GPU disposant de 6 Go ou plus de RAM vidéo, ou sur un Apple avec Apple Silicon fonctionnant sous MacOS (13.1) ou iOS (16.2). La dernière version de Stable Diffusion, 2.1, a été publiée en décembre 2022.
À l’occasion du Mobile World Congress (MWC), Qualcomm présente pour la première fois une instance Stable Diffusion fonctionnant localement sur un smartphone haut de gamme équipé de la dernière puce Snapdragon 8 Gen 2 de la société.
Image : Qualcomm
Ce développement est l’œuvre de l’équipe Qualcomm AI Research, qui exploite AI Stack et les outils de développement de Qualcomm. Le modèle linguistique Stable Diffusion est quantifié et optimisé à l’aide de int8, ce qui permet de stocker l’intégralité du modèle sur le smartphone. Quatre optimisations de la pile d’IA permettent de générer une image de haute qualité de 512 par 512 pixels en moins de 15 secondes à partir de la saisie de la requête, montrant 20 étapes d’inférence allant des pixels aléatoires à l’image finie. « Nous améliorons continuellement les temps de latence et la précision », a déclaré Mike Roberts, vice-président de Qualcomm.
Performance, confidentialité, sécurité et coût
L’évolution vers le traitement des charges de travail d’IA sur les appareils mobiles plutôt que dans le cloud est motivée par des considérations de performance, de confidentialité, de sécurité et de coût. « Plus il y en a sur l’appareil, plus nous pouvons faire évoluer cette technologie vers les applications », a déclaré M. Roberts.
« Nous voulons vraiment montrer que c’est ainsi que nous pourrons faire évoluer les appareils et les modèles pour rendre l’IA véritablement omniprésente », a-t-il ajouté. Voici quelques exemples de ce que la diffusion stable peut faire (sur le web) :
Image : Stable Diffusion
Image : Stable Diffusion
Une mise en garde : les énormes bases de données utilisées pour former les générateurs d’art IA récupèrent des images sur Internet et peuvent inclure du matériel inapproprié ou protégé par des droits d’auteur. Getty Images poursuit actuellement Stable AI pour avoir utilisé sans autorisation 12 millions de ses images provenant de l’ensemble de données LAION 5B pour entraîner Stable Diffusion.