Presque tous les acteurs majeurs de l’intelligence artificielle, dont Google et OpenAI, développent des générateurs texte-vidéo. Stability AI vient de publier son dernier modèle de génération de vidéos par IA, mais son point de vue est un peu différent des autres.
Stable Video 4D est un modèle capable de transformer une vidéo d’un objet unique en plusieurs vidéos inédites de l’objet sous différents angles et perspectives. Cela permet aux utilisateurs de générer des vidéos réalistes sous plusieurs angles à partir d’une seule vidéo, comme on peut le voir ci-dessous.
Un seul objet vu sous plusieurs angles
Pour travailler avec Stable Video 4D, l’utilisateur commence par télécharger une seule vidéo et définit les angles de caméra 3D qu’il souhaite voir restitués. Ensuite, en 40 secondes, Stable Video 4D génère cinq images sur huit vues, l’optimisation 4D complète prenant de 20 à 25 minutes, selon Stability AI.
Selon l’entreprise, Stable Video 4D sera capable d’aider les professionnels de divers secteurs dans un avenir proche.
Un outil pour le développement de jeux vidéo et la réalité virtuelle
« Notre équipe envisage des applications futures dans le développement de jeux, le montage vidéo et la réalité virtuelle », explique Stability AI. « Les professionnels de ces domaines peuvent bénéficier de manière significative de la capacité à visualiser des objets à partir de perspectives multiples, améliorant ainsi le réalisme et l’immersion de leurs produits. »
Bien que Stability AI ait publié d’autres générateurs vidéo IA, tels que Stable Video Diffusion, qui convertit des images en vidéos, et Stable Video 3D, qui génère des objets 3D à partir d’images uniques, il s’agit du premier générateur de vidéo à vidéo de l’entreprise. Une innovation qui est qualifiée d’« étape importante ».
Stable Video 4D disponible sur Hugging Face
Parallèlement au modèle d’IA, Stability AI a également publié un rapport technique décrivant le développement du modèle, notamment les méthodologies, les défis, etc.
Stable Video 4D est disponible sur Hugging Face. Stability AI assure travailler activement à l’amélioration du modèle.