Les générateurs de vidéos à partir de simples commandes textuelles, comme VideoCrafter-2.0, Pika Labs ou Open-Sora, ont rapidement gagné en popularité grâce à leurs capacités impressionnantes. Cependant, un projet open source mené par des chercheurs de l'université Tsinghua et de Zhipu AI, en Chine, pourrait bien révolutionner le domaine de l'IA vidéo.

Ce nouvel outil, nommé CogVideoX, permet de créer des vidéos de six secondes à partir d'invites textuelles. Bien que ses performances soient encore en deçà des solutions commerciales, avec une définition de 720×480 pixels à huit images par seconde et cinq milliards de paramètres, son caractère open source pourrait redistribuer les cartes. En effet, l'implication de la communauté mondiale des développeurs pourrait accélérer son amélioration et son adoption. Sur le plan technique, les chercheurs ont mis au point un autoencodeur variationnel 3D (VAE), capable de compresser efficacement les vidéos. À cela s'ajoute un « transformateur expert », qui permet d'interpréter plus finement les commandes textuelles pour générer des vidéos en adéquation avec les attentes des utilisateurs.

Cependant, cette ouverture n'est pas sans risques. L'accès libre à CogVideoX pourrait faciliter la création de deepfakes et d'autres contenus trompeurs. Avec une telle technologie disponible en open source, il est difficile de prédire si elle sera principalement utilisée pour le meilleur ou pour le pire. Quoi qu'il en soit, il est clair que CogVideoX marque une étape significative dans l'évolution de l'IA vidéo, avec des implications potentielles tant positives que négatives.

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.