VAST publie en open source EdenLive, un modèle vidéo temps réel

Un personnage gèle une flaque de lave pour s'y accrocher, et le même saut, filmé sous forme d'esquisse grise et grossière, ressort sous forme de scène détaillée. C'est le type de démonstration que VAST a présenté aux développeurs cette semaine. L'entreprise, à l'origine de la plateforme Tripo, a publié en open source EdenLive, un modèle temps réel qui prend des images de jeu simplifiées ou une vidéo existante et les recalcule image par image dans un style choisi, du photoréaliste à l'anime. La publication comprend les poids des modèles 5B et 14B, le code d'inférence en streaming, un rapport technique et des démonstrations de bout en bout.

Le modèle fonctionne comme une seconde étape. Un programme en amont, comme un moteur de jeu ou du code écrit par un agent de programmation, applique les règles et suit ce qui se passe dans le jeu. Il produit alors une vidéo de référence grossière. EdenLive prend cette référence, part d'une première image cible et d'une consigne textuelle, et ajoute le détail par-dessus. VAST affirme que cette séparation garde la logique du jeu explicite et testable, et permet à la capacité limitée du modèle de se concentrer sur l'apparence. L'approche avait d'abord été présentée en juin, dans le cadre de Project Eden, le programme de recherche de longue haleine de l'entreprise sur les modèles du monde.

Les chiffres de vitesse sont la partie la plus frappante. VAST indique que le modèle 5B dépasse 24 images par seconde en 720p sur une seule carte graphique Nvidia RTX 5090. La page GitHub annonce environ 24,7 FPS en 1280×704 pixels, avec le framework d'accélération LightX2V. Le rapport technique indique 29,8 FPS sur une seule puce H100, le processeur de centre de données que Nvidia vend pour ce type de travail, et 26,8 FPS en 832×480 pour le modèle 14B exécuté sur huit H100. Ces chiffres viennent de VAST lui-même, et aucun benchmark indépendant n'a encore été publié. Les deux modèles reposent sur des modèles vidéo ouverts existants, Wan2.2-TI2V-5B et Wan2.1-I2V-14B.

Pour un développeur, le gain immédiat est un chemin plus court entre un prototype grossier et un rendu qui paraît fini. Un studio ou un créateur solo peut tester l'apparence d'une scène avant de réaliser ses graphismes, et les chercheurs obtiennent des poids qu'ils peuvent modifier. Les limites sont tout aussi concrètes. VAST reconnaît qu'EdenLive convient aujourd'hui aux interactions peu fréquentes, comme la visite de scènes ou les puzzles de poussée de caisses. L'action rapide et intense, la cohérence de plusieurs personnages, le contrôle fin des petits objets et la stabilité visuelle sur de longues durées restent à améliorer. Les licences fixent aussi des limites : l'encodeur de vision suit la licence DINOv3, et le modèle d'image à la base de l'atelier de création de jeux à partir d'une consigne est sous licence FLUX Non-Commercial License. Cet atelier ne peut donc servir qu'à un usage non commercial. Les équipes commerciales doivent vérifier chaque composant avant de bâtir dessus.