VAST publica EdenLive, un modelo de vídeo en tiempo real

Un personaje congela un charco de lava para apoyarse, y el mismo salto, filmado como un boceto gris y tosco, reaparece como una escena detallada. Es el tipo de demostración que VAST presentó esta semana ante desarrolladores. La empresa, detrás de la plataforma Tripo, ha publicado en código abierto EdenLive, un modelo en tiempo real que toma imágenes de juego simplificadas o un vídeo existente y lo vuelve a renderizar fotograma a fotograma en el estilo elegido, desde el fotorrealista hasta el anime. La publicación incluye los pesos de los modelos de 5B y 14B, código de inferencia en tiempo real, un informe técnico y demostraciones de principio a fin.
El modelo funciona como una segunda etapa. Un programa previo, como un motor de juego o código escrito por un agente de programación, ejecuta las reglas y registra lo que ocurre en el juego. Después produce un vídeo de referencia tosco. EdenLive toma esa referencia, parte de un primer fotograma objetivo y un texto de instrucción, y añade el detalle encima. VAST afirma que esta separación mantiene la lógica del juego explícita y comprobable, y permite que la capacidad limitada del modelo se centre en el aspecto visual. El enfoque se presentó por primera vez en junio, como parte de Project Eden, el esfuerzo de investigación de la empresa sobre modelos del mundo, de más largo recorrido.
Las cifras de velocidad son lo más llamativo. VAST indica que el modelo de 5B supera los 24 fotogramas por segundo a 720p en una única tarjeta gráfica Nvidia RTX 5090. La página de GitHub señala unos 24,7 FPS a 1280×704 píxeles, con el marco de aceleración LightX2V. El informe técnico recoge 29,8 FPS en un chip H100, el procesador de centro de datos que Nvidia vende para este tipo de trabajo, y 26,8 FPS a 832×480 para el modelo de 14B ejecutado en ocho H100. Estas cifras proceden de la propia VAST, y todavía no se ha publicado ningún benchmark independiente. Los dos modelos se basan en modelos de vídeo abiertos existentes, Wan2.2-TI2V-5B y Wan2.1-I2V-14B.
Para un desarrollador, la ventaja inmediata es un camino más corto desde un prototipo tosco hasta algo que parezca terminado. Un estudio o un creador independiente podría probar el aspecto de una escena antes de construir su arte, y los investigadores obtienen pesos que pueden modificar. Los límites son igual de concretos. VAST dice que EdenLive se adapta actualmente a interacciones de baja frecuencia, como recorridos por escenarios o puzles de empujar cajas. La jugabilidad rápida e intensa, mantener varios personajes coherentes, el control fino de objetos pequeños y la coherencia visual en ejecuciones largas todavía requieren trabajo. Las licencias también marcan una línea: el codificador de visión sigue la licencia de DINOv3, y el modelo de imagen detrás del entorno de trabajo de texto a juego está bajo la FLUX Non-Commercial License, así que ese entorno solo es para uso no comercial. Los equipos comerciales deben revisar cada componente antes de construir sobre él.
Comentarios
Cargando el hilo…
Inicia sesión para escribir un comentario. Iniciar sesión