VAST abre o código do EdenLive, modelo de vídeo em tempo real

Uma personagem congela uma poça de lava para criar um apoio, e o mesmo salto, filmado como um esboço cinzento e grosseiro, volta como uma cena detalhada. É esse o tipo de demonstração que a VAST apresentou esta semana aos programadores. A empresa, por trás da plataforma Tripo, disponibilizou em open source o EdenLive, um modelo em tempo real que recebe imagens de jogo simplificadas ou um vídeo existente e as volta a renderizar fotograma a fotograma, no estilo escolhido, do fotorrealista ao anime. A publicação inclui os pesos dos modelos de 5B e 14B, código de inferência em tempo real por streaming, um relatório técnico e demonstrações de ponta a ponta.

O modelo funciona como uma segunda etapa. Um programa a montante, como um motor de jogo ou código escrito por um agente de programação, executa as regras e acompanha o que se passa no jogo. Depois produz um vídeo de referência grosseiro. O EdenLive recebe essa referência, parte de um primeiro fotograma-alvo e de um texto de instrução, e acrescenta o detalhe por cima. A VAST afirma que esta divisão mantém a lógica do jogo explícita e testável, e permite que a capacidade limitada do modelo se concentre no aspeto visual. A abordagem foi apresentada pela primeira vez em junho, no âmbito do Project Eden, o programa de investigação de mais longa duração da empresa sobre modelos de mundo.

Os números de velocidade são a parte mais notável. A VAST indica que o modelo de 5B corre acima de 24 fotogramas por segundo em 720p numa única placa gráfica Nvidia RTX 5090. A página do GitHub aponta cerca de 24,7 FPS em 1280×704 pixels, com a framework de aceleração LightX2V. O relatório técnico indica 29,8 FPS num único chip H100, o processador para centros de dados que a Nvidia vende para este tipo de trabalho, e 26,8 FPS em 832×480 para o modelo de 14B a correr em oito H100. Estes números vêm da própria VAST, e ainda não foi publicado nenhum teste independente. Os dois modelos assentam em modelos de vídeo abertos já existentes, o Wan2.2-TI2V-5B e o Wan2.1-I2V-14B.

Para um programador, o ganho imediato é um caminho mais curto desde um protótipo grosseiro até algo com aspeto acabado. Um estúdio ou um criador a solo pode testar o visual de uma cena antes de construir a sua arte, e os investigadores ficam com pesos que podem modificar. Os limites são igualmente concretos. A VAST diz que o EdenLive se adapta, por enquanto, a interações de baixa frequência, como percursos por cenas ou puzzles de empurrar caixas. A ação rápida e intensa, a manutenção da consistência de várias personagens, o controlo fino de objetos pequenos e a consistência visual em execuções longas ainda precisam de trabalho. As licenças também traçam uma linha: o codificador de visão segue a licença do DINOv3, e o modelo de imagem por trás da bancada de jogos gerada a partir de texto está sob a FLUX Non-Commercial License, pelo que essa bancada é apenas para uso não comercial. As equipas comerciais devem verificar cada componente antes de construir sobre ele.