VAST rende open source EdenLive, un modello video in tempo reale

Un personaggio congela una pozza di lava per trovare un appoggio, e lo stesso salto, ripreso come un bozzetto grigio e grezzo, torna come una scena dettagliata. È il tipo di dimostrazione che VAST ha presentato agli sviluppatori in questa settimana. L'azienda, dietro la piattaforma Tripo, ha reso open source EdenLive, un modello in tempo reale che prende filmati di gioco semplificati o un video esistente e lo ridisegna fotogramma per fotogramma in uno stile scelto, dal fotorealistico all'anime. La versione comprende i pesi dei modelli da 5B e 14B, il codice di inferenza in tempo reale in streaming, un rapporto tecnico e demo end-to-end.

Il modello funziona come una seconda fase. Un programma a monte, come un motore di gioco o un codice scritto da un agente di programmazione, applica le regole e tiene traccia di ciò che accade nel gioco. Poi produce un video di riferimento approssimativo. EdenLive prende quel riferimento, parte da un primo fotogramma di destinazione e da un prompt testuale, e aggiunge il dettaglio sopra. VAST afferma che questa suddivisione mantiene la logica di gioco esplicita e verificabile, e permette di concentrare la capacità limitata del modello sull'aspetto delle cose. L'approccio è stato presentato per la prima volta a giugno, nell'ambito di Project Eden, la ricerca di lungo corso dell'azienda sui modelli del mondo.

La parte più sorprendente riguarda la velocità. VAST riferisce che il modello da 5B supera i 24 fotogrammi al secondo a 720p su una sola scheda grafica Nvidia RTX 5090. La pagina GitHub indica circa 24,7 FPS a 1280×704 pixel, con il framework di accelerazione LightX2V. Il rapporto tecnico riporta 29,8 FPS su un solo chip H100, il processore per data center che Nvidia vende per questo tipo di lavoro, e 26,8 FPS a 832×480 per il modello da 14B che gira su otto H100. Questi numeri provengono dalla stessa VAST e non è ancora stato pubblicato alcun benchmark indipendente. I due modelli si basano su modelli video aperti esistenti, Wan2.2-TI2V-5B e Wan2.1-I2V-14B.

Per uno sviluppatore, il vantaggio immediato è un percorso più breve dal prototipo grezzo a qualcosa che sembri finito. Uno studio o un creatore indipendente potrebbe testare l'aspetto di una scena prima di realizzarne la grafica, e i ricercatori ottengono pesi che possono modificare. I limiti sono altrettanto concreti. VAST sostiene che EdenLive si adatta attualmente a interazioni a bassa frequenza, come l'esplorazione di scene o i puzzle con spostamento di casse. Il gioco rapido e intenso, il mantenimento della coerenza di più personaggi, il controllo fine di oggetti piccoli e la coerenza visiva nelle sessioni lunghe richiedono ancora lavoro. Anche le licenze pongono un confine: l'encoder visivo segue la licenza DINOv3, e il modello di immagini alla base dello strumento di creazione di giochi da prompt è sotto la FLUX Non-Commercial License, quindi quello strumento è destinato al solo uso non commerciale. I team commerciali devono verificare ciascun componente prima di costruirci sopra.