Daxiao Robotics open source il modello 3D per due mani in prima persona

Le due mani si allungano verso un pezzo, poi vengono coperte per un breve istante; quando tornano nell’inquadratura, il sistema deve riuscire a collegarsi al movimento appena osservato. È proprio questo il punto in cui i video operativi in prima persona rischiano più facilmente di perdere informazioni. Daxiao Robotics, insieme al Laboratorio multimediale dell’Università cinese di Hong Kong, alla Nanyang Technological University e alla Shanghai Jiao Tong University, ha reso open source ACE-Ego-Hand, capace di analizzare l’intero video in un’unica operazione e di restituire direttamente posa, forma, visibilità e posizione 3D delle due mani. Il team ha già prodotto circa 5.000 ore di dati di addestramento.

Il suo approccio differisce da quello tradizionale. In passato, i modelli rilevavano generalmente le mani fotogramma per fotogramma oppure eseguivano una regressione temporale su finestre video; altri si affidavano a molteplici passaggi di campionamento della diffusione per generare gradualmente video o risultati a livello di pixel intermedi, prima di stimare la posa delle mani. ACE-Ego-Hand trasforma un modello di diffusione video in un encoder geometrico: l’input viene prima compresso attraverso una VAE, quindi il modello esegue un’unica propagazione in avanti nello spazio latente. Le caratteristiche spazio-temporali vengono poi estratte dal modulo Video Diffusion Transformer e affidate a un decoder spazio-temporale bidirezionale per produrre l’output.

Questo meccanismo di inferenza bidirezionale è pensato per gestire i segmenti in cui la mano scompare. Il modello non utilizza una maschera causale e non si basa soltanto sui fotogrammi già osservati: considera contemporaneamente le informazioni precedenti all’uscita della mano dal campo visivo e quelle successive alla sua ricomparsa. Le prime forniscono il punto di partenza del movimento, la velocità e la direzione; le seconde forniscono il punto di arrivo e i vincoli sulla posa. Rispetto all’estrapolazione unidirezionale dopo l’uscita dall’inquadratura, questo approccio mira a ridurre la deriva della traiettoria e a mantenere la continuità dell’identità e del movimento della mano.

Anche i cambiamenti della fotocamera sono inclusi nella progettazione. In fase di test, ACE-Ego-Hand non richiede l’inserimento esplicito dei parametri intrinseci della fotocamera, cioè dei suoi parametri geometrici; con video fisheye ultra-grandangolari nativi, non è necessario calibrare in anticipo o correggere la distorsione dell’immagine. Il modello prevede direttamente, dalle immagini distorte, i raggi di osservazione dai pixel allo spazio tridimensionale e ricostruisce la posizione 3D metrica della mano nel sistema di coordinate della fotocamera.

Secondo i risultati dei test forniti dal team, il modello raggiunge circa 63,1 fps su una singola GPU A100 (unità di elaborazione grafica), circa 33 volte la velocità della configurazione ad alta precisione di ViDiHand; può essere utilizzato per la raccolta di dati sulle operazioni nelle linee di produzione, l’insegnamento ai robot, l’analisi dei processi di assemblaggio manuale, il retargeting dei movimenti delle mani robotiche e la costruzione di dati per l’apprendimento per imitazione.