Hesai lancia Kosmo: spazi reali scansionati in copie modificabili

Spostare il divano contro un'altra parete, con il timore di accorgersi dopo che la posizione originale era migliore. Hesai vuole che questo passaggio avvenga prima nel computer. Il 14 ottobre, l'azienda nota per i lidar per auto ha presentato il motore di dati del mondo tridimensionale Kosmo, il cui elemento centrale è un dispositivo palmare, Kosmo One: ha le dimensioni di un DJI Pocket un po' più grande e, dopo aver scansionato una stanza, permette di ottenere una copia in cui spostare i mobili in uno spazio virtuale.

Il principio non è complicato. Il lidar (un sensore che misura le distanze con un laser) misura forma, distanza e posizione degli oggetti; un sistema di immagine CMOS da 1 pollice (cioè il sensore della fotocamera) registra colori, texture e luci e ombre. Le due informazioni vengono poi allineate per restituire lo spazio reale. Hesai afferma che la precisione geometrica è arrivata al millimetro e che permette di distinguere con chiarezza le maglie di una racchetta da tennis distanziate di circa 5 mm. La parte video supporta riprese fino a 8K, mentre la risoluzione massima dei file esportati dall'utente è di 6K. A differenza di una fotocamera normale, il dispositivo evita il più possibile l'elaborazione stilistica, conserva i colori e la luce originali del luogo e, grazie a un sistema ISP calibrato apposta per la ricostruzione tridimensionale, riduce le differenze tra fotocamere diverse e tra momenti diversi, in modo che più punti di vista formino una scena coerente. Durante la scansione, lidar, sistema di immagine e IMU ad alta precisione (unità di misura inerziale, che registra posizione e orientamento del dispositivo) sono sincronizzati con una precisione al microsecondo. Secondo i dati diffusi da Hesai, in un normale ambiente interno la scansione di circa 100 m² richiede circa 15 minuti.

Al termine della raccolta entra in gioco la piattaforma cloud Kosmo World. Usa la segmentazione semantica basata sull'IA per riconoscere gli oggetti della scena e isolarli come elementi tridimensionali modificabili in modo indipendente. Durante la presentazione, il sistema ha riconosciuto il divano a partire da un comando verbale e lo ha separato dal resto; una volta spostato, l'IA ha ricostruito in base al contesto il tappeto nascosto dietro di esso. Hesai ha inoltre mostrato un confronto: lo stesso ambiente, fotografato con 20 scatti e affidato al modello GPT-6 Astra per la ricostruzione, presentava errori nella posizione e nella forma del divano, oltre che nei materiali e nelle luci; con i dati 3DGS raccolti da Kosmo, la relazione spaziale tra gli oggetti migliora, ma restano errori nei dettagli, come la forma delle sedie o il materiale dei fiori. Secondo Hesai, i modelli generici sono come un «cervello», mentre Kosmo One fornisce gli «occhi», cioè una percezione più accurata. Questi confronti provengono dalla dimostrazione dell'azienda stessa e, al momento, non risultano test indipendenti.

La tecnologia è già entrata nei flussi di lavoro dei professionisti. Dylan Sisson, direttore creativo di RenderMan, il renderer industriale di Pixar, ha scansionato una lampada da tavolo e una scultura di palline colorate in una piazza del campus; il risultato può essere riposizionato, ridimensionato e reso più o meno trasparente nel software, e riutilizzato in diverse fasi di produzione. La società di robotica Sharpa ha invece usato Kosmo per ricreare un negozio DQ e costruire l'ambiente di addestramento dei robot: secondo Hesai, in quello spazio il tasso di successo dei robot raggiunge il 99%. Secondo TechNode, la scansione ha sostituito circa 300 ore di modellazione manuale.

Quindi, che cosa cambia per le persone comuni? Per ora non significa poterlo usare subito. Hesai non ha ancora annunciato il prezzo di vendita di Kosmo e, nel breve periodo, i privati non potranno scansionare la propria casa. Perché il sistema entri nella vita quotidiana, il dispositivo dovrà essere più portatile e il percorso dalla raccolta all'utilizzo dovrà diventare più semplice. Hesai ha dichiarato che Kosmo continuerà a evolversi e che il dispositivo di raccolta potrebbe arrivare, tramite partner, in forme diverse dalla versione palmare, così da raggiungere più contesti. Per sviluppatori e team di produzione professionali, il cambiamento più concreto è però già visibile: una sola scansione produce una scena tridimensionale riutilizzabile più volte, per il cinema come per l'addestramento dei robot.