Une IA du KAIST rétablit les images satellite masquées, en préprint

Un satellite survole une ville sous un couvercle gris de nuages, et le sol en dessous a tout simplement disparu. C'est le problème courant que l'équipe du KAIST a voulu résoudre. Les images optiques enregistrent la lumière solaire réfléchie par la surface terrestre : un épais couvert nuageux ou l'obscurité efface donc ce qui se trouve dessous. Le radar pourrait traverser ces obstacles, mais ses images, construites à partir d'ondes radio renvoyées par le sol, diffèrent tellement des photographies ordinaires en luminosité et en motifs qu'elles sont difficiles à lire.

L'équipe de recherche, dirigée par le professeur Munchurl Kim, de l'École de génie électrique du KAIST, a conçu GeoCore-9B pour traiter ces deux problèmes avec un seul modèle. Son composant central de génération d'images ajuste environ 9 milliards de paramètres, c'est-à-dire les valeurs internes qu'il règle pendant l'entraînement. Le modèle est préentraîné sur un grand volume de données satellitaires, puis adapté à des tâches précises, ce qui explique qu'il soit classé comme « modèle de fondation », une base sur laquelle de nombreuses applications peuvent être construites. Plutôt que d'emprunter un composant conçu pour produire des photos ordinaires, l'équipe a entraîné un nouveau modèle à partir de zéro, sur des vues aériennes de terrains, de forêts, de ports et de villes.

Les données d'entraînement ont quelque chose d'inhabituel. L'équipe a utilisé 10 millions de paires d'images satellite et de descriptions écrites, par exemple un port avec des navires et des entrepôts, ou une scène rurale avec une route qui serpente entre les champs. Elle a également fourni au modèle la latitude, la longitude et la distance d'échantillonnage au sol, c'est-à-dire la taille du terrain couvert par un pixel. Les chercheurs soulignent qu'une forme ne suffit pas à dire s'il s'agit d'un petit bâtiment ou d'une grande usine : le modèle doit donc savoir où et à quelle échelle une image a été prise. Dans un exemple, une image de 256 pixels de large couvre environ 256 mètres à raison de 1 mètre par pixel, et environ 8,2 kilomètres à raison de 32 mètres par pixel. Une autre technique, appelée alignement sémantique géospatial, utilise pendant l'entraînement les caractéristiques d'une IA spécialisée dans l'imagerie satellite, afin d'aider le modèle à apprendre comment les routes se relient et où se situent les limites des exploitations agricoles ; cette aide n'intervient pas lors de la génération des images.

Le modèle a ensuite été affiné séparément pour deux tâches : supprimer les nuages et convertir des images radar en vues proches de photographies. Le préprint, publié sur arXiv, présente ces capacités comme celles du modèle. Les données disponibles pour cet article ne comprennent pas de mesures quantitatives comparatives pour l'une ou l'autre tâche, et les travaux n'ont pas été publiés dans une revue à comité de lecture. Leurs illustrations sont conceptuelles et ne montrent pas un réseau satellitaire en service.

Que changerait la validation de ces résultats ? Pour les équipes chargées des catastrophes, une vue sans nuages d'une vallée inondée ou d'une forêt en feu a une grande valeur, et une image radar qui ressemble à une photographie peut être lue par des personnes qui ne sont pas spécialistes du radar. Les auteurs anticipent un usage plus large des données satellitaires dans la gestion des catastrophes et la surveillance environnementale. Aucune date, aucun partenaire ni aucun produit n'a été annoncé : pour l'instant, le gain est une piste de recherche, qui devra être testée de manière indépendante sur de vraies données satellitaires avant que quiconque puisse s'y fier.