IA da KAIST recupera imagens de satélite cobertas por nuvens

Um satélite observa uma cidade sob um manto cinzento de nuvens, e o terreno por baixo simplesmente desaparece. É este o problema quotidiano que a equipa da KAIST se propôs resolver. As imagens ópticas registam a luz solar refletida pela superfície da Terra, pelo que nuvens espessas ou a escuridão apagam o que está por baixo. O radar conseguiria ver através de ambas, mas as suas imagens, construídas a partir de ondas de rádio refletidas pelo solo, diferem tanto em luminosidade e padrão das fotografias comuns que são difíceis de ler.

A equipa de investigação, liderada pelo professor Munchurl Kim, da Escola de Engenharia Elétrica da KAIST, construiu o GeoCore-9B para resolver os dois problemas com um único modelo. O seu componente principal de geração de imagens ajusta cerca de 9 mil milhões de parâmetros, os valores internos que são afinados durante o treino. O modelo é pré-treinado com grande volume de dados de satélite e depois adaptado a tarefas específicas, razão pela qual é classificado como «modelo fundacional», uma base sobre a qual podem ser construídas muitas aplicações. Em vez de reutilizar um componente concebido para produzir fotografias do dia a dia, a equipa treinou um novo modelo de raiz com vistas aéreas de terrenos, florestas, portos e cidades.

A parte invulgar está nos dados de treino. A equipa utilizou 10 milhões de pares de imagens de satélite e descrições escritas, como um porto com navios e armazéns, ou uma paisagem rural com uma estrada a atravessar campos. Forneceram também ao modelo a latitude, a longitude e a distância de amostragem no terreno, ou seja, a dimensão do solo coberto por um pixel. Os investigadores observam que uma forma, por si só, não diz se se trata de um edifício pequeno ou de uma grande fábrica, pelo que o modelo tem de saber onde e a que escala foi captada a imagem. Num exemplo, uma imagem com 256 pixels de largura cobre cerca de 256 metros a 1 metro por pixel, e cerca de 8,2 quilómetros a 32 metros por pixel. Uma técnica adicional, chamada alinhamento semântico geoespacial (Geospatial Semantic Alignment), utiliza, durante o treino, características extraídas de uma IA especializada em imagens de satélite para ajudar o modelo a aprender como as estradas se ligam e onde se situam os limites das explorações agrícolas; esse auxiliar não é utilizado quando as imagens são geradas.

O modelo foi depois ajustado separadamente para duas tarefas: remoção de nuvens e conversão de imagens de radar em vistas semelhantes a fotografias. O pré-print, publicado no arXiv, apresenta estas como as capacidades do modelo. Os dados disponíveis para este artigo não incluem indicadores quantitativos de desempenho para nenhuma das tarefas, e o trabalho não foi publicado numa revista com revisão por pares. As suas ilustrações são conceptuais e não mostram uma rede de satélites em funcionamento.

O que muda se isto se confirmar? Para as equipas de resposta a catástrofes, uma vista sem nuvens de um vale inundado ou de uma floresta em chamas tem um valor enorme, e uma imagem de radar que se assemelha a uma fotografia pode ser lida por pessoas que não são especialistas em radar. Os autores preveem uma utilização mais ampla dos dados de satélite na resposta a catástrofes e na monitorização ambiental. Não foi anunciada nenhuma data, parceiro ou produto: por agora, o ganho é uma linha de investigação, que terá de ser testada de forma independente com dados reais de satélite antes de poder ser fiável.