MemT 1.0 em código aberto: memória integrada e liderança nos testes

Uma das situações que mais frustram quem usa IA é um momento bem conhecido: passar meia manhã a corrigi-la até a tarefa ficar bem feita, abrir uma nova conversa e vê-la voltar a cair na mesma armadilha. A Memory Tensor acaba de lançar e abrir o código do MemT 1.0, um grande modelo de linguagem de «memória nativa» concebido precisamente para este defeito. O relatório técnico tem um teste que ilustra bem o problema: o utilizador indica primeiro a data original de uma exposição, depois fica decidida a remarcação para domingo, e pelo meio menciona uma proposta de segunda-feira que não foi aceite. A partir daí, as duas partes conversam durante mais de quinhentas rodadas, cerca de 66 000 tokens, e a exposição nunca mais é referida. Em modo de «livro fechado», sem qualquer acesso ao texto original, o modelo continua a indicar corretamente a data original e a remarcada, assinala que o local, o preço dos bilhetes e o contacto não mudaram e distingue claramente a decisão de domingo da alternativa de segunda-feira.

Este tipo de cenário é o ponto fraco das soluções tradicionais. A maioria do mercado acrescenta ao modelo uma base de memória externa, guarda os registos de conversa e recupera-os quando são precisos. Segundo o relatório, quando a informação se estende por tantas versões ao longo de um percurso tão longo, a recuperação externa pode facilmente confundir uma conversa de circunstância com uma decisão final. O MemT 1.0 segue outra via: divide a capacidade do modelo em dois blocos, uma rede principal que concentra o conhecimento geral e um estado de memória dinâmico que evolui em tempo real com a interação. No fim de cada rodada, o modelo atualiza diretamente essa memória ao nível do token: o que fica e o que é substituído é decidido por um mecanismo de portas aprendido durante o treino, sem que seja preciso voltar a treinar todo o modelo. Para caber mais pormenores num espaço de memória de tamanho fixo, a equipa introduziu ainda uma arquitetura Mixture-of-Storage, em que vários «especialistas em memória» gerem separadamente a leitura e a escrita do espaço de armazenamento. Estas capacidades são adquiridas por treino: a equipa começou com 20 mil milhões de tokens de pré-treino contínuo e continuou com 14 mil milhões de tokens de pós-treino, em que um modelo «professor» de topo atribui notas à extração de memória.

Nos 11 testes de memória sistemática, que cobrem retenção de longo prazo, atualização dinâmica e compreensão personalizada, com históricos que vão de 16K a um milhão de tokens, as versões MemT-1.0-Flash e MemT-1.0-Nano, respondendo de livro fechado, atingem médias de 50,6 e 47,0, à frente das melhores bases de memória paramétrica do mesmo grupo em 12,5 pontos e 8,9 pontos. O relatório apresenta ainda dois exemplos mais concretos: num histórico de cerca de 16 mil tokens, quando o utilizador pergunta pela própria data de aniversário, o modelo responde com franqueza que não sabe, sem inventar; numa conversa de 33 mil tokens, o modelo verifica o crachá e o estado de registo com base numa regra definida há muito tempo e conclui que uma das duas pessoas cumpre a regra e a outra não está registada. Todos estes números provêm do relatório técnico da própria equipa e, para já, não há resultados de reprodução por instituições independentes.

O teste mais avançado foi feito em programação real. A equipa começou por extrair de dezenas de milhares de trajetos bem-sucedidos mais de mil experiências e depois fez o modelo injetá-las quando encontrava erros, respostas vazias ou operações repetidas sem efeito, voltando a executar a tarefa. Com isso filtrou cerca de 42 000 exemplos para treinar o módulo de memória. No conjunto de 500 tarefas do SWE-bench Verified, com a experiência escrita antecipadamente, a taxa média de sucesso do Nano subiu de 66,07% para 69,33%, valor próximo do grupo de controlo que recebia a mesma experiência diretamente no contexto (68,87%). No modo de prática real, em que o modelo só escreve experiência quando há erro ou quando anda às voltas, a taxa média atinge 69,73%, ligeiramente acima dos 69,13% do grupo com experiência em texto. No SWE-bench Multilingual, que abrange nove linguagens de programação, o Nano passou de 60,00% para 63,56%. Estas comparações também provêm do relatório da própria equipa.

Para as empresas, a mudança mais direta é que a experiência da equipa deixa de ter de ser ensinada várias vezes. O relatório descreve o cenário: normas do projeto e métodos de resolução de erros têm de ser explicados de novo a cada nova sessão, o que significa que a empresa está a pagar continuamente um custo repetido. Na visão do MemT 1.0, o feedback real do negócio atualiza continuamente a base de experiência, e o modelo vai interiorizando as normas da equipa: os profissionais experientes preocupam-se menos e a IA tropeça menos em armadilhas já conhecidas. A conta dos custos também é relevante: em condições de teste com duas GPU e uma única concorrência, ao processar históricos de 64K tokens, a velocidade de inferência ponta a ponta do Nano é cerca de 1,20 vezes superior à de uma solução com contexto completo; com um histórico de 256K, sobe para cerca de 3,99 vezes. Com um histórico de 128K, o armazenamento persistente de estado de cada interação equivale a cerca de um sessenta e seis avos da cache KV completa. O relatório apresenta ainda cenários de companhia de longo prazo, como gémeos digitais, consultores de gestão de doenças crónicas e personal trainers personalizados, mas estes continuam a ser visões e o texto não apresenta qualquer calendário de implementação.