MemT 1.0 abre su código: memoria integrada y liderazgo en benchmarks

Lo que más desespera al usar IA suele ser un momento muy conocido: pasas medio día corrigiendo al modelo para que haga bien la tarea, abres una sesión nueva y vuelve a caer en el mismo error. MemTensor acaba de presentar y publicar en abierto MemT 1.0, un modelo de lenguaje «con memoria nativa» diseñado precisamente para corregir ese defecto. El informe técnico incluye una prueba muy ilustrativa: el usuario primero indica la fecha original de una exposición, después confirma el cambio al domingo y, de paso, menciona una propuesta del lunes que no se llegó a aceptar. A partir de ahí, la conversación continúa durante más de quinientos turnos y unos 66.000 tokens, sin que nadie vuelva a mencionar la exposición. Aun así, el modelo, en estado de «libro cerrado», es decir, sin acceso al texto original, indica con precisión las fechas original y cambiada, y señala que el lugar, el precio de las entradas y el contacto no han variado. Además, distingue con claridad la decisión del domingo de la alternativa del lunes.

Este tipo de escenario es precisamente el punto débil de los enfoques tradicionales. La mayoría de las soluciones del mercado añaden al modelo una base de memoria externa, guardan el historial de chat y lo recuperan cuando hace falta. Según el informe, cuando la información se extiende en el tiempo y existen varias versiones, la recuperación externa puede confundir una charla intrascendente con una decisión firme. MemT 1.0 sigue otra vía: divide la capacidad del modelo en dos partes, una red troncal que aporta el conocimiento general y un estado de memoria dinámica que evoluciona con cada interacción. Al final de cada turno, el modelo actualiza directamente esa memoria a nivel de token. Qué se conserva y qué se sobrescribe lo decide un mecanismo de compuertas aprendido durante el entrenamiento, sin necesidad de reentrenar todo el modelo. Para almacenar más detalles en una memoria de tamaño fijo, el equipo también introdujo una arquitectura Mixture-of-Storage, en la que varios «expertos en memoria» gestionan por separado la lectura y la escritura del espacio de almacenamiento. Estas capacidades se adquieren con entrenamiento: el equipo empleó 20.000 millones de tokens en un preentrenamiento continuado y 14.000 millones en el posentrenamiento, donde un modelo docente de alto rendimiento puntúa la extracción de recuerdos.

En 11 pruebas de memoria sistemática, MemT-1.0-Flash y MemT-1.0-Nano obtienen, respondiendo a libro cerrado, medias de 50,6 y 47,0 respectivamente, lo que supone 12,5 puntos y 8,9 puntos por encima de los mejores modelos base comparables con memoria parametrizada. El informe incluye además dos ejemplos concretos: con un historial de unos 16.000 tokens, cuando el usuario pregunta por su fecha de cumpleaños, el modelo reconoce que no lo sabe en lugar de inventárselo; y en una conversación de 33.000 tokens, aplica una norma establecida mucho antes para revisar las credenciales y el estado de registro, y determina que una de las dos personas cumple la norma y la otra no está registrada. Todas estas cifras proceden del informe técnico del desarrollador, y todavía no hay resultados replicados por ningún organismo independiente.

La prueba más avanzada se realizó en un entorno real de programación. El equipo extrajo más de un millar de experiencias de decenas de miles de trayectorias exitosas y, cuando el modelo se encontraba en un «punto muerto» (un error, una respuesta vacía o una operación repetida sin efecto), le hizo inyectar la experiencia correspondiente y volver a ejecutar la tarea. Con ello se seleccionaron unas 42.000 muestras para entrenar el módulo de memoria. En las 500 tareas de SWE-bench Verified, al escribir la experiencia por adelantado, el éxito medio de Nano pasó del 66,07 % al 69,33 %, un resultado similar al del grupo de control que introducía esa misma experiencia directamente en el contexto (68,87 %). En modo práctico, el modelo solo escribe experiencia en el momento cuando aparece un error o cuando da vueltas sin avanzar, y alcanza una media del 69,73 %, ligeramente por encima del 69,13 % del grupo que usaba experiencia en texto. En SWE-bench Multilingual, que cubre nueve lenguajes de programación, Nano pasa del 60,00 % al 63,56 %. Estas comparativas también proceden del informe del desarrollador.

Para las empresas, el cambio más directo es que el conocimiento del equipo deja de tener que enseñarse una y otra vez. Según el informe, los estándares de un proyecto y las rutinas de depuración hay que volver a explicarlos cada vez que un ingeniero abre una nueva sesión, lo que supone un gasto recurrente. En la visión de MemT 1.0, los comentarios reales del trabajo actualizan de forma continua la base de experiencia, el modelo va interiorizando las normas del equipo y los veteranos tienen que supervisar menos a la IA, que repite menos errores. El coste también es clave: en una configuración de dos GPU y una sola concurrencia, al procesar un historial de 64K tokens, la velocidad de inferencia de extremo a extremo de Nano es aproximadamente 1,20 veces superior a la de un método con contexto completo, y con un historial de 256K llega a unas 3,99 veces. Con un historial de 128K, el almacenamiento persistente de estado por interacción ocupa aproximadamente 1/66 de la caché KV completa. El informe también menciona escenarios de acompañamiento a largo plazo, como gemelos digitales, asesores para la gestión de enfermedades crónicas o entrenadores personales personalizados, pero se presentan como una visión de futuro, sin calendario de implantación.