MemT 1.0 open source: memoria nell'architettura, primo nei benchmark

Con l'IA, una delle situazioni più esasperanti è anche la più familiare: passi mezza giornata a correggerla finché il compito non è fatto bene, poi apri una nuova sessione e lei ricade subito nello stesso errore. Memory Tensor ha appena presentato e rilasciato in open source MemT 1.0, un modello «a memoria nativa» pensato proprio per questo difetto. Il rapporto tecnico contiene un test che illustra bene il problema: l'utente comunica l'orario originale di una mostra, poi fissa lo spostamento a domenica, e nel frattempo accenna di sfuggita a un'ipotesi di lunedì non accolta. Dopo questo scambio, le parti hanno parlato per oltre cinquecento turni, circa 66.000 token, senza più nominare la mostra. In modalità «libro chiuso», cioè senza accesso al testo originale, il modello riporta comunque l'orario originale e quello nuovo, segnala che sede, prezzo del biglietto e referente sono rimasti invariati e distingue con chiarezza la decisione di domenica dall'alternativa di lunedì.

Questo tipo di scenario è proprio il punto debole delle soluzioni tradizionali. La maggior parte del mercato affianca al modello una memoria esterna, che archivia le conversazioni e le recupera quando serve. Secondo il rapporto, di fronte a informazioni multiversione su un arco così lungo, il recupero esterno rischia di scambiare una chiacchiera per una decisione definitiva. MemT 1.0 segue una strada diversa: divide la capacità del modello in due parti, una dorsale che porta la conoscenza generale e uno stato di memoria dinamica che evolve in tempo reale con l'interazione. Al termine di ogni turno, il modello aggiorna direttamente questa memoria a livello di token; cosa conservare e cosa sovrascrivere è deciso da un meccanismo di gating appreso in addestramento, senza riaddestrare l'intero modello. Per far stare più dettagli in una memoria di dimensione fissa, il team ha introdotto l'architettura Mixture-of-Storage, in cui diversi «esperti di memoria» gestiscono in parallelo la lettura e la scrittura dello spazio di archiviazione. Queste capacità si acquisiscono con l'allenamento: il team ha prima eseguito un pre-addestramento continuo con 20 miliardi di token, poi un post-addestramento con 14 miliardi di token, in cui un modello insegnante «secchione» assegna i punteggi all'estrazione dei ricordi.

Nei 11 test di memoria sistematici, le versioni MemT-1.0-Flash e MemT-1.0-Nano, entrambe a libro chiuso, ottengono una media rispettivamente di 50,6 e 47,0, superando di 12,5 punti e 8,9 punti i migliori baseline di memoria parametrica dello stesso gruppo. Il rapporto riporta anche due esempi più specifici: con una cronologia di circa 16.000 token, un utente chiede la propria data di nascita e il modello risponde onestamente di non saperlo, senza inventare; in una conversazione di 33.000 token, il modello si attiene a una regola stabilita molto prima, controlla badge e stato di registrazione, e stabilisce che uno dei due è in regola mentre l'altro non risulta registrato. Tutte queste cifre provengono dal rapporto tecnico dello sviluppatore e non sono ancora state replicate da un ente indipendente.

Un test ancora più concreto riguarda la programmazione reale. Il team ha prima estratto oltre mille esperienze da decine di migliaia di tracce riuscite, poi ha fatto rieseguire al modello i «punti di blocco», cioè errori, risposte vuote o operazioni ripetute inutilmente, iniettando le esperienze; su questa base ha selezionato circa 42.000 campioni per addestrare il modulo di memoria. Sui 500 compiti di SWE-bench Verified, con le esperienze caricate in anticipo, la percentuale media di successo di Nano sale da 66,07% a 69,33%, un risultato in linea con il gruppo di controllo che riceve le stesse esperienze direttamente nel contesto (68,87%). In modalità reale, il modello scrive l'esperienza solo quando incontra un errore o gira a vuoto, e raggiunge una media del 69,73%, leggermente superiore al 69,13% del gruppo con esperienze in forma testuale. Nel test SWE-bench Multilingual, che copre nove linguaggi di programmazione, Nano passa dal 60,00% al 63,56%. Anche questi confronti provengono dal rapporto dello sviluppatore.

Per le aziende, il cambiamento più immediato è che l'esperienza del team non deve più essere rispiegata di continuo. Il rapporto descrive uno scenario comune: norme di progetto e trucchi per la risoluzione dei problemi che l'ingegnere deve ripetere a ogni nuova sessione, e che quindi l'azienda paga di continuo come costo ricorrente. Nell'idea di MemT 1.0, il feedback reale dell'attività aggiorna costantemente la base di esperienze, il modello interiorizza gradualmente le norme del team, i veterani si preoccupano meno e l'IA ripete meno gli errori già noti. Anche il conto dei costi conta: in un test su due GPU con una sola richiesta alla volta, con una cronologia di 64K token, la velocità di inferenza end-to-end di Nano è circa 1,20 volte quella di un metodo con contesto completo; con una cronologia di 256K sale a circa 3,99 volte. Con una cronologia di 128K, lo stato persistente di una singola interazione occupa circa un sessantaseiesimo della cache KV completa. Il rapporto elenca anche scenari di accompagnamento a lungo termine, come cloni digitali, consulenti per la gestione delle malattie croniche e personal trainer personalizzati, ma restano ipotesi: il testo non indica alcuna tempistica di realizzazione.