SafeQL di KAIST ripara gli errori SQL generati dall'IA

Una richiesta ordinaria — «Trova il prodotto più venduto dell'anno scorso» — può fermarsi alla porta del database se un assistente IA fa riferimento a un singolo elemento inesistente. A KAIST, il dottorando Geonho Lee e il professor Min-Soo Kim hanno sviluppato SafeQL, un prototipo che ripara la parte difettosa di una query generata dall'IA invece di eliminarla completamente. I risultati sono stati presentati alla conferenza VLDB di Boston, negli Stati Uniti.

Il problema riguarda il text-to-SQL, il processo di trasformazione delle domande quotidiane in SQL, il linguaggio usato dai database per recuperare informazioni. Un'IA può indicare una tabella o una colonna assente oppure collegare le tabelle in modo errato. La correzione convenzionale invia l'errore del database a un LLM — un modello linguistico di grandi dimensioni — e chiede una riscrittura completa. Questo può modificare sezioni già corrette, introdurre nuovi errori e consumare ulteriore tempo di elaborazione.

SafeQL legge il feedback del sistema di gestione del database per individuare con precisione il punto del problema: una relazione, cioè una tabella; un attributo, cioè una colonna; una funzione; oppure un valore. Cerca quindi in uno «spazio di query sicure» composto da correzioni che possono essere effettivamente eseguite sul database, privilegiando la candidata più vicina alla query originale generata dall'IA. Le opzioni inadatte vengono filtrate prima che consumino altro tempo di ricerca. Quando il perfezionamento basato sulla ricerca non riesce a risolvere l'errore entro una soglia predefinita, SafeQL richiama l'LLM.

Il team ha testato il sistema su BIRD e Spider, due benchmark per l'interrogazione dei database tramite IA. Su BIRD, SafeQL ha risolto gli errori di esecuzione nel fino all'87,4% delle query SQL inizialmente errate e ha migliorato l'accuratezza di esecuzione di fino a 5,8 punti percentuali rispetto alla baseline non perfezionata. Rispetto alla rigenerazione dell'intera query, ha ridotto il consumo di token di un fattore fino a 15,1 e la latenza di perfezionamento di un fattore fino a 29,6.

Per le aziende che gestiscono grandi volumi di richieste su vendite, clienti o inventario, il cambiamento concreto è semplice: un assistente può conservare la parte di una query che funziona e riparare quella che non funziona. Secondo il team, questo potrebbe ridurre i costi e i tempi di elaborazione dei sistemi di IA aziendali e favorire un'automazione del lavoro più affidabile. Lo studio descrive un'implementazione PostgreSQL e i risultati dei benchmark, mentre l'uso aziendale resta un'applicazione prevista, non un'implementazione già riferita; il sistema può comunque tornare a utilizzare l'LLM quando la ricerca non riesce a completare la riparazione.