I programmatori possono utilizzare grandi modelli linguistici (LLMs) per generare codice informatico più velocemente, ma ciò è utile solo se il codice rispetta le regole del linguaggio di programmazione e funziona senza errori. I metodi esistenti per garantire che il codice generato dagli LLM segua le regole del linguaggio spesso distorcono il significato previsto dal modello o sono troppo lenti per compiti complessi. Ricercatori del MIT e di altre istituzioni hanno sviluppato un nuovo approccio che guida automaticamente un LLM a produrre testi privi di errori e conformi alle regole, come ad esempio codice in un linguaggio di programmazione specifico. Il loro metodo assegna probabilisticamente più impegno a quegli output più probabili di essere validi e precisi, eliminando precocemente quelli meno promettenti, migliorando così l’efficienza computazionale. Grazie a questi miglioramenti in termini di efficienza, l’architettura sviluppata dai ricercatori ha permesso a modelli più piccoli di superare molto modelli più grandi nella generazione di output accurati e ben strutturati in applicazioni reali come la biologia molecolare e la robotica. In futuro, questo approccio potrebbe consentire anche a chi non è esperto di controllare i contenuti generati dall’IA; ad esempio, imprenditori potrebbero scrivere facilmente query complesse in SQL semplicemente usando istruzioni in linguaggio naturale. João Loula, uno studente del MIT e co-autore principale, osserva: “Questo lavoro ha implicazioni oltre la ricerca. Potrebbe migliorare assistenti di programmazione, analisi dei dati guidate dall’IA e strumenti di scoperta scientifica, garantendo che i risultati dell’IA rimangano utili e corretti. ” Il team internazionale include anche i co-autori principali Benjamin LeBrun (Mila), Li Du (Johns Hopkins) e i co-senior autori Vikash Mansinghka (MIT), Alexander K. Lew (Yale), Tim Vieira (ETH Zurich), e Timothy J. O’Donnell (McGill/Mila), tra altri. La loro ricerca sarà presentata alla Conferenza Internazionale sulle Rappresentazioni dell’Apprendimento. **Imposizione di Struttura e Significato** Un metodo comune per controllare la generazione di testo strutturato consiste nel verificare l’intero output (ad esempio, il codice) per assicurarne la validità; se fallisce, bisogna ricominciare, aumentando i costi computazionali.

In alternativa, si può verificare l’output passo dopo passo, ma correggerlo a ogni fase rischia di allontanarsi dall’intento originale, compromettendo la precisione. “È più facile imporre la struttura che il significato, ” spiega Loula. “Possiamo controllare rapidamente se l’output segue le regole di un linguaggio di programmazione, ma verificare il significato richiede l’esecuzione del codice. Il nostro lavoro affronta entrambi i tipi di informazione. ” I ricercatori integrano conoscenze esperte nel modello LLM per indirizzarlo verso output che probabilmente soddisfano i vincoli strutturali e riflettono il significato voluto. “Non stiamo addestrando di nuovo l’LLM, ma ingegnerizzando conoscenze esperte da combinare con le conoscenze già presenti nel modello, ” afferma Mansinghka, distinguendo il loro metodo dagli approcci tradizionali di scalabilità del deep learning. Usano tecniche di Monte Carlo sequenziale, che permettono a molte generazioni parallele da parte dell’LLM di competere tra loro. Gli output vengono assegnati di peso, che quantifica la probabilità che siano corretti dal punto di vista strutturale e semantico; il modello si concentra sugli output con punteggi più alti, eliminando progressivamente gli altri. Essenzialmente, l’LLM lavora con un esperto che supervisiona le sue scelte per mantenere l’allineamento con la struttura e il significato richiesti dall’utente, guidato da procedure di verifica fornite dall’utente stesso. “Abbiamo sviluppato una matematica che assicura, per qualsiasi vincolo, un corretto ponderamento, garantendo che gli output finali siano corretti, ” aggiunge Loula. **Potenziare i Modelli di Piccole Dimensioni** Testando il framework su compiti come la programmazione in Python, la generazione di query SQL, la progettazione di strutture molecolari e la pianificazione robotica, il metodo si è dimostrato più accurato e più efficiente rispetto alle tecniche esistenti. Ad esempio, un modello Python open-source di piccole dimensioni ha superato di più del doppio un modello commerciale di dimensioni maggiori. “Siamo entusiasti di aiutare i modelli piccoli a ottenere risultati superiori alle loro aspettative, ” commenta Loula. Guardando al futuro, i ricercatori mirano a controllare segmenti più grandi di testo generato, invece di piccoli pezzi, e a integrare l’apprendimento affinché i modelli migliorino la precisione grazie a questo controllo guidato sull’output. Il loro approccio può aiutare utenti non tecnici, combinandosi con modelli generativi di database per la modellazione e l’interrogazione automatizzata dei dati. Mansinghka immagina un’analisi dei dati assistita dal computer, in cui gli utenti dialogano con un software che modella con precisione il significato dei dati e le query degli utenti. O’Donnell aggiunge: “Mappare le parole a distribuzioni di significati ancorati in domini simbolici ristretti è un piccolo ma importante passo verso la risoluzione di sfide più profonde di linguistica e scienze cognitive riguardo al modo in cui le macchine comunicano con il mondo. ” Questa ricerca è supportata in parte dal Canada CIFAR AI Chairs Program, da MIT Quest for Intelligence e da Convergent Research.