Programmeerijad saavad kasutada suuri keelemudeleid (LLMs), et kiiremini luua arvutikoodi, kuid see on kasulik ainult siis, kui kood vastab programmeerimiskeele reeglitele ja töötab veatult. Eksisteerivad meetodid, kuidas tagada, et LLM-i genereeritud kood järgib keele reegleid, sageli moonutavad mudeli kavandatud tähendust või on liiga aeglased keerukate ülesannete jaoks. MIT-i ja teiste institutsioonide teadlased on välja töötanud uue lähenemisviisi, mis juhendab automaatselt LLM-i tootma veatuid ja reeglitele vastavaid tekste – näiteks koodi kindlas programmeerimiskeeles. Nende meetod jaotab tõenäoliselt kõige usaldusväärsemad ja täpsemad väljundid rohkem püüdlusi, visates vähem lootustandevad välja varakult, parandades seega arvutustõhusust. Tänu nende tõhususe suurenemisele võimaldas teadlaste arhitektuur väiksematel LLM-del ületada palju suuremaid mudeleid täpse ja hästi struktureeritud väljundi genereerimisel reaalmaailma rakendustes nagu molekulaarbioloogia ja robottehnika. Tulevikus võiks see lähenemisviis anda võimaluse ka mittetehnilisteks kasutajateks kontrollida tehisintellekti loodud sisu; näiteks võiksid ärijuhid kirjutada keerukaid SQL-andmebaasi päringuid lihtsalt loomuliku keele käsundi abil. MIT-i lõpetaja ja kaasautor João Loula märkis: „See töö võib avaldada mõju ka muul moel kui teadustöös. Selles võiks paraneda programmeerimisabiliste, tehisintellekti juhitud andmeanalüüsi ja teaduslike avastustööriistade töökus, tagades, et AI väljundid püsivad kasutatavad ja õiged. ” Rahvusvaheline meeskond koosneb ka kaasautoritest Benjamin LeBrun (Mila), Li Du (Johns Hopkins), ning vanemautoritest Vikash Mansinghka (MIT), Alexander K. Lew (Yale), Tim Vieira (ETH Zurich) ja Timothy J. O’Donnell (McGill/Mila) ning teistest. Nende uuringut tutvustatakse rahvusvahelisel õppeteooriate konverentsil. **Struktuuri ja tähenduse kiire järgimine** Üks levinud meetod struktureeritud teksti genereerimise kontrollimiseks on kogu väljundi (näiteks koodi) kehtivuse kontrollimine; kui see ebaõnnestub, peab kasutaja uuesti alustama, mis suurendab arvutuslikke kulusid.

Alternatiivina võib kontrollida väljundit järk-järgult, kuid ühekaupa parandades riskitakse algse kavatsuse põhja minekuga, mis kahjustab täpsust. „Struktuuri järgimine on lihtsam kui tähenduse kontrollimine, ” selgitas Loula. „Saame kiiresti kontrollida, kas väljund järgib programmeerimiskeelt, kuid tähenduse kontrollimine nõuab koodi käivitamist. Meie töö käsitleb mõlema tüübi infovahetust. ” Teadlased lisavad LLM-ile ekspertteadmist, et suunata seda tootma väljundeid, mis tõenäoliselt vastavad struktuurieeskirjadele ja peegeldavad kavandatud tähendust. „Me ei treeni uut LLM-i, vaid insenerime ekspertteadmise ning olemasoleva teadmuse kombineerimisega, ” selgitas Mansinghka, võrreldes nende meetodit traditsiooniliste sügava õppimise mõõtmise lähenemistega. Nad kasutavad järjestikuseid Monte Carlo meetodeid, mis võimaldavad LLM-il teha mitu paralleelset genereerimist, mis konkureerivad omavahel. Väljundid saavad kaalud, mis kvantifitseerivad nende struktuurile ja semantilisele õigsusele kõige tõenäolisemaid; mudel keskendub kõrgema kaaluga väljunditele, visates ülejäänud välja järk-järgult. Põhimõtteliselt töötab LLM koos eksperdiga, kes jälgib selle valikuid, tagamaks, et tulemus vastab kasutaja määratud struktuurile ja tähendusele, juhendatuna kasutaja määratud kontrollimeetoditega. „Oleme arendanud matemaatika nii, et iga piirangu puhul saadakse õige kaalumine, mis tagab õige lõpptulemuse, ” lisas Loula. **Väikeste mudelite tugevdamine** Meetodi katsetamisel ülesannetes, milleks olid näiteks Python-koodide kirjutamine, SQL-päringute loomine, molekulaarkonstruktsioonide kujundamine ja roboti planeerimine, osutus meetod täpsemaks ja arvutuslikult tõhusamaks kui olemasolevad tehnikad. Näiteks väike avatud lähtekoodiga Python-mudel ületas kaubandusliku mudeli, mis oli rohkem kui kaks korda suurem. „Meil on hea meel, et suudame väikestel mudelitel üle esineda, ” ütles Loula. Tulevikus soovivad teadlased kontrollida suuremaid teksti osasid kui vaid väikeseid, ning integreerida õppimist, et mudelid saaksid selle juhendatud väljundite kontrolli kaudu täpsust parandada. Nende lähenemine võib aidata ka mittechfektiivsete kasutajate tööriistade loomisel, kombineerides automaatset andmemudelite ja päringute loomist genriivne andmebaasimudel. Mansinghka ette näeb masinaga abistatud andmeanalüüsi, kus kasutajad suhtlevad tarkvaraga, mis täpselt modelleerib andmete tähendust ja kasutajaküsimusi. O’Donnell lisas: „Sõnade ümberkujundamine seostatud tõenäosusjaotusteks spetsiifilistes sümboolsetes valdkondades on väike, kuid oluline samm sügavama keele- ja kognitiiviteadusliku väljakutse lahendamisel, kuidas masinad suhtlevad maailmaga. ” Selle uuringu rahastavad osaliselt Kanada CIFAR AI eraldivahetussüsteem, MIT Questi intellektinõu ja Convergent Research.