プログラマーは大規模言語モデル（LLM）を活用してコンピューターコードをより速く生成できるが、その効果を発揮するためには、コードがプログラミング言語の規則に従いエラーなく動作することが必要である。既存の方法では、LLMが生成したコードが言語ルールを守っていることを保証しようとすると、モデルの本来の意味が歪められたり、複雑なタスクには時間がかかりすぎたりすることが多い。 MITや他の研究機関の研究者たちは、新たなアプローチを開発し、エラーのないルール遵守の文章（例えば特定のプログラミング言語のコード）を自動的に導き出すことができる方法を確立した。この方法は、確率的に最も有効で正確な出力により多くの努力を割き、可能性の低い出力を早い段階で排除することで、計算効率を向上させている。 この効率化により、研究者たちの提案するアーキテクチャは、小さなLLMでも、巨大なモデルに匹敵する精度と構造化された出力を実現できるようになった。これにより、分子生物学やロボット工学などの実世界のアプリケーションにおいても、非専門家がAI生成コンテンツを制御できる可能性が広がった。例えば、ビジネスパーソンが自然言語のプロンプトだけで複雑なSQLデータベースクエリを書けるようになると期待されている。 MIT大学院生で共同リード著者のジョアン・ロウラは、「この研究は単なる研究の範囲を超えている。AI出力の有用性と正確性を維持しながら、プログラミングアシスタントやAI駆動のデータ解析、科学的発見ツールの性能を向上させる可能性がある」と述べている。国際的なチームには、共同リード著者のベンジャミン・ルブラン（Mila）、リ・ドゥ（ジョンズ・ホプキンス）、共同シニア著者のヴィカシュ・マッシンガ（MIT）、アレクサンダー・K・ルー（ Yale）、ティム・ヴィエラ（ETHチューリッヒ）、ティモシー・J・オドネル（マギル/ Mila）なども含まれている。彼らの研究は、「国際学習表現会議（ICLR）」で発表される予定だ。 **構造と意味を確保する手法** 構造化された文章生成をコントロールする一般的な方法には、生成された全体（例：コード）の妥当性を検証するやり方がある。もし不正であれば、ユーザーは再生成を行わなければならず、これが計算コストを増加させる。別の方法として、出力の途中を段階的に検証しながら修正する手法もあるが、これでは意図から逸脱したり、正確性を損なったりするリスクがある。 ロウラは、「構造の維持は意味の維持より容易だ」と説明する。「私たちは、出力がプログラミング言語に従っているかどうかを素早くチェックできるが、意味の正しさを確認するにはコードを実行する必要がある。私たちの研究は、両者を扱う方法に取り組んでいる」と語る。研究者たちは、専門知識をLLMに埋め込み、その出力が構造的な制約を満たし、意図した意味を反映している可能性を高める工夫をした。 「私たちは、新たにLLMをトレーニングしているわけではなく、専門知識と既存の知識を組み合わせたエンジニアリングだ」とマッシンガは述べ、従来の深層学習のスケーリング手法とは異なることを強調している。 彼らはシーケンシャル・モンテカルロ法を用いて、複数の並列生成を可能にし、それらの出力に構造的・意味的整合性を示す重みを付与した。モデルは高い重みの付いた出力に集中し、それ以外は段階的に排除していく。要は、LLMには、その選択を監督する専門家が付き添い、ユーザーの指定した構造と意味に合った出力を出すよう導いているのだ。これにより、「あらゆる制約条件に対して適切に重み付けを行える」とロウラは付け加えた。 **小規模モデルの性能向上** この枠組みをPythonコード作成やSQLクエリ生成、分子構造設計、ロボットの計画といったタスクでテストしたところ、既存の手法よりも正確さと計算効率で上回る結果が得られた。例えば、小規模なオープンソースのPythonモデルは、商用の大型モデルを２倍以上上回る性能を示した。 「小さなモデルでも高い性能を発揮できることにワクワクしている」とロウラは語る。 今後は、生成される文章の一部分だけでなく、より大きな範囲のコントロールや、学習を取り入れてモデルの精度向上を図ることを目指している。さらに、このアプローチは、非専門家にも有用な支援となり、生成的なデータモデリングやクエリが可能なデータベースモデルと連携させることも期待されている。 マッシンガは「機械支援によるデータ分析や、ユーザーと精密に意味情報をマッピングするソフトウェアとの対話」を描き、オドネルは「言葉を狭い記号領域の基底となる意味の分布にマッピングして理解させることは、機械が世界についてどのようにコミュニケーションを取るかについての深い言語学・認知科学的課題への一歩だ」と述べている。 この研究には、カナダCIFAR AIチェアプログラム、MITのQuest for Intelligence、Convergent Researchも部分的に資金提供している。