Программисты могут использовать большие языковые модели (БЯМ) для более быстрого написания компьютерного кода, но это имеет смысл только в случае, если код соответствует правилам языка программирования и работает без ошибок. Существующие методы обеспечения соблюдения правил языка сгенерированного БЯМ кода часто искажают изначальное замысел модели или слишком медленны для сложных задач. Исследователи из MIT и других учреждений разработали новый подход, который автоматически направляет БЯМ на создание безошибочного и соответствующего правилам текста — например, кода на определённом языке программирования. Их метод вероятностно распределяет больше усилий на те выходы, которые с большей вероятностью будут валидными и точными, заранее отбрасывая менее перспективные, что повышает вычислительную эффективность. Благодаря этим улучшениям в эффективности архитектура исследователей позволила меньшим моделям превзойти значительно более крупные модели в создании точных и хорошо структурированных результатов при реальных задачах, таких как молекулярная биология и робототехника. В будущем этот подход может дать возможность непрофессионалам управлять контентом, создаваемым ИИ; например, бизнесмены смогут писать сложные SQL-запросы к базам данных просто используя естественный язык. Студент MIT и соавтор Джоана Лулла отметил: «Эта работа имеет значения не только для научных исследований. Она может улучшить ассистентов по программированию, инструменты анализа данных на базе ИИ и средства научных открытий, обеспечивая полезность и правильность выводов ИИ. » В международной команде также участвовали соавторы Бенджамин Лебрюн (Mila), Ли Ду (Джон Хопкинс), а также со-старшие авторы Викраш Мансингха (MIT), Александр Леу (Yale), Тим Виейра (ETH Цюрих), Тимоти О’Доннелл (McGill/Mila) и другие. Их исследование будет представлено на Международной конференции по учебным представлениям. **Обеспечение структуры и смысла** Распространённый способ контроля структурированного текстогенерации — проверка всего вывода (например, кода) на валидность; если он не прошёл проверку, пользователю приходится начинать заново, что увеличивает затраты времени и ресурсов. Также можно осуществлять проверку по частям, но исправление в разрезе рискует отходить от первоначального намерения, что ухудшает точность. «Проще обеспечить структуру, чем смысл, » объясняет Лулла.

«Мы можем быстро проверить, следуют ли выходные данные правилам языка программирования, однако проверка смысла требует выполнения кода. Наша работа решает оба эти вопроса. » Исследователи встроили экспертные знания в БЯМ, чтобы направлять его к выводам, вероятно соответствующим структурным ограничениям и отражающим предполагаемый смысл. «Мы не обучаем модель заново, а создаём структуру экспертных знаний, объединяя её с уже имеющимся у модели знанием, » говорит Мансингха, противопоставляя их метод традиционным подходам масштабирования глубокого обучения. Они применяют технологии последовательных Монте-Карло, позволяющие нескольким параллельным генерациям, осуществляемым БЯМ, конкурировать между собой. Выходы получают веса, показывающие вероятность их структурной и семантической правильности; модель фокусируется на тех, что имеют более высокие веса, и постепенно отбрасывает остальные. По сути, БЯМ работает в связке с экспертным наблюдателем, контролирующим его выборы, чтобы он соблюдал заданные пользователем структуру и смысл, руководствуясь процедурами проверки, определёнными пользователем. «Мы разработали математику, позволяющую для любых ограничений получать правильные веса, что гарантирует корректность итоговых выводов, » добавляет Лулла. **Повышение эффективности малых моделей** Проверка разработанной системы на задачах, включая программирование на Python, создание SQL-запросов, проектирование молекулярных структур и планирование роботов, показала, что метод более точен и эффективен по сравнению с существующими техниками. Например, небольшая бесплатная модель на Python превзошла коммерческую модель более чем вдвое по эффективности. «Нас очень вдохновляет возможность помочь небольшим моделям демонстрировать возможности, превосходящие их размеры, » отмечает Лулла. В будущем исследователи планируют контролировать более крупные фрагменты создаваемого текста, а также внедрять обучение, чтобы модели улучшали точность за счёт руководства, которое обеспечивает их выводы. Их подход может помочь необученным пользователям, объединяясь с автоматизированным моделированием данных и генеративными системами для запросов к базам данных. Мансингха предполагает создание взаимодействующего человека и машины для анализа данных: пользователи смогут вести диалог с программным обеспечением, которое точно моделирует смысл данных и пользовательские запросы. О’Доннелл добавляет: «Преобразование слов в распределения, отображающие конкретные значения в узких символических областях, — это небольшой, но важный шаг к решению более глубоких лингвистических и когнитивных задач, связанных с тем, как машины общаются о мире. » Это исследование частично поддерживается программой CIFAR AI Chairs в Канаде, проектом MIT Quest for Intelligence и Convergent Research.