Профессор из Северо- Восточного университета совместно с другими специалистами разработал передовую генеративную модель для программистов, которая может быть лицензирована и адаптирована для различных применений, включая игры и промышленную автоматизацию. Арджун Гуха( ArjunGuha), ассоциированный профессор компьютерных наук из Северо- восточного университета( KhouryCollegeofComputerSciences atNortheasternUniversity), подчеркивает значительное влияние, которое генеративный искусственный интеллект и языковые модели оказали на программирование в последние годы. Однако ограниченное представление о процессе разработки этих моделей мешает более глубокому пониманию и значимому участию в нем ученых- компьютерщиков, программистов и игроков малого рынка. Для решения этой проблемы Гухаанд и его исследовательская группа приняли активное участие в проекте BigCodeproject, инициированном двумя частными компаниями- HuggingFace иServiceNow. Компании HuggingFace, известная своим широким сообществом по машинному обучению с открытым исходным кодом, иServiceNow, ориентированная на оптимизацию технологических решений для бизнеса, объединились для поддержки людей с профессиональным образованием в областиAI- исследований в разработке и использовании открытых языковых моделей для кодирования. Они выделили значительные людские и аппаратные ресурсы на реализацию проекта, в результате чего была создана программаStarCoder- передовая генеративная модель для программистов, которая может быть лицензирована и адаптирована другими пользователями для различных целей. Гуха подчеркивает важность проверки таких моделей, отмечая, что значительные финансовые инвестиции могут быть сделаны без знания их фактического качества. Он критикует закрытость нескольких компаний с многомиллиардным оборотом, которые обладают такими возможностями. Гухабель считает, что академические исследования играют важную роль в формировании генеративныхAI- технологий, тщательно оценивая их сильные и слабые стороны, а также сценарии использования. Гепарт особенно подчеркивает потенциальный вред, который может возникнуть, когда люди, использующие эти модели, принимают решения, влияющие на других, например, при обращении за кредитами или открытии вакансий. Возглавляя рабочую группу, он оценил открытые модели StarCoder и SantaCoder, разработанные в рамках проекта.

Процесс построения модели большого языка включает в себя отбор обучающих данных и оценку их возможностей на основе обученной модели. Guha'steame проанализировал большинство моделей Северо- восточного дискового кластера, высокомощной параллельной вычислительной системы, известной своими решениями в области вырезания и создания новых технологий и хранилищ данных. Они провели обширную оценку на 19 различных языках программирования, чтобы определить производительность моделей. Кроме того, другие исследователи провели анализ на предмет токсичности и токсичности, показавший, что модели потребляют мало токсичных веществ и вряд ли производят токсичные продукты, поскольку не были обучены обширным данным в Интернете. В результате проекта была подготовлена научная статья с почти 70 соавторами, в том числе докторантами и студентами, которые могли внести свой вклад в разработку модели. МоделиStarCoderиSantaBasemodelsсейчас свободно доступны для скачивания и использования всеми желающими, как для исследовательских, так и для коммерческих целей, если они соответствуют соглашению о лицензированииBigCodeOpenResponsibleAIL и связанным с ним ограничениям, включая модификации. Гухай сотрудничает с корпорацией MathWorks, специализирующейся на программном обеспечении для математических вычислений, и онлайн- платформой для создания игр Roblox для изучения потенциальных возможностей использования программыStarCoder и ее настройки под конкретные нужды. Вместе с другими исследователями Гуха подтвердил, что проект BigCodeproject прозрачен и открыт в отношении данных, используемых в моделях, что позволяет отдельным участникам проекта прекратить использование этих данных, если они того пожелают. По мере подготовки проекта BigCodeproject к следующему этапу, в ближайшее время ожидается анонс дальнейших разработок.