Выбор языка для большой языковой модели( LLM) оказывает существенное влияние на его стоимость и распределение между носителями английского языка и остальным миром. Например, стоимость упрощенного китайского языка в два раза выше, испанского- в 1, 5 раза, а шанского- в 15 раз. Исследование, проведенное Оксфордским университетом, показало, что обработка текста на английском языке с помощью LLM обходится в 198 токенов, а на английском- в 17 токенов. Это означает, что доступ к сервису с помощьюAPI обходится в 11 раз дороже для текста на английском языке по сравнению с текстом на английском. Модель токенизации, используемая компаниямиAI, преобразует пользовательский ввод в вычислительные затраты, что делает модели, доступные за пределами английского языка, более дорогостоящими в плане доступа и обучения. Например, при использовании токенизатора GPT3 компании OpenAI можно увидеть, что фраза" youraffection" будет содержать всего два токена на английском языке и всего два токена на упрощенном китайском языке. Несмотря на то, что английская фраза длиннее( 14 символов) по сравнению с упрощенной китайской( 4 символа), более высокое соотношение токенов к символам делает внедрениеAPI для языков, отличных от английского, более дорогостоящим.

Экономическая эффективность английского языка в расходах, связанных сAI, не имеет аналогов, причем китайский язык обходится в два раза дороже английского с точки зрения требуемой производительности по токенам. Однако исследования показывают, что при многократном обучении синтетическим данным сети AInetworks становятся неустойчивыми. Различные способы количественной оценки затрат, такие как подсчет символов, по- прежнему сталкиваются с аналогичными проблемами, связанными с токенизацией, и не могут превзойти практичность и более низкую стоимость английского языка. Разница в стоимости обусловлена тем, что компании, внедряющие крупноязычные модели, в основном базируются в Америке, поскольку для этой страны характерны более низкие затраты на обслуживание и большая доступность качественных данных. Неравенство в затратах побудило многие страны, в том числе Китай и Индию, разработать собственные инициативы по обучению и внедрению LLM- моделей на родном языке с учетом пространства инноваций, созданного англоязычными сетями. Важно действовать осторожно, учитывая далеко идущие последствия каждого предпринимаемого шага.