Большая языковая модель

Не путать с машиной обучения логике .

Модель большого языка ( LLM ) — это вычислительная модель, примечательная своей способностью генерировать язык общего назначения и выполнять другие задачи обработки естественного языка, такие как классификация . Основываясь на языковых моделях , LLM приобретают эти способности, изучая статистические взаимосвязи из огромных объемов текста в ходе интенсивного вычислительного процесса обучения с самоконтролем и полуконтролем . LLM можно использовать для генерации текста — формы генеративного искусственного интеллекта — путем взятия входного текста и многократного прогнозирования следующего токена или слова.

LLM — это искусственные нейронные сети , использующие архитектуру трансформатора , изобретенную в 2017 году. Самые крупные и наиболее мощные LLM по состоянию на июнь 2024 года. , построены на базе преобразовательной архитектуры, состоящей только из декодера, что обеспечивает эффективную обработку и генерацию крупномасштабных текстовых данных.

Исторически сложилось так, что до 2020 года тонкая настройка была основным методом адаптации модели под конкретные задачи. Однако более крупные модели, такие как GPT-3, продемонстрировали способность достигать аналогичных результатов за счет разработки подсказок , которая включает в себя создание конкретных подсказок для ввода, которые будут определять ответы модели. Эти модели приобретают знания о синтаксисе, семантике и онтологиях. присущи корпусам человеческого языка, но они также наследуют неточности и предвзятости, присутствующие в данных, на которых они обучаются.

Некоторые известные LLM — это - GPT ChatGPT серия моделей GPT OpenAI (например, 3.5 и GPT-4 , используемые в и Microsoft Copilot ), Google от Gemini (последняя из которых в настоящее время используется в одноименном чат-боте ). , Meta от LLaMA семейство моделей Anthropic от , модели Claude и Mistral AI модели .

История

До 2017 года существовало несколько языковых моделей, которые были большими по сравнению с доступными на тот момент возможностями. В 1990-х годах модели выравнивания IBM стали пионерами статистического языкового моделирования. В 2000-х годах, когда использование Интернета стало широко распространенным, некоторые исследователи создали наборы языковых данных интернет-масштаба («Сеть как корпус»). ), на котором они обучали статистические языковые модели. В 2009 году в большинстве задач языковой обработки статистические языковые модели доминировали над символическими языковыми моделями, поскольку они могут с пользой обрабатывать большие наборы данных.

После того, как примерно в 2012 году нейронные сети стали доминировать в обработке изображений, их стали применять и для языкового моделирования. Google преобразовал свой сервис перевода на нейронный машинный перевод в 2016 году. Как и до «Трансформеров», это выполнялось с помощью глубоких сетей LSTM seq2seq.

Иллюстрация основных компонентов модели трансформатора из оригинальной статьи, где слои были нормализованы после (а не до) многоголового внимания.

На конференции NeurIPS 2017 года исследователи Google представили архитектуру трансформатора в своей знаковой статье « Внимание — это все, что вам нужно ». Целью данной статьи было усовершенствование технологии Seq2seq 2014 года . и основывался главным образом на механизме внимания , разработанном Богданау и соавт. в 2014 году. В следующем, 2018 году, BERT был представлен и быстро стал «повсеместным». Хотя исходный преобразователь имеет блоки как кодера, так и декодера, BERT представляет собой модель только для кодера.

Хотя GPT-1 , предназначенный только для декодера, был представлен в 2018 году, именно GPT-2 в 2019 году привлек всеобщее внимание, поскольку OpenAI сначала сочла его слишком мощным, чтобы публиковать его публично, из-за опасений злонамеренного использования. GPT-3 в 2020 году пошел на шаг дальше и по состоянию на 2024 год доступен только через API без предложения загрузки модели для локального выполнения. Но именно ориентированный на потребителя браузерный ChatGPT 2022 года захватил воображение широких слоев населения и вызвал некоторую шумиху в СМИ и онлайн-ажиотаж. 2023 года GPT-4 получил высокую оценку за повышенную точность и как «Святой Грааль» за свои мультимодальные возможности. OpenAI не раскрыл высокоуровневую архитектуру и количество параметров GPT-4.

Конкурирующие языковые модели по большей части пытались сравняться с серией GPT, по крайней мере, с точки зрения количества параметров.

С 2022 года модели с доступными исходниками набирают популярность, особенно поначалу с BLOOM и LLaMA , хотя обе имеют ограничения по области использования. Модели Mistral AI Mistral 7B и Mixtral 8x7b имеют более либеральную лицензию Apache . По состоянию на январь 2024 г. , Mixtral 8x7b является самым мощным открытым LLM согласно таблице лидеров LMSYS Chatbot Arena: он более мощный, чем GPT-3.5, но не такой мощный, как GPT-4.

По состоянию на 2024 год все самые крупные и мощные модели будут основаны на архитектуре Transformer. Некоторые недавние реализации основаны на других архитектурах, таких как варианты рекуррентных нейронных сетей и Mamba ( модель пространства состояний ).

Предварительная обработка набора данных

См. Также: Список наборов данных для исследований в области машинного обучения § Интернет.

Вероятностная токенизация

Поскольку алгоритмы машинного обучения обрабатывают числа, а не текст, текст необходимо преобразовать в числа. На первом этапе определяется словарь, затем каждой записи словаря произвольно, но однозначно присваиваются целочисленные индексы, и, наконец, вложение с целочисленным индексом связывается . Алгоритмы включают кодирование пар байтов и WordPiece .

Вероятностная токенизация также сжимает наборы данных. Поскольку LLM обычно требует, чтобы входные данные представляли собой , массив незубчатый более короткие тексты должны быть «дополнены», пока они не совпадут с длиной самого длинного. Сколько токенов в среднем требуется на одно слово, зависит от языка набора данных.

БПЭ

Используя модификацию кодирования пар байтов, на первом этапе все уникальные символы (включая пробелы и знаки препинания ) обрабатываются как начальный набор n -грамм (т.е. начальный набор униграмм). Последовательно наиболее часто встречающаяся пара соседних символов объединяется в биграмму и все экземпляры пары заменяются ею. Все вхождения соседних пар (ранее объединенных) n -грамм, которые чаще всего встречаются вместе, затем снова многократно объединяются в еще более длинные n -граммы, пока не будет получен словарь заданного размера (в случае GPT-3 размер равен 50257). . Словарь токенов состоит из целых чисел , начиная с нуля и заканчивая размером словаря токенов. Новые слова всегда можно интерпретировать как комбинации токенов и униграмм исходного набора.

Словарь токенов, основанный на частотах, извлеченных в основном из корпусов английского языка, использует как можно меньше токенов для среднего английского слова. Однако среднее слово на другом языке, закодированное таким оптимизированным для английского языка токенизатором, разделяется на неоптимальное количество токенов. Токенизатор GPT-2 может использовать до 15 раз больше токенов на слово для некоторых языков, например для языка Шан из Мьянмы . Даже более распространенные языки, такие как португальский и немецкий, имеют «премию в 50%» по сравнению с английским.

Например, вот как токенизатор, используемый GPT-3 (Legacy), разделяет следующее предложение: tokenizer: texts -> series of numerical "tokens".

жетон

железо

:

тексты

->

ряд

из

числовой

"

т

хорошо

нас

"

Очистка набора данных

Основная статья: Очистка данных

В контексте обучения LLM наборы данных обычно очищаются путем удаления из набора данных токсичных отрывков, удаления некачественных данных и дедупликации. Очищенные наборы данных могут повысить эффективность обучения и привести к улучшению последующих результатов. Обученный LLM можно использовать для очистки наборов данных для обучения следующего LLM.

С увеличением доли контента, созданного LLM, в сети очистка данных в будущем может включать фильтрацию такого контента. Контент, созданный с помощью LLM, может создать проблему, если контент похож на человеческий текст (что затрудняет фильтрацию), но имеет более низкое качество (снижение производительности моделей, обученных на нем).

Синтетические данные

Основная статья: Синтетические данные

Для обучения крупнейших языковых моделей может потребоваться больше лингвистических данных, чем доступно в природе, или же данные, встречающиеся в природе, имеют недостаточное качество. В этих случаях могут использоваться синтетические данные. Серия программ LLM от Microsoft Phi обучается на данных, подобных учебникам, сгенерированных другим LLM.

и

См. также: Точная настройка (машинное обучение).

Обучение с подкреплением на основе обратной связи с человеком

Обучение с подкреплением на основе обратной связи с человеком (RLHF) с помощью таких алгоритмов, как оптимизация проксимальной политики , используется для дальнейшей точной настройки модели на основе набора данных о человеческих предпочтениях.

Инструкция по настройке

Используя подходы «самообучения», LLM смогли получить правильные ответы, заменяя любые наивные ответы, начиная с исправлений нескольких случаев, внесенных человеком. Например, в инструкции «Написать сочинение на основные темы, представленные в «Гамлете »» первоначальным наивным завершением может быть «Если вы сдадите сочинение после 17 марта, ваша оценка будет снижена на 10% за каждый день просрочки». на основе частоты этой текстовой последовательности в корпусе.

Смесь экспертов

Основная статья: Смесь экспертов

Обучение и непосредственное использование крупнейшего LLM может быть слишком дорогим. Для таких моделей можно применить смесь экспертов (MoE) — направление исследований, проводимое исследователями Google с 2017 года для обучения моделей, охватывающих до 1 триллиона параметров.

Быстрое проектирование, механизм внимания и контекстное окно

См. также: Оперативное проектирование и Внимание (машинное обучение).

Большинство результатов, ранее достижимых только путем (дорогостоящей) тонкой настройки, могут быть достигнуты с помощью быстрого проектирования , хотя и ограничены рамками одного разговора (точнее, ограничены областью контекстного окна).

Когда каждая голова вычисляет, согласно своим собственным критериям, сколько других токенов имеют отношение к токену «it_», обратите внимание, что вторая голова внимания, представленная вторым столбцом, больше всего концентрируется на первых двух строках, т.е. токенах « «» и «животное», тогда как в третьем столбце больше всего внимания уделяется двум нижним строкам, т.е. слову «устал», которое было разбито на два токена.

Чтобы выяснить, какие токены релевантны друг другу в пределах контекстного окна, механизм внимания вычисляет «мягкие» веса для каждого токена, точнее, для его внедрения, используя несколько головок внимания, каждая из которых имеет свою собственную «релевантность». " для расчета собственных мягких весов. Например, маленькая (т.е. размер параметра 117M) модель GPT-2 имела двенадцать голов внимания и контекстное окно размером всего в 1 тыс. токенов. В средней версии он имеет 345 миллионов параметров и содержит 24 слоя, каждый из которых имеет 12 головок внимания. Для обучения с градиентным спуском использовался размер пакета 512.

Самые крупные модели, такие как Gemini 1.5 от Google , представленные в феврале 2024 года, могут иметь размер контекстного окна до 1 миллиона (контекстное окно размером 10 миллионов также было «успешно протестировано»). Другие модели с большими контекстными окнами включают Claude 2.1 от Anthropic с контекстным окном, вмещающим до 200 тысяч токенов. Обратите внимание, что этот максимум относится к количеству входных токенов и что максимальное количество выходных токенов отличается от входных и часто меньше. Например, модель GPT-4 Turbo имеет максимальную мощность 4096 токенов.

Продолжительность разговора, которую модель может принять во внимание при формировании следующего ответа, также ограничена размером контекстного окна. Если продолжительность разговора, например, с Chat-GPT , превышает его контекстное окно, при генерации следующего ответа учитываются только части внутри контекстного окна, или модели необходимо применить некоторый алгоритм для суммирования слишком отдаленные части разговора.

К недостаткам увеличения контекстного окна относятся более высокие вычислительные затраты и, возможно, ослабление внимания к локальному контексту, тогда как его уменьшение может привести к тому, что модель упустит важную долгосрочную зависимость. Их балансировка — это вопрос экспериментов и соображений, специфичных для конкретной области.

Модель может быть предварительно обучена либо для прогнозирования продолжения сегмента, либо для прогнозирования того, чего в сегменте не хватает, учитывая сегмент из набора обучающих данных. Это может быть либо

• авторегрессия (т. е. прогнозирование продолжения сегмента, как это делают GPT ): например, учитывая сегмент «Я люблю поесть», модель прогнозирует «мороженое» или «суши».
• " замаскированный " (т.е. заполнение недостающих частей сегмента способом "BERT" делает это): например, для сегмента «Мне нравится [__] [__] сливок», модель предсказывает, что слова «есть» и «лед» отсутствуют.

Модели можно обучать на вспомогательных задачах, которые проверяют их понимание распределения данных, таких как прогнозирование следующего предложения (NSP), в котором представлены пары предложений, и модель должна предсказать, будут ли они появляться последовательно в обучающем корпусе. Во время обучения потеря регуляризации также используется для стабилизации обучения. Однако потери регуляризации обычно не используются во время тестирования и оценки.

Стоимость обучения

Достижения в области программного и аппаратного обеспечения существенно снизили затраты с 2020 года, так что в 2023 году стоимость обучения LLM с 12 миллиардами параметров составит 72 300 часов A100-GPU , а в 2020 году стоимость обучения LLM с 1,5 миллиардами параметров (что на два порядка меньше, чем в 2020 году) составляло от 80 тысяч до 1,6 миллиона долларов. С 2020 года большие суммы инвестировались во все более крупные модели. Например, обучение GPT-2 (то есть модели с 1,5 миллиардами параметров) в 2019 году стоило 50 000 долларов, тогда как обучение PaLM (то есть модели с 540 миллиардами параметров) в 2022 году стоило 8 миллионов долларов, а Megatron-Turing NLG 530B (в 2021 году) будет стоить около 11 миллионов долларов.

Для LLM на основе трансформатора стоимость обучения намного выше, чем стоимость вывода. Обучение на одном токене стоит 6 флопов на каждый параметр, тогда как на вывод на одном токене уходит от 1 до 2 флопов на каждый параметр.

Использование инструмента

Есть определенные задачи, которые в принципе не может решить ни один LLM, по крайней мере, без использования внешних инструментов или дополнительного программного обеспечения. Примером такой задачи является ответ на ввод пользователя «354 * 139 =», при условии, что LLM еще не встретил продолжение этого расчета в своем обучающем корпусе. В таких случаях LLM необходимо прибегнуть к запуску программного кода, вычисляющего результат, который затем может быть включен в его ответ. Другой пример: «Сколько сейчас время?» Это ', когда отдельный интерпретатор программы должен выполнить код, чтобы получить системное время на компьютере, чтобы LLM могла включить его в свой ответ. Эту базовую стратегию можно усовершенствовать за счет нескольких попыток сгенерированных программ и других стратегий выборки.

Как правило, чтобы заставить LLM использовать инструменты, необходимо настроить его на использование инструментов. Если количество инструментов конечно, то точную настройку можно выполнить только один раз. Если количество инструментов может расти произвольно, как в случае с онлайн- сервисами API , то LLM можно настроить так, чтобы он мог читать документацию API и правильно вызывать API.

Более простой формой использования инструмента является поисковая расширенная генерация : дополнить LLM поиском документов , иногда с использованием векторной базы данных . По запросу вызывается средство извлечения документов для извлечения наиболее релевантных документов (обычно это измеряется путем сначала кодирования запроса и документов в векторы, а затем поиска документов с векторами, наиболее близкими по евклидовой норме к вектору запроса). Затем LLM генерирует выходные данные на основе запроса и полученных документов.

Агентство

LLM — это языковая модель, которая не является агентом, поскольку не имеет цели, но может использоваться как компонент интеллектуального агента . Исследователи описали несколько методов такой интеграции.

Метод ReAct («Причина + Действие») создает агента из LLM, используя LLM в качестве планировщика. LLM предлагается «думать вслух». В частности, языковая модель запрашивается с текстовым описанием окружающей среды, целью, списком возможных действий и записью действий и наблюдений на данный момент. Он генерирует одну или несколько мыслей, прежде чем генерировать действие, которое затем выполняется в окружающей среде. Лингвистическое описание окружающей среды, данное планировщику LLM, может даже представлять собой код LaTeX статьи, описывающей окружающую среду.

В методе DEPS («Описывать, объяснять, планировать и выбирать») LLM сначала подключается к визуальному миру посредством описаний изображений, затем ему предлагается составить планы для сложных задач и действий на основе предварительно подготовленных знаний и обратной связи с окружающей средой. получает.

Метод отражения создает агента, который учится на протяжении нескольких эпизодов. В конце каждого эпизода LLM предоставляется запись эпизода и предлагается обдумать «извлеченные уроки», которые помогут ему лучше работать в следующем эпизоде. Эти «извлеченные уроки» передаются агенту в последующих эпизодах.

Поиск по дереву Монте-Карло может использовать LLM в качестве эвристики развертывания. Если программная модель мира недоступна, LLM также может быть предложено ввести описание среды, которая будет выступать в качестве модели мира.

Для открытого исследования LLM можно использовать для оценки наблюдений на предмет их «интересности», что можно использовать в качестве сигнала вознаграждения для руководства обычным (не LLM) агентом обучения с подкреплением. Альтернативно, он может предлагать все более сложные задачи для изучения учебной программы . Вместо вывода отдельных действий планировщик LLM также может создавать «навыки» или функции для сложных последовательностей действий. Навыки можно сохранять и впоследствии использовать, что позволяет повысить уровень абстракции при планировании.

Агенты на базе LLM могут хранить долговременную память о своих предыдущих контекстах, и эту память можно извлечь таким же способом, как и при извлечении дополненной генерации. Несколько таких агентов могут взаимодействовать социально.

Сжатие

Обычно LLM обучается с помощью чисел с плавающей запятой одинарной или половинной точности (float32 и float16). Один float16 имеет 16 бит или 2 байта, поэтому для одного миллиарда параметров требуется 2 гигабайта. Самые крупные модели обычно имеют 100 миллиардов параметров, для загрузки которых требуется 200 гигабайт, что ставит их за пределы возможностей большинства бытовой электроники.

после обучения Квантование направлен на уменьшение требований к пространству за счет снижения точности параметров обученной модели, сохраняя при этом большую часть ее производительности. Самая простая форма квантования просто усекает все числа до заданного количества бит. Его можно улучшить, используя разные кодовые книги квантования для каждого слоя. Дальнейшее улучшение может быть достигнуто путем применения различной точности к различным параметрам, с более высокой точностью для особенно важных параметров («выбросов веса»).

Хотя квантованные модели обычно замораживаются, а точной настройке подвергаются только предварительно квантованные модели, квантованные модели все равно можно точно настроить.

Мультимодальность

См. также: Мультимодальное обучение.

Мультимодальность означает «наличие нескольких модальностей», а «модальность» относится к типу ввода или вывода, такому как видео, изображение, аудио, текст, проприоцепция и т. д. Было создано множество моделей искусственного интеллекта, специально обученных для приема одной модальности и вывода другой модальности, например AlexNet для маркировки изображений, визуальный ответ на вопрос для преобразования изображения-текста в текст, и распознавание речи для преобразования речи в текст.

Распространенный метод создания мультимодальных моделей на основе LLM — «токенизация» выходных данных обученного кодировщика. Конкретно, можно построить LLM, который может понимать изображения, следующим образом: возьмите обученный LLM и обученный кодировщик изображений. $E$. Сделайте небольшой многослойный перцептрон $f$, так что для любого изображения $y$, вектор постобработки $f(E(y))$ имеет те же размеры, что и закодированный токен. Это «токен изображения». Затем можно чередовать текстовые токены и токены изображений. Затем составная модель уточняется на наборе данных изображения и текста. Эту базовую конструкцию можно применять с большей сложностью для улучшения модели. Кодер изображения можно заморозить для повышения стабильности.

Flamingo продемонстрировал эффективность метода токенизации, настроив пару предварительно обученной языковой модели и кодировщика изображений, чтобы они лучше справлялись с визуальными ответами на вопросы, чем модели, обученные с нуля. Модель Google PaLM была доработана до мультимодальной модели PaLM-E с использованием метода токенизации и применена к роботизированному управлению. Модели LLaMA также стали мультимодальными с использованием метода токенизации, чтобы обеспечить ввод изображений. и видеовходы.

GPT-4 может использовать как текст, так и изображение в качестве входных данных. (хотя компонент видения не был обнародован до появления GPT-4V). ); Google DeepMind от Gemini также является мультимодальным.

Свойства

Законы масштабирования

Основная статья: Закон нейронного масштабирования

Следующие четыре гиперпараметра характеризуют LLM:

• стоимость (предварительного) обучения ( $C$),
• размер самой искусственной нейронной сети , например количество параметров $N$ (т.е. количество нейронов в его слоях, количество весов между ними и смещений),
• размер набора данных (предварительного) обучения (т. е. количество токенов в корпусе, $D$),
• производительность после (предварительной) тренировки.

Они связаны простыми статистическими законами , называемыми «законами масштабирования». Один конкретный закон масштабирования (« Шиншилловое масштабирование ») для LLM, авторегрессионно обученного в течение одной эпохи, с логарифмическим графиком скорости обучения , гласит, что:

$${\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}$$

где переменные

• $C$ — стоимость обучения модели в флопах .
• $N$ количество параметров в модели.
• $D$ — количество токенов в обучающем наборе.
• $L$ — это средняя отрицательная логарифмическая потеря правдоподобия на токен ( nats /token), достигнутая обученным LLM на тестовом наборе данных.

и статистические гиперпараметры

• $C_{0}=6$Это означает, что обучение на одном токене стоит 6 флопов на каждый параметр. Обратите внимание, что стоимость обучения намного выше, чем стоимость вывода, где для вывода одного токена требуется от 1 до 2 флопс на каждый параметр.
• $\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69$

Эмерджентные способности

В точках, называемых перерывами , линии меняют свой наклон, представляя на логарифмическом графике серию линейных отрезков, соединенных дугами.

Производительность более крупных моделей при выполнении различных задач, построенная в логарифмическом масштабе, выглядит как линейная экстраполяция производительности, достигнутой моделями меньшего размера. Однако эта линейность может быть акцентирована « перерывами» . в законе масштабирования, где наклон линии резко меняется и где более крупные модели приобретают «новые способности». Они возникают в результате сложного взаимодействия компонентов модели и не запрограммированы или спроектированы явно.

Наиболее интригующей среди новых способностей является контекстное обучение на демонстрационных примерах. Контекстное обучение включает в себя решение таких задач, как:

• сообщила арифметику, расшифровку международного фонетического алфавита , расшифровку букв слова, устранение неоднозначности слова в контексте, преобразование пространственных слов, сторон света (например, ответ «северо-восток» на [0, 0, 1; 0, 0, 0; 0, 0, 0]), цветовых терминов, представленных в тексте.
• Подсказки по цепочке мыслей : выходные данные модели улучшаются за счет подсказок по цепочке мыслей только в том случае, если размер модели превышает 62 байт. Меньшие модели работают лучше, когда им предлагается ответить немедленно, без цепочки мыслей.
• выявление оскорбительного содержания в абзацах на хинглише (комбинация хинди и английского языка) и создание аналогичного английского эквивалента пословиц суахили .

Шеффер и др. ал. утверждают, что возникающие способности не приобретаются непредсказуемо, а предсказуемо приобретаются в соответствии с законом плавного масштабирования . Авторы рассмотрели игрушечную статистическую модель LLM, решающую вопросы с несколькими вариантами ответов, и показали, что эта статистическая модель, модифицированная для учета других типов задач, применима и к этим задачам.

Позволять $x$ быть числом параметров, и $y$ быть производительностью модели.

• Когда $y={\text{average }}\Pr({\text{correct token}})$, затем $(\log x,y)$ представляет собой экспоненциальную кривую (прежде чем она достигнет плато в единице), которая выглядит как эмерджентность.
• Когда $y={\text{average }}\log(\Pr({\text{correct token}}))$, тогда $(\log x,y)$ график представляет собой прямую линию (до того, как она достигнет нулевого плато), что не похоже на эмерджентность.
• Когда $y={\text{average }}\Pr({\text{the most likely token is correct}})$, затем $(\log x,y)$ является ступенчатой ​​функцией, которая выглядит как эмерджентность.

Интерпретация

Большие языковые модели сами по себе являются « черными ящиками », и неясно, как они могут выполнять лингвистические задачи. Существует несколько способов понять, как работает LLM.

Механистическая интерпретируемость направлена ​​на реверс-инжиниринг LLM путем обнаружения символических алгоритмов, которые аппроксимируют вывод, выполняемый LLM. Одним из примеров является Othello-GPT, где небольшой Трансформер обучен предсказывать законные ходы Отелло . Обнаружено, что существует линейное представление доски Отелло, и изменение этого представления меняет предсказанные законные ходы Отелло правильным образом. В другом примере небольшой Трансформер обучается на программах Karel . Как и в примере с Othello-GPT, существует линейное представление семантики программы Karel, и изменение представления меняет выходные данные правильным образом. Модель также генерирует правильные программы, которые в среднем короче программ в обучающей выборке.

В другом примере авторы обучали небольшие преобразователи модульному арифметическому сложению . Полученные модели были реконструированы, и оказалось, что они использовали дискретное преобразование Фурье .

Понимание и интеллект

Исследователи НЛП разделились поровну, когда в опросе 2022 года их спросили, могут ли (ненастроенные) студенты-магистры права «смогут (когда-либо) понимать естественный язык в каком-то нетривиальном смысле». Сторонники «понимания LLM» считают, что некоторые способности LLM, такие как математические рассуждения, подразумевают способность «понимать» определенные концепции. В 2023 году команда Microsoft утверждала, что GPT-4 «может решать новые и сложные задачи, охватывающие математику, программирование, видение, медицину, право, психологию и многое другое» и что GPT-4 «можно разумно рассматривать как раннюю (но все еще неполную) версию ) версия системы искусственного общего интеллекта »: «Можно ли разумно сказать, что система, которая сдает экзамены для кандидатов в инженеры-программисты, на самом деле не интеллектуальна?» Некоторые исследователи характеризуют LLM как «инопланетный интеллект». Например, генеральный директор Conjecture Коннор Лихи считает, что ненастроенные LLM подобны непостижимым инопланетным « шогготам », и считает, что настройка RLHF создает «улыбающийся фасад», скрывающий внутреннюю работу LLM: «Если вы не зайдете слишком далеко, смайлик остается. Но затем вы даете ему [неожиданную] подсказку, и внезапно вы видите это огромное подбрюшье безумия, странных мыслительных процессов и явно нечеловеческого понимания».

Напротив, некоторые сторонники школы «LLM не понимают» считают, что существующие LLM «просто смешивают и рекомбинируют существующее письмо». явление, известное как стохастический попугай , или они указывают на дефицит существующих LLM навыков прогнозирования, навыков рассуждения, свободы действий и объяснимости. Например, GPT-4 имеет естественные недостатки в планировании и обучении в реальном времени. Было замечено, что генеративные LLM уверенно заявляют о фактах, которые, по-видимому, не подтверждаются данными их обучения , - явление, которое было названо « галлюцинацией ». В частности, галлюцинации в контексте LLM соответствуют генерации текста или ответов, которые кажутся синтаксически обоснованными, беглыми и естественными, но на самом деле являются неверными, бессмысленными или не соответствуют предоставленному источнику. Нейробиолог Терренс Сейновски утверждал, что «разные мнения экспертов об интеллекте студентов-магистров предполагают, что наши старые идеи, основанные на естественном интеллекте, неадекватны».

Вопрос о том, как LLM демонстрирует интеллект или понимание, имеет два основных аспекта: первый — это то, как моделировать мышление и язык в компьютерной системе, а второй — как позволить компьютерной системе генерировать язык, подобный человеческому. Эти аспекты языка как модели познания получили развитие в области когнитивной лингвистики . Американский лингвист Джордж Лакофф представил нейронную теорию языка (NTL) в качестве вычислительной основы для использования языка в качестве модели учебных задач и понимания. Модель NTL описывает, как конкретные нейронные структуры человеческого мозга формируют природу мышления и языка и, в свою очередь, каковы вычислительные свойства таких нейронных систем, которые можно применять для моделирования мышления и языка в компьютерной системе. После того, как была создана основа моделирования языка в компьютерных системах, акцент сместился на создание рамок для компьютерных систем, позволяющих генерировать язык с приемлемой грамматикой. В своей книге 2014 года под названием «Миф о языке: почему язык не является инстинктом » британский когнитивный лингвист и технолог цифровых коммуникаций Вивиан Эванс наметил роль вероятностной контекстно-свободной грамматики (PCFG), позволяющей НЛП моделировать когнитивные паттерны и генерировать человекоподобный язык. .

Оценка

Растерянность

Наиболее часто используемой мерой производительности языковой модели является ее сложность в данном текстовом корпусе. Недоумение — это мера того, насколько хорошо модель способна предсказать содержимое набора данных; чем выше вероятность, которую модель присваивает набору данных, тем меньше недоумение. Математически недоумение определяется как экспонента средней отрицательной логарифмической вероятности на токен:

$$\log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))$$

здесь $N$ — количество токенов в текстовом корпусе, а «контекст для токена $i$" зависит от конкретного типа используемого LLM. Если LLM является авторегрессионным, то "контекст для токена $i$" — это фрагмент текста, который появляется перед токеном $i$. Если LLM замаскирован, то «контекст для токена $i$" — это фрагмент текста, окружающий токен $i$.

Поскольку языковые модели могут не соответствовать обучающим данным, модели обычно оцениваются по степени их недоумения на тестовом наборе невидимых данных. Это создает особые проблемы для оценки больших языковых моделей. Поскольку они обучаются на все более крупных массивах текста, в основном извлеченных из Интернета, становится все более вероятным, что данные обучения моделей непреднамеренно включают части любого заданного набора тестов.

BPW, BPC и BPT

В теории информации концепция энтропии неразрывно связана с недоумением, связь, установленная Клодом Шенноном . Эта зависимость математически выражается как ${\text{Entropy}}=\log _{2}({\text{Perplexity}})$.

Энтропия в этом контексте обычно выражается количественно в битах на слово (BPW) или битах на символ (BPC), что зависит от того, использует ли языковая модель токенизацию на основе слов или символов.

Примечательно, что в случае более крупных языковых моделей, в которых преимущественно используется токенизация подслов, бит на токен (BPT), по-видимому, является более подходящей мерой. Однако из-за различий в методах токенизации в разных моделях большого языка (LLM) BPT не служит надежным показателем для сравнительного анализа различных моделей. Чтобы преобразовать BPT в BPW, его можно умножить на среднее количество токенов в слове.

При оценке и сравнении языковых моделей перекрестная энтропия обычно является более предпочтительным показателем, чем энтропия. Основной принцип заключается в том, что более низкое значение BPW указывает на расширенные возможности модели по сжатию. Это, в свою очередь, отражает умение модели делать точные прогнозы.

Наборы данных и тесты для конкретных задач

Также было разработано большое количество тестовых наборов данных и тестов для оценки возможностей языковых моделей для решения более конкретных последующих задач. Тесты могут быть разработаны для оценки различных способностей, включая общие знания, здравое рассуждение и решение математических задач.

Одной из широких категорий наборов оценочных данных являются наборы данных с ответами на вопросы, состоящие из пар вопросов и правильных ответов, например («Выиграли ли «Сан-Хосе Шаркс» Кубок Стэнли?», «Нет»). Задача ответа на вопрос считается «открытой книгой», если подсказка модели включает текст, из которого можно получить ожидаемый ответ (например, к предыдущему вопросу можно добавить текст, включающий предложение «Шаркс» вышли на Кубок Стэнли). один раз дошел до финала, проиграв «Питтсбург Пингвинз» в 2016 году». ). В противном случае задача считается «закрытой книгой», и модель должна опираться на знания, полученные во время обучения. Некоторые примеры часто используемых наборов данных для ответов на вопросы включают TruthfulQA, Web Questions, TriviaQA и SQuAD.

Наборы оценочных данных также могут принимать форму завершения текста: модель выбирает наиболее подходящее слово или предложение для завершения подсказки, например: «Алиса дружила с Бобом. Алиса пошла навестить своего друга ____».

Также были разработаны некоторые комплексные тесты, которые сочетают в себе множество различных наборов оценочных данных и задач. Примеры включают GLUE, SuperGLUE, MMLU , BIG-bench и HELM. OpenAI выпустила инструменты для запуска составных тестов, но отметила, что результаты оценки чувствительны к методу подсказки.

Раньше было стандартным сообщать результаты по отложенной части набора оценочных данных после выполнения контролируемой точной настройки оставшейся части. Сейчас более распространена оценка предварительно обученной модели непосредственно с помощью методов подсказки, хотя исследователи различаются в деталях того, как они формулируют подсказки для конкретных задач, особенно в отношении того, сколько примеров решенных задач примыкает к подсказке (т.е. значение n в подсказке n -shot).

Состязательные оценки

Из-за быстрых темпов совершенствования больших языковых моделей тесты оценки имеют короткую продолжительность жизни, при этом современные модели быстро «насыщают» существующие тесты, превосходя производительность людей-аннотаторов, что приводит к попыткам заменить или дополнить тест более сложные задачи. Кроме того, существуют случаи «быстрого обучения», когда ИИ иногда «обманывают» тесты с множественным выбором, используя статистические корреляции в поверхностных формулировках тестовых вопросов, чтобы угадать правильные ответы, не обязательно понимая фактический задаваемый вопрос.

Некоторые наборы данных были построены состязательно, с упором на конкретные проблемы, в решении которых существующие языковые модели кажутся необычайно плохими по сравнению с людьми. Одним из примеров является набор данных TruthfulQA, набор данных с ответами на вопросы, состоящий из 817 вопросов, на которые языковые модели склонны давать неправильные ответы, имитируя ложь, с которой они неоднократно сталкивались во время обучения. Например, степень магистра права может ответить «Нет» на вопрос «Можете ли вы научить старую собаку новым трюкам?» из-за того, что она подвержена английской идиоме, вы не сможете научить старую собаку новым трюкам , хотя это не совсем так.

Другим примером набора данных состязательной оценки является Swag и его преемник HellaSwag, наборы задач, в которых для завершения отрывка текста необходимо выбрать один из нескольких вариантов. Неправильные дополнения были получены путем выборки из языковой модели и фильтрации с помощью набора классификаторов. Возникающие в результате проблемы тривиальны для людей, но на момент создания наборов данных современные языковые модели имели низкую точность. Например:

Видим вывеску фитнес-центра. Затем мы видим мужчину, разговаривающего с камерой, сидящего и лежащего на мяче для упражнений. Тот человек...
а) демонстрирует, как повысить эффективность физических упражнений, бегая по мячу вверх и вниз.
б) двигает всеми руками и ногами и наращивает много мышц.
в) затем играет в мяч, и мы видим графику и демонстрацию обрезки живой изгороди.
г) выполняет приседания, находясь на мяче и разговаривая.

BERT выбирает b) как наиболее вероятное завершение, хотя правильный ответ — d).

влияние

В 2023 году журнал Nature Biomedical Engineering написал, что «больше невозможно точно отличить» написанный человеком текст от текста, созданного с помощью больших языковых моделей, и что «почти наверняка, что большие языковые модели общего назначения будут быстро распространяться. Можно с уверенностью сказать, что со временем они изменят многие отрасли». В 2023 году Goldman Sachs предположил, что генеративный языковой ИИ может увеличить мировой ВВП на 7% в ближайшие десять лет и может подвергнуть автоматизации 300 миллионов рабочих мест по всему миру.

Запоминание и авторские права

Дополнительная информация: Искусственный интеллект и авторское право.

Запоминание — это новое поведение в LLM, в котором длинные строки текста иногда дословно выводятся из обучающих данных, в отличие от типичного поведения традиционных искусственных нейронных сетей. Оценки контролируемых результатов LLM измеряют объем, запомненный из обучающих данных (с акцентом на модели серии GPT-2), в разной степени превышающий 1% для точных дубликатов. или примерно до 7%.

Безопасность

Некоторые комментаторы выразили обеспокоенность по поводу случайного или преднамеренного создания дезинформации или других форм неправильного использования. Например, наличие больших языковых моделей может снизить уровень навыков, необходимых для совершения биотерроризма; Исследователь биобезопасности Кевин Эсвелт предложил создателям LLM исключить из своих учебных материалов материалы по созданию или усилению патогенов.

Исследование, проведенное исследователями Google и нескольких университетов, в том числе Корнельского университета и Калифорнийского университета в Беркли , показало, что существуют потенциальные угрозы безопасности в таких языковых моделях, как ChatGPT . В своем исследовании они изучили и подтвердили возможность того, что спрашивающие могут получить из ChatGPT данные обучения, которые использовала модель ИИ. Например, попросив ChatGPT 3.5 турбо вечно повторять слово «стихотворение», модель ИИ будет говорить «стихотворение» сотни раз, а затем расходиться, отклоняясь от стандартного стиля диалога и выплескивая бессмысленные фразы, выплескивая таким образом обучающие данные. как есть. Исследователи видели более 10 000 примеров модели ИИ, предоставляющей данные обучения аналогичным методом. Исследователи заявили, что трудно сказать, действительно ли модель ИИ безопасна или нет.

Потенциальное присутствие «спящих агентов» в моделях LLM является еще одной новой проблемой безопасности. Это скрытые функции, встроенные в модель, которые остаются бездействующими до тех пор, пока не будут активированы определенным событием или условием. После активации LLM отклоняется от ожидаемого поведения и совершает небезопасные действия.

Алгоритмическая предвзятость

Основная статья: Алгоритмическая предвзятость

Хотя LLM продемонстрировали замечательные возможности в создании текста, похожего на человеческий, они подвержены наследованию и усилению предвзятостей, присутствующих в их обучающих данных. Это может проявляться в искаженном представлении или несправедливом обращении с различными демографическими группами, например, на основе расы, пола, языка и культурных групп. Поскольку данные на английском языке слишком представлены в обучающих данных текущих крупных языковых моделей, это также может преуменьшать значение неанглоязычных представлений.

Стереотипы

Модели ИИ могут усилить широкий спектр стереотипов, в том числе основанных на поле, этнической принадлежности, возрасте, национальности, религии или профессии. Это может привести к результатам, которые несправедливо обобщают или карикатурно изображают группы людей, иногда вредными или уничижительными способами.

Примечательно, что гендерная предвзятость означает тенденцию этих моделей давать результаты, которые несправедливо предвзято относятся к одному полу по сравнению с другим. Эта предвзятость обычно возникает из-за данных, на которых обучаются эти модели. Большие языковые модели часто назначают роли и характеристики на основе традиционных гендерных норм. Например, медсестры или секретари могут ассоциироваться преимущественно с женщинами, а инженеры или руководители — с мужчинами.

Политическая предвзятость

Политическая предвзятость означает тенденцию алгоритмов систематически отдавать предпочтение определенным политическим точкам зрения, идеологиям или результатам перед другими. Языковые модели могут также проявлять политическую предвзятость. Поскольку данные обучения включают в себя широкий спектр политических взглядов и охвата, модели могут генерировать ответы, склоняющиеся к конкретным политическим идеологиям или точкам зрения, в зависимости от преобладания этих взглядов в данных.

Список

См. также: Список чат-ботов.

Для столбца стоимости обучения 1 петафлопс-день = 1 петафлопс/сек × 1 день = 8,64E19 флоп.

Имя	Дата выпуска	Разработчик	Количество параметров (млрд)	Размер корпуса	Стоимость обучения (петаФЛОП-день)	Лицензия	Примечания
ГПТ-1	июнь 2018 г.	ОпенАИ	0.117		1	С	Первая модель GPT, преобразователь только для декодера. Обучался в течение 30 дней на 8 графических процессорах P600 .
БЕРТ	Октябрь 2018 г.	Google	0.340	3,3 миллиарда слов	9	Апач 2.0	Ранняя и влиятельная языковая модель, но предназначен только для кодировщика и, следовательно, не предназначен для запроса или генерации
Т5	октябрь 2019 г.	Google	11	34 миллиарда токенов		Апач 2.0	Базовая модель для многих проектов Google, таких как Imagen.
XLNet	июнь 2019 г.	Google	~0.340	33 миллиарда слов		Апач 2.0	Альтернатива BERT; предназначен только для кодировщика
ГПТ-2	февраль 2019 г.	ОпенАИ	1.5	40 ГБ (~ 10 миллиардов токенов)		С	универсальная модель на основе трансформаторной архитектуры
ГПТ-3	май 2020 г.	ОпенАИ	175	300 миллиардов токенов	3640	собственный	Доработанный вариант GPT-3, получивший название GPT-3.5, был доступен публике через веб-интерфейс ChatGPT в 2022 году.
GPT-Нео	март 2021 г.	ЭлеутерAI	2.7	825 ГиБ		С	Первая из серии бесплатных альтернатив GPT-3, выпущенных EleutherAI. GPT-Neo превзошел модель GPT-3 эквивалентного размера по некоторым тестам, но был значительно хуже, чем самый большой GPT-3.
ГПТ-J	июнь 2021 г.	ЭлеутерAI	6	825 ГиБ	200	Апач 2.0	Языковая модель в стиле GPT-3
Мегатрон-Тьюринг НЛГ	октябрь 2021 г.	Майкрософт и Нвидиа	530	338,6 миллиарда токенов		Ограниченный доступ в Интернет	Стандартная архитектура, но обучение на суперкомпьютерном кластере.
Эрни 3.0 Титан	декабрь 2021 г.	Байду	260	4 Тб		Собственный	LLM на китайском языке. Ernie Bot основан на этой модели.
Клод	декабрь 2021 г.	антропный	52	400 миллиардов токенов		бета	Точная настройка для желаемого поведения в разговорах.
GLaM (универсальная языковая модель)	декабрь 2021 г.	Google	1200	1,6 триллиона токенов	5600	Собственный	Модель с разреженной смесью экспертов , что делает ее обучение более дорогостоящим, но более дешевым в выполнении выводов по сравнению с GPT-3.
Суслик	декабрь 2021 г.	ДипМайнд	280	300 миллиардов токенов	5833	Собственный	Позже превратилась в модель Шиншилла.
LaMDA (Языковые модели для диалоговых приложений)	Январь 2022 г.	Google	137	1,56Т слов, 168 миллиардов токенов	4110	Собственный	Специализируется на генерации ответов в разговорах.
GPT-NeoX	февраль 2022 г.	ЭлеутерAI	20	825 ГиБ	740	Апач 2.0	на основе архитектуры Мегатрона
Шиншилла	март 2022 г.	ДипМайнд	70	1,4 триллиона токенов	6805	Собственный	Модель с уменьшенными параметрами, обученная на большем количестве данных. Используется в боте Sparrow . Часто упоминается из-за закона нейронного масштабирования .
PaLM (языковая модель путей)	апрель 2022 г.	Google	540	768 миллиардов токенов	29250	Собственный	Обучение продолжалось ~60 дней на ~6000 чипах TPU v4 .
OPT (открытый предварительно обученный трансформатор)	май 2022 г.	Мета	175	180 миллиардов токенов	310	Некоммерческие исследования	Архитектура GPT-3 с некоторыми доработками от Megatron
ЯЛМ 100Б	июнь 2022 г.	Yandex	100	1,7 ТБ		Апач 2.0	Англо-русская модель на базе Megatron-LM от Microsoft.
Минерва	июнь 2022 г.	Google	540	38,5 млрд токенов с веб-страниц, отфильтрованных по математическому содержанию, и из статей, отправленных на сервер препринтов arXiv.		Собственный	За решение «математических и научных вопросов с помощью пошаговых рассуждений». На основе модели PaLM, дальнейшее обучение математическим и научным данным.
ЦВЕСТИ	июль 2022 г.	Крупное сотрудничество под руководством Hugging Face	175	350 миллиардов токенов (1,6 ТБ)		Ответственный ИИ	По сути GPT-3, но обучен на многоязычном корпусе (30% английского, исключая языки программирования)
Галактика	ноябрь 2022 г.	Мета	120	106 миллиардов токенов	неизвестный	CC-BY-NC-4.0	Обучение научным текстам и модальностям.
AlexaTM (модели учителей)	ноябрь 2022 г.	Амазонка	20	1,3 триллиона		собственный	двунаправленная архитектура последовательности-последовательности
Нейро-сама	декабрь 2022 г.	Независимый	Неизвестный	Неизвестный		частный	Языковая модель, предназначенная для прямых трансляций на Twitch .
LLaMA (Большая языковая модель Meta AI)	февраль 2023 г.	Мета ИИ	65	1,4 триллиона	6300	Некоммерческие исследования	В корпусе 20 языков. «Переобученный» (по сравнению с законом масштабирования Шиншиллы ) для лучшей производительности с меньшим количеством параметров.
ГПТ-4	март 2023 г.	ОпенАИ	Неизвестный	Неизвестный	Неизвестный	собственный	Доступно для пользователей ChatGPT Plus и используется в нескольких продуктах .
Церебрас-GPT	март 2023 г.	Мозги	13		270	Апач 2.0	Приучена к формуле Шиншиллы .
Сокол	март 2023 г.	Технологический инновационный институт	40	1 триллион токенов от RefinedWeb (корпус отфильтрованного веб-текста) плюс несколько «кураторских корпусов».	2800	Апач 2.0
BloombergGPT	март 2023 г.	Блумберг ЛП	50	Набор данных из 363 миллиардов токенов на основе источников данных Bloomberg, а также 345 миллиардов токенов из наборов данных общего назначения.		Собственный	Обучился работе с финансовыми данными из собственных источников для решения финансовых задач.
ПанГу-Σ	март 2023 г.	Хуавей	1085	329 миллиардов токенов		Собственный
OpenAssistant	март 2023 г.	ЛАИОН	17	1,5 триллиона токенов		Апач 2.0	Обучение на краудсорсинговых открытых данных
Юрский-2	март 2023 г.	Лаборатории AI21	Неизвестный	Неизвестный		Собственный	Многоязычный
PaLM 2 (языковая модель путей 2)	май 2023 г.	Google	340	3,6 триллиона токенов	85000	Собственный	Использовался в чат-боте Bard .
Позвоните 2	июль 2023 г.	Мета ИИ	70	2 триллиона токенов	21000	Лицензия на вызов 2	1,7 миллиона часов A100.
Клод 2	июль 2023 г.	антропный	Неизвестный	Неизвестный	Неизвестный	Собственный	Используется в чат-боте Клода.
Мистраль 7Б	сентябрь 2023 г.	Мистраль ИИ	7.3	Неизвестный		Апач 2.0
Клод 2.1	ноябрь 2023 г.	антропный	Неизвестный	Неизвестный	Неизвестный	Собственный	Используется в чат-боте Клода. Имеет контекстное окно на 200 000 токенов или ~500 страниц.
Грок-1	ноябрь 2023 г.	x.AI	314	Неизвестный	Неизвестный	Апач 2.0	Используется в чат-боте Grok . Grok-1 имеет длину контекста 8192 токена и имеет доступ к X (Twitter).
Близнецы 1.0	декабрь 2023 г.	Гугл ДипМайнд	Неизвестный	Неизвестный	Неизвестный	Собственный	Мультимодальная модель, поставляется в трех размерах. Используется в одноименном чат-боте .
Микстрал 8х7Б	декабрь 2023 г.	Мистраль ИИ	46.7	Неизвестный	Неизвестный	Апач 2.0	Превосходит GPT-3.5 и Llama 2 70B во многих тестах. Смесь экспертных моделей с 12,9 миллиардами параметров, активируемых на каждый токен.
Микстрал 8х22Б	апрель 2024 г.	Мистраль ИИ	141	Неизвестный	Неизвестный	Апач 2.0
Фи-2	декабрь 2023 г.	Майкрософт	2.7	токены 1,4 трлн.	419	С	Обучение на реальных и синтетических данных «учебного качества» в течение 14 дней на 96 графических процессорах A100.
Близнецы 1.5	февраль 2024 г.	Гугл ДипМайнд	Неизвестный	Неизвестный	Неизвестный	Собственный	Мультимодальная модель, основанная на архитектуре смешанных экспертов (MoE). Контекстное окно выше 1 миллиона токенов.
Джемма	февраль 2024 г.	Гугл ДипМайнд	7	токены 6Т	Неизвестный	Условия использования Джеммы
Клод 3	март 2024 г.	антропный	Неизвестный	Неизвестный	Неизвестный	Собственный	Включает три модели: Haiku, Sonnet и Opus.
ДБРКС	март 2024 г.	Блоки данных и Mosaic ML	136	12Т жетонов		Лицензия открытой модели Databricks	Стоимость обучения составила 10 миллионов долларов США.
Фугаку-LLM	май 2024 г.	Fujitsu , Токийский технологический институт и др.	13	380B токенов			Самая большая модель, когда-либо тренировавшаяся только на процессоре, на Fugaku .
Звонок 3	апрель 2024 г.	Мета ИИ	70	жетоны 15Т	100,000	Лицензия на вызов 3	Версия 400B еще не выпущена. Версия 70B заняла 6,4 миллиона часов на H100 -80 ГБ.

См. также

• Модели фундамента

Дальнейшее чтение

• Джурафски, Дэн , Мартин, Джеймс. H. Обработка речи и языка: введение в обработку естественного языка, компьютерную лингвистику и распознавание речи , черновик 3-го издания, 2023 г.
• Чжао, Уэйн Синь; и др. (2023). «Обзор больших языковых моделей». arXiv : 2303.18223 [ cs.CL ].
• Каддур, Жан; и др. (2023). «Проблемы и приложения больших языковых моделей». arXiv : 2307.10169 [ cs.CL ].
• , Сунь, Син; Чен, Энхун (01.06.2023 Чжао, Сируи ; Ли ) Инь, Шукан ; . .РЕЗЮМЕ ].
• Откройте репозиторий LLM на GitHub .
• «Отчет об индексе искусственного интеллекта за 2024 год — Индекс искусственного интеллекта» . aiindex.stanford.edu . Проверено 5 мая 2024 г.
• Фрэнк, Майкл К. (27 июня 2023 г.). «Малые шаги в оценке возможностей больших языковых моделей» . Обзоры природы Психология . 2 (8): 451–452. дои : 10.1038/s44159-023-00211-x . ISSN   2731-0574 . S2CID   259713140 . Проверено 2 июля 2023 г.