ГПТ-2

Из Википедии, бесплатной энциклопедии
Генеративный предварительно обученный трансформатор 2 (GPT-2)
Оригинальный автор(ы) ОпенАИ
Начальная версия 14 февраля 2019 г .; 5 лет назад ( 14 февраля 2019 )
Репозиторий https://github.com/openai/gpt-2
Предшественник ГПТ-1
Преемник ГПТ-3
Тип
Лицензия С [1]
Веб-сайт опенай .с /блог /gpt-2-1-5b-релиз /
См. также: Генеративный предварительно обученный преобразователь § Foundational_models
Часть серии о
Машинное обучение
и интеллектуальный анализ данных
Парадигмы
Проблемы
Кластеризация
Уменьшение размерности
Структурированное предсказание
Обнаружение аномалий
Искусственная нейронная сеть
Обучение с подкреплением
Обучение с людьми
Диагностика модели
Математические основы
Площадки машинного обучения
Статьи по Теме

Генеративный предварительно обученный трансформатор 2 ( GPT-2 ) — это большая языковая модель от OpenAI и вторая в их основной серии моделей GPT . GPT-2 был предварительно обучен на наборе данных из 8 миллионов веб-страниц. [2] Частично он был выпущен в феврале 2019 года, а 5 ноября 2019 года последовал полный выпуск модели с 1,5 миллиардами параметров. [3] [4] [5] [6] [7]

GPT-2 был создан как «прямое расширение» GPT-1. [8] с десятикратным увеличением как количества параметров, так и размера набора обучающих данных. [7] Это обучаемое устройство общего назначения, и его способность выполнять различные задачи является следствием его общей способности точно предсказывать следующий элемент в последовательности. [2] [9] что позволило ему переводить тексты, отвечать на вопросы по теме из текста, обобщать отрывки из более крупного текста, [9] и генерировать текстовый вывод на уровне, иногда неотличимом от человеческого , [10] однако при создании длинных отрывков он может стать повторяющимся или бессмысленным. [11] На смену ему пришли модели GPT-3 и GPT-4, исходный код которых больше не является открытым.

GPT-2, как и его предшественник GPT-1 и его преемники GPT-3 и GPT-4, имеет генеративную предварительно обученную архитектуру трансформатора, реализующую глубокую нейронную сеть , в частности модель трансформатора , [8] который использует внимание вместо старых архитектур, основанных на повторении и свертке. [12] [13] Механизмы внимания позволяют модели выборочно фокусироваться на сегментах входного текста, которые, по ее прогнозам, будут наиболее релевантными. [14] [15] Эта модель позволяет значительно повысить уровень распараллеливания и превосходит предыдущие тесты для моделей на основе RNN/CNN/LSTM. [8]

Обучение [ править ]

Поскольку архитектура преобразователя обеспечивала массовое распараллеливание , модели GPT можно было обучать на более крупных корпусах, чем предыдущие модели NLP (обработка естественного языка). Хотя модель GPT-1 продемонстрировала жизнеспособность этого подхода, GPT-2 позволит продолжить изучение новых свойств сетей, обученных на чрезвычайно больших корпусах. CommonCrawl , большой корпус, созданный с помощью веб-сканирования и ранее использовавшийся для обучения систем НЛП. [16] был рассмотрен из-за большого размера, но был отклонен после того, как дальнейшая проверка выявила большое количество непонятного контента. [2] [16] Вместо этого OpenAI разработала новый корпус, известный как WebText ; вместо того, чтобы без разбора собирать контент из Всемирной паутины , WebText создавался путем очистки только страниц, на которые есть ссылки в сообщениях Reddit , получивших как минимум три голоса «за» до декабря 2017 года. Впоследствии корпус был очищен; HTML- документы были преобразованы в обычный текст, дублирующиеся страницы были удалены, а страницы Википедии были удалены (поскольку их присутствие во многих других наборах данных могло вызвать переобучение ). [2]

Хотя известно, что стоимость обучения GPT-2 составляла 256 долларов в час, [17] [18] количество часов, потраченных на обучение, неизвестно; поэтому общие затраты на обучение не могут быть точно оценены. [19] Однако стоимость сопоставимых больших языковых моделей, использующих архитектуру-трансформер, документирована более подробно; Процессы обучения для BERT и XLNet потребовали соответственно 6 912 и 245 000 долларов США. [18]

Выпуск [ править ]

, опубликованной в феврале 2019 года, Впервые о GPT-2 было объявлено 14 февраля 2019 года. В статье Джеймса Винсента в The Verge говорилось, что, хотя «[то, что он производит, обычно легко идентифицировать как нечеловеческое», оно остается «одним из самых захватывающих еще примеры» программ генерации языка: [20]

Дайте ему фальшивый заголовок, и он напишет остальную часть статьи, полную фальшивых цитат и статистики. Скормите ему первую строчку короткого рассказа, и он расскажет вам, что произойдет с вашим персонажем дальше. Он даже может писать фанфики, если дать правильную подсказку. [20]

The Guardian охарактеризовала эту публикацию как «правдоподобную газетную прозу»; [11] Келси Пайпер из Vox сказала: «Одна из самых крутых систем искусственного интеллекта, которые я когда-либо видел, может также выгнать меня с работы». [21] Гибкость GPT-2 была описана The Verge как «впечатляющая» ; в частности, была отмечена его способность переводить текст между языками, резюмировать длинные статьи и отвечать на простые вопросы. [20]

Исследование Амстердамского университета с использованием модифицированного теста Тьюринга показало, что, по крайней мере, в некоторых сценариях участники не могли отличить стихи, созданные GPT-2, от стихов, написанных людьми. [22]

Ограничения и частичный выпуск [ править ]

Хотя «Скуб» не является реальным продуктом, даже уменьшенная модель, используемая в DistilGPT2, способна создать убедительные аргументы как за, так и против него.

Хотя предыдущие модели OpenAI были немедленно доступны публике, OpenAI первоначально отказалась обнародовать исходный код GPT-2, объявив об этом в феврале, сославшись на риск злонамеренного использования; [11] ограниченный доступ к модели (т. е. к интерфейсу, который позволял вводить и выводить данные, а не к самому исходному коду) был разрешен избранным средствам массовой информации после объявления. [11] могли использовать его Одним из часто цитируемых оправданий было то, что, поскольку сгенерированный текст обычно был совершенно новым, спамеры для обхода автоматических фильтров ; OpenAI продемонстрировала версию GPT-2, настроенную для «создания бесконечных положительных или отрицательных отзывов о продуктах». [11]

Другим оправданием было то, что GPT-2 может использоваться для создания непристойного или расистского текста . Такие исследователи, как Джереми Ховард, предупредили о «технологии, позволяющей полностью заполнить Твиттер, электронную почту и Интернет разумно звучащей, соответствующей контексту прозой, которая заглушит всю остальную речь и ее будет невозможно отфильтровать». [20] Институт искусственного интеллекта Аллена в ответ на GPT-2 анонсировал инструмент для обнаружения «нейронных фейковых новостей». [23]

Однако мнения разделились. В статье The Verge за февраль 2019 года утверждалось, что угроза, исходящая от GPT-2, была преувеличена; [24] Анима Анандкумар , профессор Калифорнийского технологического института и директор по исследованиям машинного обучения в Nvidia , заявила, что нет никаких доказательств того, что GPT-2 обладает возможностями создавать угрозы, описанные OpenAI, и что то, что они сделали, было «противоположностью открытому». охарактеризовав свой отказ выпустить полную модель как «злонамеренную чушь ». [24] The Gradient опубликовал открытое письмо OpenAI с просьбой обнародовать модель, сравнив угрозу, исходящую от ИИ, генерирующего текст, с угрозой, исходящей от печатного станка , и приведя Photoshop в качестве примера «технологии, которая (к счастью) не разрушили современное общество, несмотря на его потенциал хаоса»: [25]

Тридцать лет спустя общество осталось относительно невредимым, несмотря на то, что Photoshop был достаточно прост в использовании для старшеклассников и достаточно повсеместен, чтобы использовать свой собственный глагол. Почему? Именно потому, что о Фотошопе знают все. [25]

Выпуск 774М [ править ]

Хотя OpenAI не выпустила полностью обученную модель или корпуса, на которых она обучалась, описание их методов в предыдущих публикациях (и бесплатная доступность базовой технологии) позволило воспроизвести GPT-2 другими как бесплатное программное обеспечение ; одна из таких реплик, OpenGPT-2, была выпущена в августе 2019 года вместе со свободно лицензируемой версией WebText под названием OpenWebText. Затраты на облачные вычисления для OpenGPT-2 составили примерно 50 000 долларов США. [26]

20 августа 2019 года OpenAI выпустила частичную версию GPT-2 с 774 миллионами параметров (примерно вдвое меньше полной модели с 1,5 миллиардами параметров). [6]

Полная версия 1.5B [ править ]

Первоначальные опасения, что GPT-2 может стать объектом широкого злоупотребления, не оправдались; The Verge сообщает, что «есть причины скептически относиться к заявлениям о том, что технология искусственного интеллекта приведет к своего рода «инфопокалипсису». Начнем с того, что у нас уже есть программы, которые могут генерировать правдоподобный текст в больших объемах за небольшие деньги: люди». [27] К ноябрю 2019 года OpenAI заявила, что они «пока не видели убедительных доказательств неправильного использования», а полная версия с 1,5 миллиардами параметров, обученных с использованием сорока гигабайт данных, «примерно в восемь тысяч раз больше, чем собрание сочинений Шекспира». [28] был выпущен 5 ноября 2019 года. [3] [4]

Малые и средние выпуски [ править ]

Доступны две другие меньшие версии GPT-2, включая небольшую версию с параметрами 117M и среднюю версию с параметрами 355M. Оба доступны для загрузки с Huggingface. [29] [30]

Ограничения [ править ]

GPT-2 может генерировать тематически подходящий текст для ряда сценариев, даже для сюрреалистических, таких как статья CNN о Дональде Трампе , произносящем речь, восхваляющую аниме-персонажа Аску Лэнгли Сорью . Здесь можно увидеть тенденцию генерировать бессмысленный и повторяющийся текст с увеличением длины вывода (даже в полной модели 1.5B); во втором абзаце грамматика начинает ухудшаться, и результат в конечном итоге становится одним бессвязным предложением, повторяемым снова и снова.

Хотя способность GPT-2 генерировать правдоподобные отрывки текста на естественном языке в целом была отмечена положительно, были также отмечены его недостатки, особенно при создании текстов длиной более пары абзацев; Вокс сказал, что «проза довольно грубая, время от времени встречаются нестыковки, и чем длиннее статьи, тем они становятся менее связными». [21] The Verge также отметила, что более длинные образцы письма GPT-2 имеют тенденцию «отклоняться от темы» и лишены общей последовательности; [20] The Register высказал мнение, что «человек, читающий его, должен через некоторое время понять, что что-то не так», и отметил, что «GPT-2 не отвечает на вопросы так же, как другие системы, которые полагаются на алгоритмы для извлечения и получения информации». [17]

Развертывание GPT-2 требует ресурсов; полная версия модели имеет размер более пяти гигабайт, что затрудняет локальное встраивание в приложения и потребляет большие объемы оперативной памяти. Кроме того, выполнение одного прогноза «может занять 100% загрузку ЦП на несколько минут», и даже при обработке на графическом процессоре «один прогноз может занять несколько секунд». [10] Чтобы решить эти проблемы, компания Hugging Face создала DistilGPT2 , используя дистилляцию знаний для создания модели меньшего размера, которая «набирает на несколько баллов ниже по некоторым критериям качества», но «на 33% меньше и в два раза быстрее». [10]

и исследования последующие Применение

Еще до выхода полной версии GPT-2 использовался для множества приложений и сервисов, а также для развлечений. В июне 2019 года был создан субреддит под названием r/SubSimulatorGPT2, в котором различные экземпляры GPT-2, обученные на разных субреддитах, публиковали сообщения и отвечали на комментарии друг друга, создавая ситуацию, когда можно было наблюдать, как «ИИ-персонификация r/Bitcoin спорит». с духом машинного обучения r/ShittyFoodPorn"; [27] к июлю того же года программа на основе GPT-2, выпущенная для автозаполнения строк кода на различных языках программирования, была описана пользователями как «изменившая правила игры». [31]

В 2019 году была запущена AI Dungeon , которая использовала GPT-2 для создания динамических текстовых приключений на основе пользовательского ввода. [32] AI Dungeon теперь предлагает доступ к самой крупной версии API GPT-3 в качестве дополнительного платного обновления. Бесплатная версия сайта использует вторую по величине версию GPT-3. [33] Latitude, компания, созданная на базе AI Dungeon, привлекла начальное финансирование в размере 3,3 миллиона долларов. в 2021 году [34] На нескольких сайтах проводятся интерактивные демонстрации различных экземпляров ГПТ-2 и других моделей трансформаторов. [35] [36] [37]

В феврале 2021 года кризисный центр для проблемных подростков объявил, что они начнут использовать чат-бота на основе GPT-2, чтобы помочь в обучении консультантов, позволяя им общаться с симулированными подростками (это использование было исключительно для внутренних целей и не предполагало ГПТ-2 общаются с самими подростками). [38]

9 мая 2023 года OpenAI выпустила сопоставленную версию GPT-2. OpenAI использовала модель-преемницу GPT-4 для картирования каждого нейрона GPT-2 и определения их функций. [39]

и оценка Производительность ​

GPT-2 пишет вымышленную новостную статью о Эдварда Сноудена действиях после победы на президентских выборах в США в 2020 году (весь выделенный текст сгенерирован машиной). Хотя Сноуден (на момент создания) никогда не избирался на государственную должность, созданный образец грамматически и стилистически верен.

GPT-2 стал способен выполнять множество задач, выходящих за рамки простого создания текста, благодаря широте набора данных и технологии: отвечать на вопросы, обобщать и даже переводить между языками в различных конкретных областях , не получая никаких инструкций, кроме того, как предсказать следующее слово в последовательности. [20] [21]

Одним из примеров обобщенного обучения является способность GPT-2 выполнять машинный перевод между французским и английским языками, для чего производительность GPT-2 оценивалась с помощью задач перевода WMT-14. Учебный корпус GPT-2 практически не включал французского текста; неанглийский текст был намеренно удален при очистке набора данных перед обучением, и, как следствие, только 10 МБ французского языка из оставшихся 40 000 МБ были доступны модели для обучения (в основном из цитат на иностранном языке в сообщениях и статьях на английском языке) . [2]

Несмотря на это, GPT-2 получил 5 BLEU в тестовом наборе WMT-14 с английского на французский (немного ниже оценки перевода с помощью дословной замены). Он также смог превзойти несколько современных (2017 г.) базовых показателей неконтролируемого машинного перевода на тестовом наборе с французского на английский, где GPT-2 достиг 11,5 BLEU. Это остается ниже самого эффективного современного неконтролируемого подхода (2019 г.), который достиг 33,5 BLEU. [2] Однако в других моделях для достижения этих результатов использовалось большое количество французского текста; По оценкам, в GPT-2 использовался одноязычный французский корпус, составляющий примерно 1/500 размера сопоставимых подходов. [2]

архитектура количество параметров данные обучения
ГПТ-1 12-уровневый 12-головочный декодер Transformer (без кодера), за которым следует линейный-softmax. 0,12 миллиарда Книжный корпус : [40] 4,5 ГБ текста из 7000 неопубликованных книг разных жанров.
ГПТ-2 GPT-1, но с измененной нормализацией 1,5 миллиарда Веб-текст: 40 ГБ [41] текста, 8 миллионов документов и 45 миллионов веб-страниц, получивших одобрение на Reddit.
ГПТ-3 GPT-2, но с модификациями, обеспечивающими большее масштабирование. 175 миллиардов 570 ГБ открытого текста, 300 миллиардов токенов CommonCrawl, WebText, английской Википедии и двух корпусов книг (Books1 и Books2).

с 175 миллиардами параметров За GPT-2 должен был последовать GPT-3 . [42] раскрыто публике в 2020 году [43] (исходный код которого никогда не был доступен). Доступ к GPT-3 предоставляется исключительно через API, предлагаемые OpenAI и Microsoft . [44] Позже за этим последовал GPT-4 .

Ссылки [ править ]

  1. ^ «ГПТ-2» . Гитхаб . Архивировано из оригинала 11 марта 2023 года . Проверено 13 марта 2023 г.
  2. ^ Перейти обратно: а б с д Это ж г Рэдфорд, Алек; Ву, Джеффри; Дитя, Ревон; Луан, Дэвид; Амодей, Дарио; Суцкевер, Илуа (14 февраля 2019 г.). «Языковые модели предназначены для многозадачного обучения без присмотра» (PDF) . ОпенАИ . 1 (8). Архивировано (PDF) из оригинала 6 февраля 2021 года . Проверено 19 декабря 2020 г.
  3. ^ Перейти обратно: а б Винсент, Джеймс (7 ноября 2019 г.). «OpenAI опубликовала ИИ, генерирующий текст, который, по ее словам, слишком опасен для распространения» . Грань . Архивировано из оригинала 11 июня 2020 года . Проверено 19 декабря 2020 г.
  4. ^ Перейти обратно: а б «GPT-2: Версия 1.5B» . ОпенАИ . 05.11.2019. Архивировано из оригинала 14 ноября 2019 г. Проверено 14 ноября 2019 г.
  5. ^ Пайпер, Келси (15 мая 2019 г.). «Только что был представлен ИИ, пишущий стихи. Он… довольно хорош» . Вокс . Архивировано из оригинала 7 ноября 2020 года . Проверено 19 декабря 2020 г.
  6. ^ Перейти обратно: а б Джонсон, Хари (20 августа 2019 г.). «OpenAI выпускает урезанную версию языковой модели GPT-2» . ВенчурБит . Архивировано из оригинала 18 декабря 2020 года . Проверено 19 декабря 2020 г.
  7. ^ Перейти обратно: а б «Лучшие языковые модели и их последствия» . ОпенАИ . 14 февраля 2019 года. Архивировано из оригинала 19 декабря 2020 года . Проверено 19 декабря 2020 г.
  8. ^ Перейти обратно: а б с Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер, Илья (11 июня 2018 г.). «Улучшение понимания языка посредством генеративной предварительной подготовки» (PDF) . ОпенАИ . п. 12. Архивировано (PDF) из оригинала 26 января 2021 года . Проверено 23 января 2021 г.
  9. ^ Перейти обратно: а б Хегде, Чайтра; Патил, Шрикумар (9 июня 2020 г.). «Генерация парафразов без присмотра с использованием предварительно обученных языковых моделей». arXiv : 2006.05477 [ cs.CL ].
  10. ^ Перейти обратно: а б с Кайзер, Калеб (31 января 2020 г.). «Слишком большой для развертывания: как GPT-2 ломает серверы» . На пути к науке о данных . Архивировано из оригинала 15 февраля 2020 года . Проверено 27 февраля 2021 г.
  11. ^ Перейти обратно: а б с д Это Херн, Алекс (14 февраля 2019 г.). «Новый генератор фальшивых текстов с использованием искусственного интеллекта может оказаться слишком опасным для публикации, — говорят создатели» . Хранитель . Архивировано из оригинала 14 февраля 2019 года . Проверено 19 декабря 2020 г.
  12. ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
  13. ^ Ола, Крис; Картер, Шан (8 сентября 2016 г.). «Внимание и расширенные рекуррентные нейронные сети» . Дистиллировать . 1 (9). дои : 10.23915/distill.00001 . Архивировано из оригинала 22 декабря 2020 года . Проверено 22 января 2021 г.
  14. ^ Богданов Дмитрий; Чо, Кёнхён; Бенджио, Йошуа (1 сентября 2014 г.). «Нейронный машинный перевод путем совместного обучения выравниванию и переводу». arXiv : 1409.0473 [ cs.CL ].
  15. ^ Луонг, Минь-Танг; Фам, Хьеу; Мэннинг, Кристофер Д. (17 августа 2015 г.). «Эффективные подходы к нейронному машинному переводу, основанному на внимании». arXiv : 1508.04025 [ cs.CL ].
  16. ^ Перейти обратно: а б Трин, Триу Х.; Ле, Куок В. (7 июня 2018 г.). «Простой метод здравого рассуждения». arXiv : 1806.02847 [ cs.CL ].
  17. ^ Перейти обратно: а б Куах, Катянна (14 февраля 2019 г.). «Розы красные, это великолепно: мы скормили последнему чат-боту OpenAI классический заголовок Reg» . Регистр . Архивировано из оригинала 9 марта 2021 года . Проверено 27 февраля 2021 г.
  18. ^ Перейти обратно: а б «Ошеломляющая стоимость обучения моделей SOTA AI» . Синхронизировано . 27 июня 2019 г. Архивировано из оригинала 24 ноября 2020 г. . Проверено 27 февраля 2021 г.
  19. ^ Виггерс, Кайл (23 марта 2020 г.). «Среда Google с открытым исходным кодом, которая снижает затраты на обучение искусственному интеллекту до 80%» . ВенчурБит . Архивировано из оригинала 26 ноября 2020 года . Проверено 27 февраля 2021 г.
  20. ^ Перейти обратно: а б с д Это ж Винсент, Джеймс (14 февраля 2019 г.). «Новый многоталантливый ИИ OpenAI пишет, переводит и клевещет» . Грань . Архивировано из оригинала 18 декабря 2020 года . Проверено 19 декабря 2020 г.
  21. ^ Перейти обратно: а б с Пайпер, Келси (14 февраля 2019 г.). «Написать эту статью нам помог искусственный интеллект» . Вокс . Архивировано из оригинала 8 ноября 2020 года . Проверено 19 декабря 2020 г.
  22. ^ Кёбис, Нильс; Мосинк, Лука Д. (1 января 2021 г.). «Искусственный интеллект против Майи Анжелу: экспериментальные доказательства того, что люди не могут отличить поэзию, созданную ИИ, от поэзии, написанной человеком» . Компьютеры в поведении человека . 114 :106553. doi : 10.1016/j.chb.2020.106553 . hdl : 21.11116/0000-0007-13E5-1 .
  23. ^ Шварц, Оскар (4 июля 2019 г.). «Может ли «фейковый текст» стать следующей глобальной политической угрозой?» . Хранитель . Архивировано из оригинала 16 июля 2019 года . Проверено 16 июля 2019 г.
  24. ^ Перейти обратно: а б Винсент, Джеймс (21 февраля 2019 г.). «Исследователи искусственного интеллекта обсуждают этику обмена потенциально вредными программами» . Грань. Архивировано из оригинала 9 февраля 2021 года . Проверено 27 февраля 2021 г.
  25. ^ Перейти обратно: а б Чжан, Хью (19 февраля 2019 г.). «OpenAI: откройте исходный код вашей языковой модели» . Градиент. Архивировано из оригинала 28 января 2021 года . Проверено 28 февраля 2021 г.
  26. ^ Гокаслан, Аарон; Коэн, Ваня; Павлик, Элли; Теллекс, Стефани (22 августа 2019 г.). «OpenGPT-2: мы скопировали GPT-2, потому что вы тоже можете» . Примечательно. Архивировано из оригинала 29 апреля 2023 года . Проверено 27 февраля 2021 г.
  27. ^ Перейти обратно: а б Винсент, Джеймс (6 июня 2019 г.). «Есть субреддит, полностью заполненный ИИ-персонификациями других субреддитов» . Грань . Архивировано из оригинала 21 февраля 2021 года . Проверено 27 февраля 2021 г.
  28. ^ Мурати, Эрмира (13 апреля 2022 г.). «Творчество в области языка и кодирования | Американская академия искусств и наук» . www.amacad.org . Проверено 18 марта 2024 г.
  29. ^ «ГПТ-2 Малый» .
  30. ^ ГПТ-2 Средний. «Openai-community/Gpt2-medium · Обнимающее лицо» . {{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )
  31. ^ Винсент, Джеймс (24 июля 2019 г.). «Это программное обеспечение для автозаполнения на основе искусственного интеллекта представляет собой Gmail Smart Compose для программистов» . Грань . Архивировано из оригинала 9 марта 2021 года . Проверено 27 февраля 2021 г.
  32. ^ Олсон, Мэтью (17 декабря 2019 г.). «AI Dungeon 2, текстовое приключение, в котором можно делать практически все, теперь и на мобильных устройствах» . Архивировано из оригинала 20 сентября 2020 года . Проверено 27 февраля 2021 г.
  33. ^ Нелиус, Джоанна (3 августа 2020 г.). «Эта текстовая игра «Выбери свое приключение» на базе искусственного интеллекта очень увлекательна и не имеет смысла» . Гизмодо . Архивировано из оригинала 28 февраля 2021 года . Проверено 27 февраля 2021 г.
  34. ^ Ха, Энтони (4 февраля 2021 г.). «Компания Latitude, создающая AI Dungeon, собирает 3,3 миллиона долларов на создание игр с «бесконечными» сюжетными возможностями» . TechCrunch. Архивировано из оригинала 21 февраля 2021 года . Проверено 27 февраля 2021 г.
  35. ^ «Пиши с Трансформером» . Архивировано из оригинала 4 декабря 2019 года . Проверено 4 декабря 2019 г.
  36. ^ «Поговорить с Трансформером» . Архивировано из оригинала 4 декабря 2019 года . Проверено 4 декабря 2019 г.
  37. ^ «КреативЭнджинс» . Архивировано из оригинала 3 февраля 2023 года . Проверено 25 июня 2021 г.
  38. ^ Олхайзер, Эбби; Хао, Карен (26 февраля 2021 г.). «ИИ обучает консультантов работе с подростками, находящимися в кризисной ситуации» . Обзор технологий MIT. Архивировано из оригинала 27 февраля 2021 года . Проверено 27 февраля 2021 г.
  39. ^ «Языковые модели могут объяснить нейроны в языковых моделях» . ОпенАИ . Проверено 13 мая 2023 г.
  40. ^ Чжу, Юкунь; Кирос, Райан; Земель, Рич; Салахутдинов Руслан; Уртасун, Ракель; Торральба, Антонио; Фидлер, Саня (2015). «Согласование книг и фильмов: к сюжетным визуальным объяснениям посредством просмотра фильмов и чтения книг» . Международная конференция по компьютерному зрению 2015 : 19–27. arXiv : 1506.06724 . Архивировано из оригинала 5 февраля 2023 г. Проверено 5 февраля 2023 г.
  41. ^ Мурати, Эрмира (13 апреля 2022 г.). «Творчество в области языка и кодирования | Американская академия искусств и наук» . www.amacad.org . Проверено 18 марта 2024 г.
  42. ^ Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббия, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Дитя, Ревон; Рамеш, Адитья; Зиглер, Дэниел М.; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодей, Дарио (22 июля 2020 г.). «Языковые модели изучаются немногими». arXiv : 2005.14165 [ cs.CL ].
  43. ^ Аррам (9 июля 2020 г.). «GPT-3: ИИ, который удивительно хорошо пишет практически всё» . Аррам Сабети . Архивировано из оригинала 20 июля 2020 года . Проверено 31 июля 2020 г.
  44. ^ Хао, Карен (23 сентября 2020 г.). «OpenAI предоставляет Microsoft эксклюзивный доступ к своей языковой модели GPT-3» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 05 февраля 2021 г. Проверено 25 сентября 2020 г. Компании заявляют, что OpenAI продолжит предлагать свой общедоступный API, который позволяет выбранным пользователям отправлять текст в GPT-3 или другие модели OpenAI и получать его выходные данные. Однако только Microsoft будет иметь доступ к базовому коду GPT-3, что позволит ей встраивать, перепрофилировать и изменять модель по своему усмотрению.
Retrieved from "https://en.wikipedia.org/w/index.php?title=GPT-2&oldid=1227194488"