✖


Jump to content

Генеративный предварительно обученный трансформатор

Часть серии о
Машинное обучение
и интеллектуальный анализ данных
Парадигмы
Проблемы
Кластеризация
Уменьшение размерности
Структурированное предсказание
Обнаружение аномалий
Искусственная нейронная сеть
Обучение с подкреплением
Обучение с людьми
Диагностика модели
Математические основы
Журналы и конференции
Похожие статьи
Оригинальная модель GPT

Генеративные предварительно обученные преобразователи ( GPT ) — это разновидность большой языковой модели (LLM). [1] [2] [3] и выдающаяся основа для генеративного искусственного интеллекта . [4] [5] Это искусственные нейронные сети , которые используются в обработки естественного языка . задачах [6] GPT основаны на архитектуре преобразователя , предварительно обучены на больших наборах данных неразмеченного текста и способны генерировать новый контент, похожий на человеческий. [2] [3] По состоянию на 2023 год большинство LLM обладают этими характеристиками. [7] и иногда их широко называют GPT. [8]

Первый GPT был представлен в 2018 году компанией OpenAI . [9] OpenAI выпустила важные базовые модели GPT , которые имеют последовательную нумерацию и составляют серию «GPT- n ». [10] Каждый из них был значительно более эффективным, чем предыдущий, благодаря увеличенному размеру (количеству обучаемых параметров) и обучению. Самый последний из них, GPT-4 , был выпущен в марте 2023 года. [11] Такие модели легли в основу их систем GPT, более ориентированных на конкретные задачи , включая модели, точно настроенные для следования инструкциям , что, в свою очередь, обеспечивает работу ChatGPT службы чат-ботов . [1]

Термин «GPT» также используется в названиях и описаниях таких моделей, разработанных другими. Например, другие модели фундамента GPT включают серию моделей, созданных EleutherAI , [12] и семь моделей, созданных Cerebras в 2023 году. [13] Кроме того, компании в разных отраслях разработали GPT для конкретных задач в своих областях, например «EinsteinGPT» от Salesforce (для CRM ). [14] и Bloomberg (для финансов). «BloombergGPT» [15]

История

[ редактировать ]

Начальные разработки

[ редактировать ]

Генеративное предварительное обучение (GP) было давно устоявшейся концепцией в приложениях машинного обучения. [16] [17] [18] Первоначально он использовался как форма полуконтролируемого обучения , поскольку модель сначала обучается на немаркированном наборе данных ( этап предварительного обучения ), обучаясь генерировать точки данных в наборе данных, а затем обучается классификации помеченного набора данных. [19]

Хотя ненормированный линейный трансформатор появился в 1992 году, [20] [21] [22] Современная архитектура трансформатора не была доступна до 2017 года, когда она была опубликована исследователями Google в статье « Внимание — это все, что вам нужно ». [23] Это развитие привело к появлению крупных языковых моделей, таких как BERT, в 2018 году. [24] который представлял собой предварительно обученный преобразователь (PT), но не предназначенный для генерации (BERT был моделью «только для кодировщика»). [25] Примерно в то же время, в 2018 году, OpenAI опубликовала свою статью под названием «Улучшение понимания языка посредством генеративного предварительного обучения», в которой представила первую систему генеративного предварительно обученного преобразователя (GPT) (« GPT-1 »). [26]

До появления архитектур на основе преобразователей наиболее эффективные нейронные модели НЛП ( обработки естественного языка ) обычно использовали контролируемое обучение на больших объемах данных, помеченных вручную. Использование контролируемого обучения ограничивало их использование на наборах данных, которые не были хорошо аннотированы, а также делало обучение чрезвычайно больших языковых моделей непомерно дорогим и трудоемким. [26]

Полуконтролируемый подход , использованный OpenAI для создания крупномасштабной генеративной системы (и впервые он применялся к модели преобразователя), включал два этапа: этап неконтролируемого генеративного «предварительного обучения» для установки начальных параметров с использованием цели языкового моделирования и контролируемый этап «предварительного обучения». этап дискриминационной « тонкой настройки » для адаптации этих параметров к целевой задаче. [26]

Более поздние события

[ редактировать ]

Что касается более поздних базовых моделей GPT , OpenAI опубликовала свои первые версии GPT-3 в июле 2020 года. Было три модели с параметрами 1B, 6.7B, 175B, названные соответственно Бэббиджем, Кюри и Давинчи (с инициалами B, C и Д). [ нужна ссылка ]

В июле 2021 года OpenAI опубликовала Codex — модель GPT для конкретных задач, предназначенную для приложений программирования. Он был разработан путем тонкой настройки версии GPT-3 с 12B параметрами (отличной от предыдущих моделей GPT-3) с использованием кода с GitHub . [27]

В марте 2022 года OpenAI опубликовала две версии GPT-3, которые были доработаны для следования инструкциям (instruction-tuned), названные davinci-instruct-beta (175B) и text-davinci-001 . [28] а затем начал бета-тестирование кода-davinci-002 . [29] text-davinci-002 был настроен с помощью инструкций code-davinci-002 . И text-davinci-003, и ChatGPT были выпущены в ноябре 2022 года, причем оба основаны на text-davinci-002 посредством обучения с подкреплением на основе отзывов людей (RLHF). text-davinci-003 обучен следовать инструкциям (как и его предшественники), тогда как ChatGPT дополнительно обучен разговорному взаимодействию с пользователем-человеком. [30] [31]

Самая последняя базовая модель GPT OpenAI, GPT-4 OpenAI , была выпущена 14 марта 2023 года. Пользователи могут получить к ней непосредственный доступ через премиум-версию ChatGPT, а разработчикам она доступна для включения в другие продукты и услуги через API . Среди других производителей моделей фундаментов GPT — EleutherAI ( серия моделей начнется в марте 2021 г.). [12] и Cerebras (семь моделей выпущены в марте 2023 года). [13]

Фундаментальные модели

[ редактировать ]

Базовая модель — это модель ИИ, обученная на обширных данных в таком масштабе, что ее можно адаптировать для широкого спектра последующих задач. [32]

На данный момент наиболее заметными базовыми моделями GPT были OpenAI от серии GPT-n . Самым последним из них является GPT-4 , для которого OpenAI отказалась публиковать размеры или подробности обучения (ссылаясь на «конкурентную среду и влияние крупномасштабных моделей на безопасность»). [33]

OpenAI GPT-n Серия
Модель Архитектура Количество параметров Данные обучения Дата выпуска Стоимость обучения
ГПТ-1 12-уровневый 12-головочный декодер Transformer (без кодера), за которым следует линейный-softmax. 117 миллионов Книжный корпус : [34] 4,5 ГБ текста из 7000 неопубликованных книг разных жанров. 11 июня 2018 г. [9] 30 дней на 8 графических процессорах P600 или 1 петафлопс / с-день. [9]
ГПТ-2 GPT-1, но с измененной нормализацией 1,5 миллиарда WebText: 40 ГБ текста, 8 миллионов документов из 45 миллионов веб-страниц, получивших одобрение на Reddit . 14 февраля 2019 г. (начальная/ограниченная версия) и 5 ​​ноября 2019 г. (полная версия) [35] "десятки петафлопс/с-день", [36] или 1,5e21 ФЛОП. [37]
ГПТ-3 GPT-2, но с модификациями, обеспечивающими большее масштабирование. 175 миллиардов [38] 499 миллиардов токенов, включая CommonCrawl (570 ГБ), WebText, английскую Википедию и два корпуса книг (Books1 и Books2). 28 мая 2020 г. [36] 3640 петафлопс/с-день (таблица D.1) [36] ), или 3.1e23 ФЛОП. [37]
ГПТ-3,5 Нераскрыто 175 миллиардов [38] Нераскрыто 15 марта 2022 г. Нераскрыто
ГПТ-4 Также обучен прогнозированию текста и RLHF ; принимает как текст, так и изображения в качестве входных данных. Дальнейшие подробности не разглашаются. [33] Нераскрыто. По оценкам, 1,7 трлн. [39] Нераскрыто 14 марта 2023 г. Нераскрыто. Примерно 2,1 × 10 25 ФЛОП. [37]

Другие подобные модели включают Google PaLM и которая , широкую базовую модель, которую сравнивают с GPT-3 недавно стала доступна разработчикам через API . [40] [41] и GPT-JT компании Together , который считается наиболее эффективной с открытым исходным кодом альтернативой GPT-3 (и является производным от более ранних GPT с открытым исходным кодом ). [42] Meta AI (ранее Facebook ) также имеет базовую модель большого языка на основе генеративного преобразователя, известную как LLaMA . [43]

Базовые GPT также могут использовать для ввода и/или вывода иные модальности , помимо текста. GPT-4 — это мультимодальный LLM, способный обрабатывать ввод текста и изображений (хотя его вывод ограничен текстом). [44] Что касается мультимодального вывода , некоторые модели на основе генеративных преобразователей используются для технологий преобразования текста в изображение, таких как диффузия. [45] и параллельное декодирование. [46] Такие модели могут служить визуальными базовыми моделями (VFM) для разработки последующих систем, которые могут работать с изображениями. [47]

Модели для конкретных задач

[ редактировать ]

Базовая модель GPT может быть дополнительно адаптирована для создания более целевых систем, ориентированных на конкретные задачи и/или предметные области. Методы такой адаптации могут включать дополнительную тонкую настройку (помимо той, что делается для базовой модели), а также определенные формы оперативного проектирования . [48]

Важным примером этого является точная настройка моделей для следования инструкциям , что, конечно, является довольно широкой задачей, но более целенаправленной, чем базовая модель. В январе 2022 года OpenAI представила «InstructGPT» — серию моделей, которые были настроены для следования инструкциям с использованием комбинации контролируемого обучения и обучения с подкреплением на основе обратной связи от человека (RLHF) на базовых языковых моделях GPT-3. [49] [50] Преимущества, которые это имело по сравнению с простыми базовыми моделями, включали более высокую точность, меньше негативных/токсичных настроений и, как правило, лучшее соответствие потребностям пользователей. Следовательно, OpenAI начала использовать это в качестве основы для своих предложений услуг API . [51] Другие модели, настроенные по инструкциям, были выпущены другими, включая полностью открытую версию. [52] [53]

Другой (связанный) тип моделей, ориентированных на конкретные задачи, — это чат-боты , которые участвуют в общении, подобном человеческому. В ноябре 2022 года OpenAI запустила ChatGPT — интерфейс онлайн-чата, основанный на настроенной на инструкции языковой модели, обученной аналогично InstructGPT. [54] Они обучили эту модель с помощью RLHF, где тренеры ИИ-людей обеспечивали разговоры, в которых они играли как пользователя, так и ИИ, и смешали этот новый набор данных диалога с набором данных InstructGPT для создания диалогового формата, подходящего для чат-бота. Другие крупные чат-боты в настоящее время включают Microsoft от Bing Chat , который использует GPT-4 от OpenAI (в рамках более широкого тесного сотрудничества между OpenAI и Microsoft), [55] и от Google конкурирующий чат-бот Bard (первоначально основанный на их семействе языковых моделей LaMDA , обученных разговорному общению, с планами перехода на PaLM ). [56]

Еще один вид задач, для которых можно использовать GPT, — это метазадача генерации собственных инструкций, например, разработка серии подсказок для «себя», чтобы иметь возможность достичь более общей цели, поставленной пользователем-человеком. [57] Это известно как агент ИИ , а точнее, рекурсивный, поскольку он использует результаты своих предыдущих самоинструкций, чтобы помочь ему сформировать свои последующие подсказки; Первым крупным примером этого был Auto-GPT (который использует модели GPT OpenAI), с тех пор были разработаны и другие. [58]

Мультимодальность

[ редактировать ]

Системы на основе генеративных преобразователей также могут быть предназначены для задач, включающих в себя не только текстовые модальности . Например, Microsoft Visual ChatGPT от сочетает ChatGPT с моделями визуальной основы (VFM), что позволяет вводить или выводить изображения, а также текст. [59] Кроме того, достижения в области технологии преобразования текста в речь предлагают инструменты для создания аудиоконтента при использовании в сочетании с базовыми языковыми моделями GPT. [60]

Специфика предметной области

[ редактировать ]

Системы GPT могут быть ориентированы на определенные области или домены. Ниже приведены некоторые примеры таких моделей и приложений:

  • EinsteinGPT — для областей продаж и маркетинга, для помощи в управлении взаимоотношениями с клиентами (использует GPT-3.5 ). [61] [62]
  • BloombergGPT - для финансовой сферы, чтобы предоставлять финансовые новости и информацию (использует «свободно доступные» методы искусственного интеллекта в сочетании с собственными данными) [63]
  • Ханмиго - описанный как версия GPT для репетиторства в сфере образования, он помогает студентам, использующим Академию Хана , направляя их в учебе, не давая прямых ответов (на базе GPT-4 ). [64] [65]
  • — для службы обмена мгновенными сообщениями Slack , помогающей в навигации и подведении итогов обсуждений (использует ) API OpenAI SlackGPT . [66]
  • BioGPT - для биомедицинской области, для помощи в создании и анализе текста биомедицинской литературы (использует GPT-2 ). [67]

Иногда специфичность предметной области достигается с помощью программных плагинов или надстроек . Например, несколько разных компаний разработали специальные плагины, которые напрямую взаимодействуют с интерфейсом OpenAI ChatGPT . [68] [69] и Google Workspace имеет доступные надстройки, такие как «GPT для таблиц и документов», которые, как сообщается, помогают использовать функции электронных таблиц в Google Sheets . [70] [71]

В ноябре 2023 года OpenAI объявила, что позволяет подписчикам ChatGPT Plus создавать собственные версии ChatGPT (называемые GPT ). [72] Их можно адаптировать для конкретных областей посредством оперативного проектирования, тщательно подобранных наборов данных и/или целевого взаимодействия с внешними инструментами. Пользователи, которые регистрируются как проверенные разработчики, могут публиковать свои собственные GPT для других пользователей с возможностью монетизации. (Это заметно отличается от службы API OpenAI, поскольку она базируется внутри платформы OpenAI.)

Проблемы с брендом

[ редактировать ]

OpenAI , создавшая первый генеративный предварительно обученный преобразователь (GPT) в 2018 году, недавно заявила, что «GPT» следует рассматривать как бренд OpenAI. [73] В апреле 2023 года OpenAI пересмотрела правила использования бренда в своих условиях обслуживания , указав, что другие компании, использующие ее API для запуска своих служб искусственного интеллекта (ИИ), больше не смогут включать «GPT» в такие имена или брендинг. [74] В мае 2023 года OpenAI задействовала службу управления брендом, чтобы уведомить своих клиентов API об этой политике, хотя эти уведомления не содержали явных юридических претензий (таких как обвинения в нарушении прав на товарный знак или требования о прекращении и воздержании ). [73] По состоянию на ноябрь 2023 года OpenAI по-прежнему запрещает лицензиатам API называть свои продукты с помощью «GPT». [75] называются GPT . но компания начала предоставлять своим подписчикам ChatGPT Plus возможность создавать «собственные версии ChatGPT», которые на сайте OpenAI [76] В условиях обслуживания OpenAI говорится, что ее подписчики могут использовать «GPT» в их названиях, хотя это «не поощряется». [75]

Кроме того, OpenAI подала заявку в Ведомство США по патентам и товарным знакам (USPTO) с просьбой зарегистрировать внутригосударственный товарный знак для термина «GPT» в области искусственного интеллекта. [73] OpenAI стремилась ускорить обработку своей заявки, но ВПТЗ США отклонило этот запрос в апреле 2023 года. [77] В мае 2023 года USPTO ответило на заявку, определив, что «GPT» носит как описательный, так и общий характер. [78] По состоянию на ноябрь 2023 года OpenAI продолжает отстаивать свои аргументы с помощью доступных процессов. Тем не менее, невозможность получить зарегистрированный товарный знак в США не исключает определенного уровня предусмотренных общим правом . прав на товарные знаки в США, [79] и/или права на товарные знаки в других странах. [80]

Для любого конкретного типа или объема защиты товарных знаков в США OpenAI необходимо будет установить, что этот термин на самом деле « отличителен » для их конкретных предложений, а также является более широким техническим термином для типа технологии. В некоторых сообщениях СМИ высказывалось предположение, что OpenAI может получить регистрацию товарного знака, косвенно основываясь на известности своего чат-бота продукта на основе GPT, ChatGPT . [77] [81] для которых OpenAI отдельно запросила защиту (и которые она стремилась более строго обеспечить). [82] В других отчетах указывается, что регистрация простого термина «GPT» вряд ли будет предоставлена. [73] [83] поскольку он часто используется как общий термин для обозначения просто систем искусственного интеллекта, в которых используются генеративные предварительно обученные преобразователи. [3] [84] [85] [86] В любом случае, в какой бы степени исключительные права на этот термин ни существовали в США, другим странам следует избегать использования его для аналогичных продуктов или услуг способами, которые могут вызвать путаницу. [83] [87] Если такие права когда-либо станут достаточно широкими, чтобы затрагивать другие устоявшиеся виды использования в этой области, доктрина описательного добросовестного использования товарных знаков все равно сможет продолжать использование, не связанное с брендом. [88]

Избранная библиография

[ редактировать ]

В этом разделе перечислены основные официальные публикации OpenAI и Microsoft об их моделях GPT.

  • GPT-1: отчет, [9] Релиз на GitHub. [89]
  • GPT-2: анонс в блоге, [90] сообщить о своем решении о «поэтапном выпуске», [91] Релиз на GitHub. [92]
  • GPT-3: отчет. [36] Впредь никакого GitHub или любой другой формы выпуска кода.
  • WebGPT: анонс в блоге, [93] отчет, [94]
  • InstructGPT: анонс в блоге, [49] отчет. [50]
  • ChatGPT: объявление в блоге (нет отчета). [54]
  • GPT-4: объявление в блоге, [95] отчеты, [96] [97] модель карты. [98]

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Перейти обратно: а б Хаддад, Мохаммед. «Как работает GPT-4 и как начать использовать его в ChatGPT?» . www.aljazeera.com .
  2. ^ Перейти обратно: а б «Генераторный ИИ: общество должно быть готово к изменениям в правилах игры» . Всемирный экономический форум . 9 января 2023 г.
  3. ^ Перейти обратно: а б с «Искусственный интеллект от А до Я» . Время . 13 апреля 2023 г.
  4. ^ Ху, Лухуэй (15 ноября 2022 г.). «Генераторный ИИ и будущее» . Середина .
  5. ^ «CSDL | Компьютерное общество IEEE» . www.computer.org .
  6. ^ «LibGuides: использование языковых моделей искусственного интеллекта: ChatGPT» .
  7. ^ Тэйвс, Роб. «Следующее поколение больших языковых моделей» . Форбс .
  8. ^ Маккендрик, Джо (13 марта 2023 г.). «Большинство рабочих мест вскоре будут «под влиянием» искусственного интеллекта, предполагают исследования OpenAI и Пенсильванского университета» . Форбс .
  9. ^ Перейти обратно: а б с д «Улучшение понимания языка с помощью обучения без учителя» . openai.com . 11 июня 2018 г. Архивировано из оригинала 18 марта 2023 г. Проверено 18 марта 2023 г.
  10. ^ «От GPT-1 до GPT-4: объяснение и сравнение каждой из моделей GPT OpenAI» . МУО . 11 апреля 2023 г.
  11. ^ «ГПТ-4» . openai.com . Проверено 8 декабря 2023 г.
  12. ^ Перейти обратно: а б Алфорд, Энтони (13 июля 2021 г.). «EleutherAI с открытым исходным кодом, шесть миллиардов параметров, клон GPT-3 GPT-J» . ИнфоQ .
  13. ^ Перейти обратно: а б «Новости» (Пресс-релиз).
  14. ^ Моррисон, Райан (7 марта 2023 г.). «Salesforce запускает EinsteinGPT, созданный с использованием технологии OpenAI» . Технический монитор .
  15. ^ «ChatGPT финансов уже здесь, Bloomberg объединяет искусственный интеллект и финансовые технологии» . Форбс .
  16. ^ Шмидхубер, Юрген (1992). «Изучение сложных, расширенных последовательностей с использованием принципа сжатия истории» (PDF) . Нейронные вычисления . 4 (2): 234–242. дои : 10.1162/neco.1992.4.2.234 . S2CID   18271205 . [ постоянная мертвая ссылка ]
  17. ^ Хинтон (и др.), Джеффри (15 октября 2012 г.). «Глубокие нейронные сети для акустического моделирования при распознавании речи» (PDF) . Журнал обработки сигналов IEEE . Цифровой идентификатор объекта 10.1109/MSP.2012.2205597. дои : 10.1109/MSP.2012.2205597 . S2CID   206485943 .
  18. ^ Дэн, Ли (22 января 2014 г.). «Обучающий обзор архитектур, алгоритмов и приложений для глубокого обучения | Транзакции APSIPA по обработке сигналов и информации | Cambridge Core» . Апсипа Транзакции по обработке сигналов и информации . 3 . Cambridge.org: e2. дои : 10.1017/ацип.2013.9 . S2CID   9928823 .
  19. ^ Эрхан, Дмитрий; Курвиль, Аарон; Бенджио, Йошуа; Винсент, Паскаль (31 марта 2010 г.). «Почему предварительное обучение без присмотра помогает глубокому обучению?» . Материалы тринадцатой международной конференции по искусственному интеллекту и статистике . Материалы семинара и конференции JMLR: 201–208.
  20. ^ Шмидхубер, Юрген (1992). «Научимся контролировать быстрые воспоминания: альтернатива повторяющимся сетям». Нейронные вычисления . 4 (1): 131–139. дои : 10.1162/neco.1992.4.1.131 . S2CID   16683347 .
  21. ^ Шлаг, Иманол ; Ириэ, Кадзуки; Шмидхубер, Юрген (2021). «Линейные трансформаторы — тайно быстрые программисты веса». ICML 2021 . Спрингер. стр. 9355–9366.
  22. ^ Катаропулос, Ангелос; Вьяс, Апурв; Паппас, Николаос; Флере, Франсуа (2020). «Трансформеры — это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием» . ИКМЛ 2020 . ПМЛР. стр. 5156–5165.
  23. ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
  24. ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова Кристина (24 мая 2019 г.). «BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». Ассоциация компьютерной лингвистики . arXiv : 1810.04805v2 .
  25. ^ Наик, Амит Раджа (23 сентября 2021 г.). «Google представляет новую архитектуру для снижения стоимости трансформаторов» . Журнал Analytics India .
  26. ^ Перейти обратно: а б с Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер, Илья (11 июня 2018 г.). «Улучшение понимания языка посредством генеративной предварительной подготовки» (PDF) . ОпенАИ . п. 12. Архивировано (PDF) из оригинала 26 января 2021 года . Проверено 23 января 2021 г.
  27. ^ Чен, Марк; Творек, Джерри; Джун, Хиу; Юань, Цимин; Понде де Оливейра Пинту, Энрике; Каплан, Джаред; Эдвардс, Харри; Бурда, Юрий; Джозеф, Николас; Брокман, Грег; Рэй, Алекс; Пури, Рауль; Крюгер, Гретхен; Петров, Михаил; Хлааф, Хайди (01 июля 2021 г.). «Оценка больших языковых моделей, обученных на коде» . Ассоциация компьютерной лингвистики . arXiv : 2107.03374 .
  28. ^ Оуян, Лонг; Ву, Джеффри; Цзян, Сюй; Алмейда, Диого; Уэйнрайт, Кэрролл; Мишкин, Памела; Чжан, Чонг; Агарвал, Сандхини; Слама, Катарина; Рэй, Алекс; Шульман, Джон; Хилтон, Джейкоб; Келтон, Фрейзер; Миллер, Люк; Сименс, Мэдди (6 декабря 2022 г.). «Обучение языковых моделей следованию инструкциям с обратной связью от человека» . Достижения в области нейронных систем обработки информации . 35 : 27730–27744. arXiv : 2203.02155 .
  29. ^ «Новые возможности GPT-3: редактирование и вставка» . openai.com . Проверено 24 июня 2023 г.
  30. ^ Фу, Яо; Пэн, Хао; Хот, Тушар (2022). «Как GPT приобретает свои способности? Отслеживание новых способностей языковых моделей до их источников» . Идея Яо Фу .
  31. ^ «Модельный индекс для исследователей» . API OpenAI . Архивировано из оригинала 23 июня 2023 года . Проверено 23 июня 2023 г.
  32. ^ «Представляем Центр исследований моделей фундамента (CRFM)» . Стэнфорд ХАЙ . 18 августа 2021 г.
  33. ^ Перейти обратно: а б ОпенАИ (2023 г.). «Технический отчет GPT-4» (PDF) . Архивировано (PDF) из оригинала 14 марта 2023 г. Проверено 16 марта 2023 г.
  34. ^ Чжу, Юкунь; Кирос, Райан; Земель, Рич; Салахутдинов Руслан; Уртасун, Ракель; Торральба, Антонио; Фидлер, Саня (2015). Согласование книг и фильмов: к визуальным объяснениям, похожим на сюжеты, путем просмотра фильмов и чтения книг . Международная конференция IEEE по компьютерному зрению (ICCV), 2015. стр. 19–27. arXiv : 1506.06724 . Архивировано из оригинала 5 февраля 2023 г. Проверено 7 февраля 2023 г.
  35. ^ Винсент, Джеймс (7 ноября 2019 г.). «OpenAI опубликовала ИИ, генерирующий текст, который, по ее словам, слишком опасен для распространения» . Грань .
  36. ^ Перейти обратно: а б с д Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббия, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Дитя, Ревон; Рамеш, Адитья; Зиглер, Дэниел М.; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодей, Дарио (28 мая 2020 г.). «Языковые модели изучаются немногими». НейриПС . arXiv : 2005.14165v4 .
  37. ^ Перейти обратно: а б с «Визуализация тенденций ввода ML» . Эпоха . Проверено 2 мая 2023 г.
  38. ^ Перейти обратно: а б Вер Меер, Дэйв (1 июня 2023 г.). «Статистика ChatGPT» . ИмяPepper . Проверено 9 июня 2023 г.
  39. ^ «GPT-4 имеет более триллиона параметров – Доклад» . 25 марта 2023 г.
  40. ^ Винсент, Джеймс (14 марта 2023 г.). «Google открывает свою языковую модель искусственного интеллекта PaLM, чтобы бросить вызов OpenAI и GPT-3» . Грань .
  41. ^ «Google открывает доступ к языковой модели PaLM» .
  42. ^ Айер, Апарна (30 ноября 2022 г.). «Познакомьтесь с GPT-JT, ближайшей альтернативой GPT-3 с открытым исходным кодом» . Журнал Analytics India .
  43. ^ «Meta дебютирует языковую модель искусственного интеллекта, но она предназначена только для исследователей» . ПКМАГ .
  44. ^ Ислам, Архам (27 марта 2023 г.). «Мультимодальные языковые модели: будущее искусственного интеллекта (ИИ)» . Архивировано из оригинала 15 мая 2023 года . Проверено 15 мая 2023 г.
  45. ^ Ислам, Архам (14 ноября 2022 г.). «Как работают DALL·E 2, стабильная диффузия и Midjourney?» .
  46. ^ Саха, Шритама (4 января 2023 г.). «Google запускает Muse, новую модель преобразования текста в изображение» . Журнал Analytics India .
  47. ^ У (и др.), Чэньфэй (8 марта 2023 г.). «Визуальный чатGPT». arXiv : 2303.04671 [ cs.CV ].
  48. ^ Боммасани (и др.), Риши (12 июля 2022 г.). «О возможностях и рисках моделей фундамента». arXiv : 2108.07258 [ cs.LG ].
  49. ^ Перейти обратно: а б «Приведение языковых моделей в соответствие с инструкциями» . openai.com . Архивировано из оригинала 23 марта 2023 года . Проверено 23 марта 2023 г.
  50. ^ Перейти обратно: а б Оуян, Лонг; Ву, Джефф; Цзян, Сюй; и др. (4 ноября 2022 г.). «Обучение языковых моделей следованию инструкциям с обратной связью от человека». НейриПС . arXiv : 2203.02155 .
  51. ^ Рамнани, Мита (28 января 2022 г.). «OpenAI отказывается от собственного GPT-3 ради чего-то под названием InstructGPT, и по уважительной причине» . Журнал Analytics India .
  52. ^ «Стэнфордский CRFM» . crfm.stanford.edu .
  53. ^ «Free Dolly: представляем первый в мире по-настоящему открытый LLM с настроенной инструкцией» . Блоки данных . 12 апреля 2023 г.
  54. ^ Перейти обратно: а б «Представляем ChatGPT» . openai.com . Архивировано из оригинала 16 марта 2023 г. Проверено 16 марта 2023 г.
  55. ^ Виггерс, Кайл (4 мая 2023 г.). «Microsoft удваивает возможности искусственного интеллекта с новыми функциями Bing» .
  56. ^ «ChatGPT против Bing против Google Bard: какой искусственный интеллект наиболее полезен?» . CNET .
  57. ^ «Auto-GPT, BabyAGI и AgentGPT: как использовать агенты ИИ» . Машаемый . 19 апреля 2023 г.
  58. ^ Марр, Бернард. «Auto-GPT может быть мощным инструментом искусственного интеллекта, превосходящим ChatGPT» . Форбс .
  59. ^ «Мультимодальный чат-бот Microsoft с открытым исходным кодом Visual ChatGPT» . ИнфоQ .
  60. ^ Эдвардс, Бендж (9 января 2023 г.). «Новый искусственный интеллект Microsoft может имитировать чей-либо голос с помощью 3-секундного звука» . Арс Техника .
  61. ^ Моррисон, Райан (7 марта 2023 г.). «Salesforce запускает EinsteinGPT, созданный с использованием технологии OpenAI» .
  62. ^ Шарма, Анимеш К.; Шарма, Рахул (2023). «Роль генеративных предварительно обученных преобразователей (GPT) в революции в цифровом маркетинге: концептуальная модель» . Журнал стратегии культурного маркетинга . 8 (1): 80–90.
  63. ^ Лесвинг, Киф (13 апреля 2023 г.). «Bloomberg планирует интегрировать ИИ в стиле GPT в свой терминал» . CNBC .
  64. ^ «Обучающаяся некоммерческая организация «Академия Хана» тестирует версию GPT под названием «Кханмиго» . Компания Фаст . 4 мая 2023 г. . Проверено 22 мая 2023 г.
  65. ^ «Инструмент Kanmigo с приводом от GPT-4 для пилотов Академии Хана для учителей» . Журнал .
  66. ^ Хачман, Марк (4 мая 2023 г.). «Slack GPT привнесет в ваши разговоры чат-ботов с искусственным интеллектом» . ПКМир .
  67. ^ Луо (и др.), Ренцянь (3 апреля 2023 г.). «BioGPT: Генеративный предварительно обученный преобразователь для генерации и анализа биомедицинского текста». Брифинги по биоинформатике . 23 (6). arXiv : 2210.10341 . дои : 10.1093/нагрудник/bbac409 . ПМИД   36156661 .
  68. ^ «Узнайте о 13 лучших плагинах ChatGPT, предназначенных для улучшения вашего пользовательского опыта» . Последние тенденции цифровой трансформации | Облачные новости | Провод19 . 5 мая 2023 г.
  69. ^ «Плагины ChatGPT» . openai.com .
  70. ^ «Как использовать ChatGPT в Google Sheets с GPT для Sheets и Docs» . МУО . 12 марта 2023 г.
  71. ^ Асай, Мэтт (27 февраля 2023 г.). «Используйте и расширяйте Excel для подготовки данных ИИ» . Инфомир .
  72. ^ https://www.techopedia.com/definition/openai-gpts
  73. ^ Перейти обратно: а б с д Хикс, Уильям (10 мая 2023 г.). «Создатель ChatGPT, компания OpenAI, просит стартапы удалить «GPT» из своих названий» . Деловой журнал . Проверено 21 мая 2023 г.
  74. ^ OpenAI (24 апреля 2023 г.). «Руководство по бренду» . Проверено 21 мая 2023 г.
  75. ^ Перейти обратно: а б «Руководство по бренду» .
  76. ^ «Знакомство с GPS» .
  77. ^ Перейти обратно: а б Ха, Алекса (26 апреля 2023 г.). «OpenAI не удалось ускорить попытку зарегистрировать торговую марку GPT » . Дизайн ТАКСИ . Проверено 21 мая 2023 г.
  78. ^ «НЕОКОНЧАТЕЛЬНОЕ ОФИСНОЕ АКЦИЯ» . ВПТЗ США . 25 мая 2023 г.
  79. ^ «Закон США о товарных знаках» . Декабрь 2015.
  80. ^ «Международные права на товарные знаки» .
  81. ^ «OpenAI хочет зарегистрировать торговую марку GPT на фоне роста числа чат-ботов с искусственным интеллектом» . Тех Таймс. 25 апреля 2023 г. Проверено 21 мая 2023 г.
  82. ^ Луиза, Ники (3 апреля 2023 г.). «OpenAI подает иск в соответствии с UDRP против нынешнего владельца ChatGPT.com» . Проверено 21 мая 2023 г.
  83. ^ Перейти обратно: а б Демчак, Траматм-Игорь (26 апреля 2023 г.). «Битва OpenAI за защиту бренда: может ли GPT стать товарным знаком?» . Лексология . Архивировано из оригинала 5 мая 2023 года . Проверено 22 мая 2023 г.
  84. ^ Лоутон, Джордж (20 апреля 2023 г.). «ChatGPT против GPT: чем они отличаются? | TechTarget» . Корпоративный ИИ . Архивировано из оригинала 9 мая 2023 года . Проверено 21 мая 2023 г.
  85. ^ Робб, Дрю (12 апреля 2023 г.). «GPT-4 против ChatGPT: сравнение чат-ботов с искусственным интеллектом» . еНЕДЕЛЯ . Проверено 21 мая 2023 г.
  86. ^ Руссо, Филип (22 августа 2023 г.). «Генезис генеративного искусственного интеллекта для всего и везде одновременно в CRE» . Коммерческий обозреватель . Архивировано из оригинала 24 августа 2023 года.
  87. ^ «Нарушение прав на товарный знак» .
  88. ^ Райнтген, Husch Blackwell LLP - Кэтлин А. (16 августа 2013 г.). «Брендинг 101: добросовестное использование товарных знаков» . Лексология . Проверено 21 мая 2023 г.
  89. ^ Finetune-transformer-lm , OpenAI, 11 июня 2018 г. , получено 1 мая 2023 г.
  90. ^ «GPT-2: выпуск 1.5B» . openai.com . Проверено 1 мая 2023 г.
  91. ^ Сулейман, Ирен ; Брандейдж, Майлз; Кларк, Джек; Аскелл, Аманда; Герберт-Восс, Ариэль; Ву, Джефф; Рэдфорд, Алек; Крюгер, Гретхен; Ким, Чон Ук; Крепс, Сара; Маккейн, Майлз; Ньюхаус, Алекс; Блазакис, Джейсон; Макгаффи, Крис; Ван, Жасмин (12 ноября 2019 г.). «Стратегии выпуска и социальное воздействие языковых моделей». arXiv : 1908.09203 [ cs.CL ].
  92. ^ gpt-2 , OpenAI, 01 мая 2023 г. , получено 1 мая 2023 г.
  93. ^ «WebGPT: повышение фактической точности языковых моделей посредством просмотра веб-страниц» . openai.com . Архивировано из оригинала 21 июня 2023 года . Проверено 2 июля 2023 г.
  94. ^ Накано, Рейитиро; Хилтон, Джейкоб; Баладжи, Сучир; Ву, Джефф; Оуян, Лонг; Ким, Кристина; Гессен, Кристофер; Джайн, Шантану; Косараджу, Винет; Сондерс, Уильям; Цзян, Сюй; Коббе, Карл; Элунду, Тайна; Крюгер, Гретхен; Баттон, Кевин (01 декабря 2021 г.). «WebGPT: ответы на вопросы с помощью браузера и обратная связь с человеком» . КОРР . arXiv : 2112.09332 .
  95. ^ «ГПТ-4» . openai.com . Проверено 1 мая 2023 г.
  96. ^ ОпенАИ (27 марта 2023 г.). «Технический отчет GPT-4». arXiv : 2303.08774 [ cs.CL ].
  97. ^ Бубек, Себастьен; Чандрасекаран, Варун; Эльдан, Ронен; Герке, Йоханнес; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Паланги, Хамид; Рибейро, Марко Тулио; Чжан, И (13 апреля 2023 г.). «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4». arXiv : 2303.12712 [ cs.CL ].
  98. ^ Системная карта GPT-4 , OpenAI, 23 марта 2023 г. (по состоянию на 22 мая 2023 г.).
Retrieved from "https://en.wikipedia.org/w/index.php?title=Generative_pre-trained_transformer&oldid=1234882803"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 4a1ec39292a9e7d1ccd8e05ebee09bcb__1721137200
URL1:https://arc.ask3.ru/arc/aa/4a/cb/4a1ec39292a9e7d1ccd8e05ebee09bcb.html
Заголовок, (Title) документа по адресу, URL1:
Generative pre-trained transformer - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)