ГПТ-3

Из Википедии, бесплатной энциклопедии
См. Также: Генеративный предварительно обученный преобразователь § Фундаментальные модели.

Генеративный предварительно обученный трансформатор 3 (GPT-3)
Оригинальный автор(ы) ОпенАИ [1]
Начальная версия 28 мая 2020 г. (публикация); 11 июня 2020 г. (бета-версия OA API)
Репозиторий
Предшественник ГПТ-2
Преемник ГПТ-3,5
ГПТ-4
Тип
Веб-сайт опенай .с /блог /openai-api
Часть серии о
Машинное обучение
и интеллектуальный анализ данных
Парадигмы
Проблемы
Кластеризация
Уменьшение размерности
Структурированное предсказание
Обнаружение аномалий
Искусственная нейронная сеть
Обучение с подкреплением
Обучение с людьми
Диагностика модели
Математические основы
Площадки машинного обучения
Статьи по Теме

Генеративный предварительно обученный трансформатор 3 ( GPT-3 ) — это большая языковая модель , выпущенная OpenAI в 2020 году.

Как и его предшественник GPT-2 , он предназначен только для декодера. [2] Трансформаторная модель глубокой нейронной сети, которая заменяет архитектуры, основанные на рекуррентности и свертке, методом, известным как « внимание ». [3] Этот механизм внимания позволяет модели выборочно фокусироваться на сегментах входного текста, которые, по ее прогнозам, будут наиболее релевантными. [4] GPT-3 имеет 175 миллиардов параметров , каждый из которых имеет 16-битную точность, поэтому требуется 350 ГБ дискового пространства, поскольку каждый параметр занимает 2 байта пространства. Он имеет размер контекстного окна в 2048 токенов и продемонстрировал сильные нулевым и малым количеством шагов при выполнении многих задач. способности к обучению с [2]

22 сентября 2020 года Microsoft объявила, что лицензировала исключительно GPT-3. Другие по-прежнему могут получать выходные данные из общедоступного API, но только Microsoft имеет доступ к базовой модели. [5]

Предыстория [ править ]

По данным The Economist , улучшенные алгоритмы, более мощные компьютеры и недавнее увеличение количества оцифрованных материалов способствовали революции в машинном обучении . Новые методы 2010-х годов привели к «быстрому улучшению задач», включая управление языком. [6]

Модели программного обеспечения обучаются обучению с использованием тысяч или миллионов примеров в «структуре   … в значительной степени основанной на нейронной архитектуре мозга». [6] Одна из архитектур, используемых в обработке естественного языка (НЛП), представляет собой нейронную сеть, основанную на модели глубокого обучения , представленной в 2017 году, — архитектуре преобразователя . [7] Существует ряд систем НЛП, способных обрабатывать, извлекать, организовывать, связывать и сопоставлять текстовый ввод, а также правильно отвечать на вопросы. [8]

11 июня 2018 года исследователи и инженеры OpenAI опубликовали документ, в котором представлен первый генеративный предварительно обученный преобразователь (GPT) — тип генеративной модели большого языка , которая предварительно обучается с помощью огромного и разнообразного текстового корпуса в наборах данных , а затем дискриминационного тонкая настройка для фокусировки на конкретной задаче. Модели GPT представляют собой архитектуры нейронных сетей глубокого обучения на основе трансформаторов. Раньше наиболее эффективные нейронные модели НЛП обычно использовали контролируемое обучение на больших объемах размеченных вручную данных, что делало обучение чрезвычайно больших языковых моделей непомерно дорогим и трудоемким. [2] Первая модель GPT была известна как «GPT-1», а в феврале 2019 года за ней последовала «GPT-2». Созданная как прямое расширение своей предшественницы, GPT-2 имела увеличенное количество параметров и размер набора данных. в 10 раз. Он имел 1,5 миллиарда параметров и был обучен на наборе данных из 8 миллионов веб-страниц. [9]

В феврале 2020 года Microsoft представила свою генерацию естественного языка Тьюринга (T-NLG), которая, по их утверждению, была «крупнейшей языковой моделью, когда-либо опубликованной, с 17 миллиардами параметров». [10] Он лучше, чем любая другая языковая модель, справлялся с различными задачами, включая обобщение текстов и ответы на вопросы .

Обучение и возможности [ править ]

Образец студенческого эссе по педагогике , написанный GPT-3

Концепция «стилей обучения» проблематична, поскольку она не учитывает процессы, посредством которых формируются стили обучения. Некоторые учащиеся могут выработать определенный стиль обучения, потому что у них есть особый опыт. Другие могут разработать особый стиль обучения, пытаясь приспособиться к учебной среде, которая не совсем соответствует их потребностям в обучении. В конечном счете, нам необходимо понять взаимодействие между стилями обучения, факторами окружающей среды и личными факторами, а также то, как они влияют на то, как мы учимся и какие виды обучения мы получаем.

– Текст создан Майком Шарплсом. [11]

28 мая 2020 года в препринте arXiv , подготовленном группой из 31 инженера и исследователя OpenAI, описаны достижения и разработка GPT-3, «современной языковой модели третьего поколения». [1] [12] Команда увеличила мощность GPT-3 более чем на два порядка по сравнению с его предшественником GPT-2. [13] что делает GPT-3 крупнейшей на сегодняшний день неразреженной языковой моделью. [1] :  14  [14] Поскольку GPT-3 конструктивно похож на своих предшественников, [1] его большая точность объясняется его увеличенной емкостью и большим количеством параметров. [15] Емкость GPT-3 в десять раз превышает емкость Turing NLG от Microsoft, следующей по величине модели НЛП, известной в то время. [12]

составит около 4,6 миллиона долларов США и 355 лет. По оценкам Lambdalabs, гипотетическая стоимость обучения GPT-3 на одном графическом процессоре в 2020 году [16] с меньшим фактическим временем обучения за счет параллельного использования большего количества графических процессоров.

Шестьдесят процентов взвешенного набора данных предварительного обучения для GPT-3 поступает из отфильтрованной версии Common Crawl , состоящей из 410 миллиардов токенов, закодированных парами байтов . [1] : 9  Другими источниками являются 19 миллиардов токенов из WebText2, что составляет 22% от взвешенной суммы, 12 миллиардов токенов из Books1, что составляет 8%, 55 миллиардов токенов из Books2, что составляет 8%, и 3 миллиарда токенов из Википедии, что составляет 3%. [1] : 9  GPT-3 был обучен на сотнях миллиардов слов, а также способен кодировать, среди прочего, на CSS , JSX и Python . [17]

Данные обучения GPT-3 [1] : 9 
Набор данных # токена Пропорция
в рамках обучения
Обычное сканирование 410 миллиардов 60%
Вебтекст2 19 миллиардов 22%
Книги1 12 миллиардов 8%
Книги2 55 миллиардов 8%
Википедия 3 миллиарда 3%

Поскольку данные обучения GPT-3 являются всеобъемлющими, он не требует дальнейшего обучения для выполнения отдельных языковых задач. [17] Данные обучения время от времени содержат токсичную речь, а GPT-3 иногда генерирует токсичную речь в результате имитации данных обучения. Исследование Вашингтонского университета показало, что GPT-3 производит токсичную речь на уровне токсичности, сравнимом с аналогичными моделями обработки естественного языка GPT-2 и CTRL. OpenAI реализовала несколько стратегий, чтобы ограничить количество токсичного языка, генерируемого GPT-3. В результате GPT-3 создал менее токсичный язык по сравнению с его предшественником, GPT-1, хотя он произвел как больше поколений, так и более высокую токсичность токсичного языка по сравнению с CTRL Wiki, языковой моделью, полностью обученной на данных Википедии. [18]

11 июня 2020 года OpenAI объявила, что пользователи могут запросить доступ к ее удобному API GPT-3 — «набору инструментов машинного обучения» — чтобы помочь OpenAI «изучить сильные и слабые стороны» этой новой технологии. [19] [20] В приглашении описывалось, что этот API имеет универсальный интерфейс «ввод и вывод текста», который может выполнить практически «любую задачу на английском языке» вместо обычного единственного варианта использования. [19] По словам одного пользователя, имевшего доступ к частной ранней версии API OpenAI GPT-3, GPT-3 был «удивительно хорош» в написании «удивительно связного текста» всего с несколькими простыми подсказками. [21] В первоначальном эксперименте 80 испытуемых из США попросили оценить, написаны ли короткие статьи размером примерно в 200 слов людьми или GPT-3. Участники правильно судили в 52% случаев, что лишь немногим лучше, чем случайное угадывание. [1]

18 ноября 2021 года OpenAI объявила, что было реализовано достаточно мер безопасности, чтобы доступ к ее API был неограниченным. [22] OpenAI предоставила разработчикам инструмент модерации контента, который помогает им соблюдать политику OpenAI в отношении контента. [23] 27 января 2022 года OpenAI объявила, что ее новейшие языковые модели GPT-3 (совместно называемые InstructGPT) теперь являются языковой моделью по умолчанию, используемой в их API . По данным OpenAI, InstructGPT создавал контент, который лучше соответствовал намерениям пользователя, лучше следуя инструкциям, генерируя меньше выдуманных фактов и создавая несколько менее токсичный контент. [24]

Поскольку GPT-3 может «создавать новостные статьи, которые людям-оценщикам трудно отличить от статей, написанных людьми», [12] GPT-3 обладает «потенциалом для продвижения как полезных, так и вредных применений языковых моделей». [1] : 34  В своей статье от 28 мая 2020 года исследователи подробно описали потенциальные «вредные эффекты GPT-3». [12] К ним относятся «дезинформация, спам , фишинг , злоупотребление юридическими и государственными процессами , мошенническое написание академических эссе и предлоги социальной инженерии ». [1] Авторы обращают внимание на эти опасности и призывают к проведению исследований по снижению рисков . [1] : 34 

GPT-3 способен выполнять обучение с нулевым и малым количеством шагов (включая однократное). [1]

В июне 2022 года Альмира Османович Тунстрём написала, что GPT-3 была основным автором статьи о себе, что они представили ее для публикации. [25] и что он был предварительно опубликован в ожидании завершения его рассмотрения. [26]

Модели GPT-3 [ править ]

В семействе GPT-3 имеется множество моделей, некоторые из которых служат разным целям, другие — другие. В первоначальной исследовательской статье, опубликованной OpenAI, они упомянули 8 различных размеров основной модели GPT-3:

Название модели Параметры Имя API
ГПТ-3 Малый 125 М н/д
ГПТ-3 Средний 350 М Есть
ГПТ-3 Большой 760 М н/д
ГПТ-3 XL 1,3 Б Бэббидж
ГПТ-3 2,7Б 2,7 Б н/д
ГПТ-3 6,7Б 6,7 Б кюри
ГПТ-3 13Б 13Б н/д
ГПТ-3 175Б 175Б Да Винчи

Половина моделей доступна через API, а именно GPT-3-medium, GPT-3-xl, GPT-3-6.7B и GPT-3-175b, которые называются ada, babbage, curie и davinci соответственно. Хотя размер моделей API изначально не был раскрыт OpenAI, EleutherAI объявила о сопоставлении размеров моделей и названий API в мае 2021 года. [27] Эти размеры модели позже были подтверждены OpenAI. [28] но размеры последующих моделей не разглашаются.

Модель Параметры Описание Ряд
Есть 350 М Способен выполнять очень простые задачи, обычно самая быстрая модель серии GPT-3 и самая низкая стоимость. База ГПТ-3
Бэббидж

Бэббидж-002

1,3 Б Способен решать простые задачи, очень быстро и с меньшими затратами. База ГПТ-3
кюри 6.7Б Очень мощный, но быстрее и дешевле, чем Давинчи. База ГПТ-3
Да Винчи

Давинчи-002

175 Б Самая мощная модель GPT-3. Может выполнять любые задачи, которые могут выполнять другие модели, часто с более высоким качеством. База ГПТ-3
текст-а-001 350 М Способен выполнять очень простые задачи, обычно самая быстрая модель серии GPT-3 и самая низкая стоимость. ИнструктироватьGPT
текст-бэббидж-001 1,3Б Способен решать простые задачи, очень быстро и с меньшими затратами. ИнструктироватьGPT
текст-кюри-001 6.7Б Очень мощный, быстрый и дешевый, чем Davinci. ИнструктироватьGPT
текст-давинчи-001 175Б Старая версия самой мощной модели серии GPT-3. Может выполнять любую задачу, которую могут выполнять другие модели GPT-3, часто с меньшим контекстом. ИнструктироватьGPT
текст-давинчи-002

код-давинчи-002

Нераскрыто Подобные возможности для text-davinci-003 но обучен с контролируемой точной настройкой вместо обучения с подкреплением ГПТ-3,5
текст-давинчи-003 Нераскрыто Может выполнять любую языковую задачу с лучшим качеством, более длительным выводом и последовательным выполнением инструкций, чем модели Кюри, Бэббиджа или Ады. Также поддерживает вставку дополнений в текст. ГПТ-3,5
gpt-3.5-турбо

gpt-3.5-турбо-инструкция gpt-3.5-турбо-16к

Нераскрыто Самая мощная и экономичная (самая быстрая) модель GPT-3.5, оптимизированная для чата, за 1/10 стоимости text-davinci-003. ГПТ-3,5

GPT-3.5 [ править ]

Генеративный предварительно обученный трансформатор 3.5 (GPT-3.5)
Оригинальный автор(ы) ОпенАИ [1]
Начальная версия 15 марта 2022 г .; 2 года назад ( 15.03.2022 )
Репозиторий н/д
Предшественник ГПТ-3
Преемник ГПТ-4
Тип
Лицензия Частный
Веб-сайт н/д

Генеративный предварительно обученный трансформатор 3.5 ( GPT-3.5 ) — это подкласс моделей GPT-3, созданный OpenAI в 2022 году.

15 марта 2022 года OpenAI предоставила в своем API новые версии GPT-3 и Кодекса с возможностями редактирования и вставки под именами «text-davinci-002» и «code-davinci-002». [29] Эти модели были описаны как более функциональные, чем предыдущие версии, и были обучены на данных до июня 2021 года. [30] 28 ноября 2022 года OpenAI представила text-davinci-003. [31] 30 ноября 2022 года OpenAI начала относить эти модели к серии GPT-3.5. [30] и выпустил ChatGPT , который был доработан на основе модели серии GPT-3.5. [32] OpenAI не включает GPT-3.5 в GPT-3. [33]

Модели [ править ]

Есть четыре модели: [34]

  • Чат
    • gpt-3.5-турбо
  • Завершение текста
    • текст-давинчи-003
    • текст-давинчи-002

GPT-3.5 с просмотром [ править ]

10 апреля 2023 года OpenAI представила новый вариант своей модели серии GPT-3.5, известный как GPT-3.5 с просмотром (ALPHA). [35] Было описано, что эта обновленная модель основана на возможностях своих предшественников «text-davinci-002» и «code-davinci-002». [36] Модель GPT-3.5 с просмотром (ALPHA) включала возможность доступа и просмотра онлайн-информации. Это привело к более точным и актуальным ответам на запросы пользователей. [35]

Модель GPT-3.5 с просмотром (ALPHA) была обучена на данных до сентября 2021 года, что дает ей больше информации по сравнению с предыдущими моделями GPT-3.5, которые обучались на данных до июня 2021 года. Модель была предпринята попытка предоставить разработчикам и пользователям с передовым инструментом обработки естественного языка, который может эффективно извлекать и синтезировать онлайн-информацию. [35]

Чтобы включить возможности просмотра, OpenAI реализовала новый API , который позволяет модели GPT-3.5 с просмотром (ALPHA) получать доступ к выбранным онлайн-ресурсам во время работы. [37] Эта функция позволяет пользователям задавать вопросы или запрашивать информацию, ожидая, что модель предоставит обновленные, точные и актуальные ответы на основе последних доступных ей онлайн-источников.

27 апреля 2023 года OpenAI сделала модель GPT-3.5 с просмотром (ALPHA) общедоступной для пользователей GPT Plus. Это позволило большему количеству людей получить доступ к его новым функциям. [37]

InstructGPT [ править ]

InstructGPT — это доработанная версия GPT-3.5, обученная на наборе данных инструкций, написанных человеком. [38]

Прием [ править ]

Приложения [ править ]

  • GPT-3, а точнее модель Codex , является основой GitHub Copilot — программного обеспечения для завершения и генерации кода, которое можно использовать в различных редакторах кода и IDE. [39] [40]
  • GPT-3 используется в некоторых продуктах Microsoft для перевода обычного языка в формальный компьютерный код. [41] [42]
  • GPT-3 использовался в CodexDB. [43] для генерации кода конкретного запроса для обработки SQL .
  • GPT-3 использовался Джейсоном Рорером в проекте чат-бота в стиле ретро под названием «Проект Декабрь», который доступен в Интернете и позволяет пользователям общаться с несколькими искусственными интеллектами, используя технологию GPT-3. [44]
  • GPT-3 использовался The Guardian для написания статьи о безвредности ИИ для людей. Ему было предложено несколько идей, и они подготовили восемь разных эссе, которые в конечном итоге были объединены в одну статью. [45]
  • GPT-3 использовался в AI Dungeon , генерирующем текстовые приключенческие игры. Позже она была заменена конкурирующей моделью после того, как OpenAI изменила свою политику в отношении генерируемого контента. [46] [47]
  • GPT-3 используется для помощи в написании копий и других маркетинговых материалов. [48]
  • Исследование, проведенное в 2022 году в Университете Дрекселя, показало, что системы на основе GPT-3 можно использовать для выявления ранних признаков болезни Альцгеймера . [49] [50]

Отзывы [ править ]

  • В обзоре The New York Times сказал , за июль 2020 года Фархад Манджу что способность GPT-3 генерировать компьютерный код, поэзию и прозу не просто «удивительна», «жутковата» и «унизительна», но и «более чем немного страшно». [51]
  • Daily Nous представила серию статей девяти философов о GPT-3. [52] Австралийский философ Дэвид Чалмерс описал GPT-3 как «одну из самых интересных и важных систем искусственного интеллекта, когда-либо созданных». [53]
  • В обзоре Wired говорится, что GPT-3 «вызывает дрожь в Кремниевой долине ». [54]
  • В National Law Review говорится, что GPT-3 является «впечатляющим шагом в более широком процессе», поскольку OpenAI и другие находят «полезное применение всей этой мощи», продолжая при этом «работать над более общим интеллектом ». [55]
  • Статья в MIT Technology Review , написанная в соавторстве с критиком глубокого обучения Гэри Маркусом , [56] заявил, что GPT-3 «понимание мира часто серьезно нарушено, а это означает, что вы никогда не сможете по-настоящему доверять тому, что он говорит». [57] По мнению авторов, GPT-3 моделирует отношения между словами, не понимая смысла каждого слова.
  • Джером Пезенти, руководитель лаборатории искусственного интеллекта Facebook, заявил, что GPT-3 «небезопасен», указывая на сексистские , расистские и другие предвзятые и негативные высказывания, генерируемые системой, когда ее просили обсуждать евреев, женщин, чернокожих и Холокост . [58]
  • Nabla, французский стартап, специализирующийся на медицинских технологиях, протестировал GPT-3 в качестве медицинского чат-бота , хотя сама OpenAI предостерегает от такого использования. Как и ожидалось, GPT-3 продемонстрировал несколько ограничений. Например, при тестировании ответов GPT-3 о проблемах психического здоровья ИИ посоветовал моделируемому пациенту покончить жизнь самоубийством. [59]
  • Ноам Хомский выразил скептицизм по поводу научной ценности GPT-3: «Это не языковая модель. Она работает так же хорошо для невозможных языков, как и для реальных языков. Поэтому она опровергается, если она задумана как языковая модель, обычными научными критериями. [ ...] Возможно, это полезно для какой-то цели, но, похоже, ничего не говорит нам о языке или познании в целом». [60]
  • Лучано Флориди и Массимо Кириатти подчеркнули риск «дешевого производства хороших семантических артефактов». [61]
  • Сам Сэм Альтман из OpenAI раскритиковал то, что он назвал «хайпом о GPT-3», признав, что GPT-3 «имеет серьезную слабость и иногда допускает очень глупые ошибки… ИИ собирается изменить мир, но GPT-3 — это всего лишь очень ранний проблеск». ." [62]

Критика [ править ]

Разработчик GPT-3, OpenAI , изначально был основан как некоммерческая организация в 2015 году. [63] В 2019 году OpenAI отошла от своих обычных стандартов с открытым исходным кодом, не выпустив публично предшественницу GPT-3, сославшись на опасения, что эта модель может способствовать распространению фейковых новостей. В конечном итоге OpenAI выпустила версию GPT-2 , размер которой составлял 8% от размера исходной модели. [64] В том же году OpenAI реструктурировалась в коммерческую компанию. [65] В 2020 году Microsoft объявила, что получила эксклюзивную лицензию GPT-3 для продуктов и услуг Microsoft после многомиллиардных инвестиций в OpenAI. Соглашение позволяет OpenAI предлагать общедоступный API, позволяющий пользователям отправлять текст в GPT-3 для получения результатов модели, но только Microsoft будет иметь доступ к исходному коду GPT-3. [5]

Большие языковые модели, такие как GPT-3, подверглись критике со стороны некоторых исследователей этики ИИ из Google за воздействие обучения и хранения моделей на окружающую среду, подробно описанное в статье, написанной в соавторстве с Тимнитом Гебру и Эмили М. Бендер в 2021 году. . [66]

Растущий [ когда? ] использование технологий автоматического письма на основе GPT-3 и других языковых генераторов вызвало обеспокоенность по поводу академической честности. [67] и поднял вопрос о том, как университеты и школы будут оценивать, что представляет собой академическое нарушение, такое как плагиат. [68]

Серия GPT OpenAI была создана на основе данных из набора данных Common Crawl . [69] конгломерат защищенных авторским правом статей, интернет-сообщений, веб-страниц и книг, собранных с 60 миллионов доменов в течение 12 лет. TechCrunch сообщает, что эти обучающие данные включают защищенные авторским правом материалы BBC, The New York Times , Reddit , полные тексты онлайн-книг и многое другое. [70] В своем ответе на запрос от Управления по патентам и товарным знакам США (USPTO) о защите интеллектуальной собственности для инноваций в области искусственного интеллекта в 2019 году OpenAI заявила, что «в соответствии с действующим законодательством обучение систем искусственного интеллекта [таких как модели GPT] представляет собой добросовестное использование ». », но «учитывая отсутствие прецедентного права , OpenAI и другие разработчики ИИ, такие как мы, сталкиваются со значительной юридической неопределенностью и расходами на соблюдение требований». [71]

См. также [ править ]

Ссылки [ править ]

  1. ^ Перейти обратно: а б с д Это ж г час я дж к л м Браун, Том Б.; Манн, Бенджамин; Райдер, Ник; Суббия, Мелани; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састри, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Дитя, Ревон; Рамеш, Адитья; Зиглер, Дэниел М.; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; МакКэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодей, Дарио (28 мая 2020 г.). «Языковые модели изучаются немногими». arXiv : 2005.14165 [ cs.CL ].
  2. ^ Перейти обратно: а б с Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер, Илья (11 июня 2018 г.). «Улучшение понимания языка посредством генеративной предварительной подготовки» (PDF) . п. 12. Архивировано (PDF) из оригинала 26 января 2021 г. Проверено 31 июля 2020 г.
  3. ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
  4. ^ Богданов Дмитрий; Чо, Кёнхён; Бенджио, Йошуа (1 сентября 2014 г.). «Нейронный машинный перевод путем совместного обучения выравниванию и переводу». arXiv : 1409.0473 [ cs.CL ].
  5. ^ Перейти обратно: а б Хао, Карен (23 сентября 2020 г.). «OpenAI предоставляет Microsoft эксклюзивный доступ к своей языковой модели GPT-3» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 5 февраля 2021 года . Проверено 25 сентября 2020 г. Компании заявляют, что OpenAI продолжит предлагать свой общедоступный API , который позволяет выбранным пользователям отправлять текст в GPT-3 или другие модели OpenAI и получать его выходные данные. Однако только Microsoft будет иметь доступ к базовому коду GPT-3, что позволит ей встраивать, перепрофилировать и изменять модель по своему усмотрению.
  6. ^ Перейти обратно: а б «Понимание ограничений ИИ начинает проникать» . Экономист . 11 июня 2020 г. ISSN   0013-0613 . Архивировано из оригинала 31 июля 2020 года . Проверено 31 июля 2020 г.
  7. ^ Полосухин Илья; Кайзер, Лукаш; Гомес, Эйдан Н.; Джонс, Лион; Ушкорейт, Джейкоб; Пармар, Ник; Шазир, Ноам; Васван, Ашиш (12 июня 2017 г.). « Внимание — это все, что вам нужно» arXiv : 1706.03762 [ cs.CL ].
  8. ^ "Обработка естественного языка" . Архивировано из оригинала 22 августа 2020 года . Проверено 31 июля 2020 г.
  9. ^ «Архивная копия» (PDF) . Архивировано (PDF) из оригинала 6 февраля 2021 г. Проверено 28 апреля 2023 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )
  10. ^ Стерлинг, Брюс (13 февраля 2020 г.). «Веб-семантика: Microsoft Project Turing представляет генерацию естественного языка Тьюринга (T-NLG)» . Проводной . ISSN   1059-1028 . Архивировано из оригинала 4 ноября 2020 года . Проверено 31 июля 2020 г.
  11. ^ Марке, Стивен (6 декабря 2022 г.). «Эссе для колледжа мертво» . Атлантический океан . Архивировано из оригинала 24 января 2023 года . Проверено 8 декабря 2022 г.
  12. ^ Перейти обратно: а б с д Сагар, Рам (3 июня 2020 г.). «OpenAI выпускает GPT-3, самую большую модель на данный момент» . Журнал Analytics India . Архивировано из оригинала 4 августа 2020 года . Проверено 31 июля 2020 г.
  13. ^ «Языковые модели предназначены для многозадачного обучения без присмотра» (PDF) . openai.com . Архивировано (PDF) из оригинала 12 декабря 2019 г. Проверено 4 декабря 2019 г. GPT-2 — трансформатор с параметром 1,5 В.
  14. ^ Шид, Сэм (23 июля 2020 г.). «Почему все говорят о генераторе текста с искусственным интеллектом, выпущенном лабораторией, поддерживаемой Илоном Маском» . CNBC . Архивировано из оригинала 30 июля 2020 года . Проверено 31 июля 2020 г. С 28 мая по 22 июля 2020 года было выпущено четыре препринта.
  15. ^ Рэй, Тирнан (1 июня 2020 г.). «Гигантский GPT-3 OpenAI намекает на ограничения языковых моделей для ИИ» . ЗДНет . Архивировано из оригинала 1 июня 2020 года . Проверено 31 июля 2020 г.
  16. ^ Ли, Чуан (3 июня 2020 г.), Языковая модель OpenAI GPT-3: технический обзор , заархивировано из оригинала 27 марта 2023 г. , получено 27 марта 2023 г.
  17. ^ Перейти обратно: а б Бусслер, Фредерик (21 июля 2020 г.). «Убьет ли GPT-3 кодирование?» . На пути к науке о данных . Архивировано из оригинала 19 августа 2020 года . Проверено 1 августа 2020 г.
  18. ^ Геман, Самуэль; Гуруранган, Сучин; Сап, Мартен; Чой, Еджин; Смит, Ной А. (16–20 ноября 2020 г.), REALTOXICITYPROMPTS: Оценка нейронной токсической дегенерации в языковых моделях , Ассоциация компьютерной лингвистики, стр. 3356–3369, arXiv : 2009.11462
  19. ^ Перейти обратно: а б «ОпенАИ API» . ОпенАИ . 11 июня 2020 года. Архивировано из оригинала 11 июня 2020 года . Проверено 31 июля 2020 г.
  20. ^ Колдьюи, Девин (11 июня 2020 г.). «OpenAI создает универсальный API для своих возможностей текстового ИИ» . ТехКранч . Архивировано из оригинала 27 октября 2021 года . Проверено 31 июля 2020 г. Если вы когда-нибудь хотели опробовать хваленый набор инструментов машинного обучения OpenAI, это стало намного проще. Компания выпустила API, который позволяет разработчикам использовать свои инструменты искусственного интеллекта «практически для любой задачи на английском языке».
  21. ^ Аррам (9 июля 2020 г.). «GPT-3: ИИ, который удивительно хорошо пишет практически всё» . Аррам Сабети . Архивировано из оригинала 20 июля 2020 года . Проверено 31 июля 2020 г.
  22. ^ «API OpenAI теперь доступен без списка ожидания» . ОпенАИ . 18 ноября 2021 года. Архивировано из оригинала 5 ноября 2022 года . Проверено 5 ноября 2022 г.
  23. ^ «ОпенАИ API» . beta.openai.com . Архивировано из оригинала 23 декабря 2022 года . Проверено 5 ноября 2022 г.
  24. ^ «Приведение языковых моделей в соответствие с инструкциями» . ОпенАИ . 27 января 2022 года. Архивировано из оригинала 5 ноября 2022 года . Проверено 5 ноября 2022 г.
  25. ^ Тунстрем, Альмира Османович (30 июня 2022 г.). «Мы попросили GPT-3 написать о себе научную статью, а затем попытались ее опубликовать» . Научный американец . Архивировано из оригинала 30 июня 2022 года . Проверено 30 июня 2022 г.
  26. ^ Трансформатор, предварительно обученный генеративный Gpt; Тунстрем, Альмира Османович; Штейнгримссон, Штайн (21 июня 2022 г.). «Может ли GPT-3 написать о себе научную статью с минимальным участием человека?» . Архив открытого HAL (на французском языке). Архивировано из оригинала 30 июня 2022 года . Проверено 30 июня 2022 г.
  27. ^ Гао, Лео (24 мая 2021 г.). «О размерах моделей OpenAI API» . Блог EleutherAI . ЭлеутерAI . Проверено 23 ноября 2023 г.
  28. ^ «Модельный индекс для исследователей» . ОпенАИ . Проверено 23 ноября 2023 г.
  29. ^ «Новые возможности GPT-3: редактирование и вставка» . ОпенАИ . 15 марта 2022 года. Архивировано из оригинала 13 января 2023 года . Проверено 13 января 2023 г.
  30. ^ Перейти обратно: а б «ОпенАИ API» . платформа.openai.com . Архивировано из оригинала 20 марта 2023 года . Проверено 15 марта 2023 г.
  31. ^ «Оцените новый text-davinci-003 от OpenAI! Та же базовая модель, что и text-davinci-002, но более согласованная. Хотелось бы услышать отзывы об этом! / Twitter» . Архивировано из оригинала 15 марта 2023 года . Проверено 6 мая 2023 г.
  32. ^ «ChatGPT: оптимизация языковых моделей для диалога» . ОпенАИ . 30 ноября 2022 года. Архивировано из оригинала 30 ноября 2022 года . Проверено 13 января 2023 г.
  33. ^ «ОпенАИ API» . Архивировано из оригинала 17 марта 2023 года . Проверено 6 мая 2023 г.
  34. ^ «ОпенАИ API» . Архивировано из оригинала 6 мая 2023 года . Проверено 6 мая 2023 г.
  35. ^ Перейти обратно: а б с tingetici (10 апреля 2023 г.). «По умолчанию (GPT-3.5) с просмотром АЛЬФА — только что появилась НОВАЯ модель» . р/ОпенАИ . Архивировано из оригинала 27 апреля 2023 года . Проверено 27 апреля 2023 г.
  36. ^ «Представляем серию GPT-3.5: модели text-davinci-002 и code-davinci-002» . ОТКРЫТЫЙ ИИ . 15 марта 2022 года. Архивировано из оригинала 20 марта 2023 года . Проверено 27 апреля 2023 г.
  37. ^ Перейти обратно: а б «GPT-3.5 с просмотром (ALPHA) теперь доступен для пользователей GPT Plus» . ОТКРЫТЫЙ ИИ . 27 апреля 2023 года. Архивировано из оригинала 20 марта 2023 года . Проверено 27 апреля 2023 г.
  38. ^ Гилсон А., Сафранек К.В., Хуанг Т., Сократ В., Чи Л., Тейлор Р.А., Чарташ Д. Как ChatGPT работает на экзамене на медицинскую лицензию в США? Значение больших языковых моделей для медицинского образования и оценки знаний. JMIR Med Educ. 8 февраля 2023 г.;9:e45312. дои: 10.2196/45312. PMID: 36753318; PMCID: PMC9947764.
  39. ^ «Кодекс OpenAI» . ОпенАИ . 10 августа 2021 года. Архивировано из оригинала 3 февраля 2023 года . Проверено 23 декабря 2022 г.
  40. ^ Томпсон, Клайв (15 марта 2022 г.). «Как ИИ стал моим джинном, пишущим код» . Проводной . Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
  41. ^ «Microsoft объявила о своих первых функциях продукта для клиентов на базе GPT-3 и @Azure» . Блог AI . 25 мая 2021 года. Архивировано из оригинала 26 мая 2021 года . Проверено 26 мая 2021 г.
  42. ^ Винсент, Джеймс (25 мая 2021 г.). «Microsoft создала систему автозаполнения кода на основе искусственного интеллекта, использующую GPT-3» . Грань . Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
  43. ^ «CodexDB — обработка SQL на основе GPT-3» . CodexDB — обработка SQL на базе GPT-3 . Архивировано из оригинала 7 декабря 2022 года . Проверено 7 декабря 2022 г.
  44. ^ Фагон, Джейсон (23 июля 2021 г.). «Моделирование Джессики: любовь и потеря в эпоху искусственного интеллекта» San Francisco Chronicle . Архивировано из оригинала 28 июля 2021 года . Проверено 29 июля 2021 г.
  45. ^ ГПТ-3 (8 сентября 2020 г.). «Всю эту статью написал робот. Ты уже напуган, человек? | GPT-3» . Хранитель . ISSN   0261-3077 . Архивировано из оригинала 8 сентября 2020 года . Проверено 15 сентября 2020 г. {{cite news}}: CS1 maint: числовые имена: список авторов ( ссылка )
  46. ^ «Обновление: языковые модели и дракон» . Блог Локатьюра . 8 декабря 2021 года. Архивировано из оригинала 25 апреля 2022 года . Проверено 22 марта 2022 г.
  47. ^ «Эта мистическая книга была написана в соавторстве с пугающе реалистичным ИИ» . www.vice.com . 2022. Архивировано из оригинала 23 декабря 2022 года . Проверено 23 декабря 2022 г.
  48. ^ ГПТ-3 (24 февраля 2023 г.). «38 подсказок в 10 различных категориях | GPT-3» . ГиПиТи Чат . Архивировано из оригинала 8 апреля 2023 года . Проверено 24 февраля 2023 г. {{cite news}}: CS1 maint: числовые имена: список авторов ( ссылка )
  49. ^ «Может ли чат-бот ChatGPT AI обнаружить ранние стадии болезни Альцгеймера? - исследование» . «Джерузалем Пост» . 2022. Архивировано из оригинала 10 февраля 2023 года . Проверено 10 февраля 2023 г.
  50. ^ Агбавор, Феликс; Лян, Хуалоу (22 декабря 2022 г.). «Прогнозирование деменции по спонтанной речи с использованием больших языковых моделей» . PLOS Цифровое здоровье . 1 (12): e0000168. doi : 10.1371/journal.pdig.0000168 . ПМЦ   9931366 . ПМИД   36812634 . S2CID   255029590 .
  51. ^ Манджу, Фархад (29 июля 2020 г.). «Откуда вы знаете, что это написал человек?» . Нью-Йорк Таймс . ISSN   0362-4331 . Архивировано из оригинала 29 октября 2020 года . Проверено 4 августа 2020 г.
  52. ^ Вайнберг, Джастин, изд. (30 июля 2020 г.). «Философы о GPT-3 (обновлено ответами GPT-3)» . Ежедневный Ноус . Архивировано из оригинала 30 октября 2020 года . Проверено 31 июля 2020 г.
  53. ^ Чалмерс, Дэвид (30 июля 2020 г.). Вайнберг, Джастин (ред.). «ГПТ-3 и общая разведка» . Ежедневный Ноус . Философы о GPT-3 (обновлено ответами GPT-3). Архивировано из оригинала 4 августа 2020 года . Проверено 4 августа 2020 г.
  54. ^ Симонит, Том (22 июля 2020 г.). «Этот заголовок написал человек или машина?» . Проводной . ISSN   1059-1028 . Архивировано из оригинала 1 ноября 2020 года . Проверено 31 июля 2020 г.
  55. ^ Клейпул, Теодор (30 июля 2020 г.). «Новый инструмент искусственного интеллекта GPT-3 достигает новых вершин, но доказывает, как далеко нам еще нужно пройти» . Обзор национального законодательства . Архивировано из оригинала 30 октября 2020 года . Проверено 4 августа 2020 г.
  56. ^ Маркус, Гэри (1 декабря 2018 г.). «Самая глубокая проблема глубокого обучения» . Середина . Архивировано из оригинала 1 августа 2019 года . Проверено 29 сентября 2020 г.
  57. ^ Маркус, Гэри; Дэвис, Эрнест (22 августа 2020 г.). «GPT-3, Bloviator: генератор языка OpenAI понятия не имеет, о чем говорит» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 23 августа 2020 года . Проверено 23 августа 2020 г.
  58. ^ Мец, Кейд (24 ноября 2020 г.). «Познакомьтесь с GPT-3. Он научился кодировать (а также вести блог и спорить)» . Нью-Йорк Таймс . ISSN   0362-4331 . Архивировано из оригинала 6 декабря 2020 года . Проверено 24 ноября 2020 г.
  59. ^ «Медицинский чат-бот, использующий GPT-3 OpenAI, приказал фальшивому пациенту покончить с собой» . Новости ИИ . 28 октября 2020 года. Архивировано из оригинала 10 января 2021 года . Проверено 8 января 2021 г.
  60. ^ Хомский о Теренсе Маккенне, Сэме Харрисе, GPT3, криптовалютах, Кьеркегоре, Neuralink и Hofstadter . 24 марта 2021 г. Событие происходит в 1:11:44. Архивировано из оригинала 29 апреля 2021 года . Проверено 29 апреля 2021 г.
  61. ^ Флориди, Лучано; Чириатти, Массимо (1 ноября 2020 г.). «GPT-3: его природа, сфера применения, ограничения и последствия» . Разум и машины . 30 (4): 681–694. дои : 10.1007/s11023-020-09548-1 . S2CID   228954221 .
  62. ^ Винсент, Джеймс (30 июля 2020 г.). «Последний прорыв OpenAI поразительно силен, но все еще борется со своими недостатками» . Грань . Архивировано из оригинала 30 июля 2020 года . Проверено 9 ноября 2022 г.
  63. ^ Оланофф, Дрю (11 декабря 2015 г.). «Некоммерческая организация искусственного интеллекта OpenAI запускается при поддержке Илона Маска и Сэма Альтмана» . Технический кризис. Архивировано из оригинала 20 октября 2022 года . Проверено 31 мая 2021 г.
  64. ^ Хао, Карен (29 августа 2019 г.). «OpenAI выпустила самую крупную версию своего искусственного интеллекта, распространяющего фейковые новости» . Обзор технологий MIT. Архивировано из оригинала 9 мая 2021 года . Проверено 31 мая 2021 г.
  65. ^ Колдьюи, Девин (11 марта 2019 г.). «OpenAI переходит от некоммерческой деятельности к «ограниченной прибыли» для привлечения капитала» . Технический кризис. Архивировано из оригинала 4 января 2023 года . Проверено 31 мая 2021 г.
  66. ^ Бендер, Эмили М.; Гебру, Тимнит; Макмиллан-Мейджор, Анджелина; Шмитчелл, Шмаргарет (3 марта 2021 г.). Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? . FAccT '21: Материалы конференции ACM 2021 года по вопросам справедливости, подотчетности и прозрачности. стр. 610–623. дои : 10.1145/3442188.3445922 .
  67. ^ Миндзак, Майкл; Итон, Сара Элейн. «Искусственный интеллект становится лучше писать, и университетам следует беспокоиться о плагиате» . Разговор . Архивировано из оригинала 7 ноября 2021 года . Проверено 6 ноября 2021 г.
  68. ^ Роджерсон, Энн М.; Маккарти, Грейс (декабрь 2017 г.). «Использование интернет-инструментов перефразирования: оригинальная работа, написание патчей или облегченный плагиат?» . Международный журнал честности в образовании . 13 (1): 1–15. дои : 10.1007/s40979-016-0013-y . ISSN   1833-2595 . S2CID   9473217 .
  69. ^ Вер Меер, Дэйв. «Статистика ChatGPT» . ИмяPepper . Архивировано из оригинала 5 июня 2023 года . Проверено 21 июня 2023 г.
  70. ^ Вот несколько причин, по которым GPT-3 может пойти не так . ТехКранч . Архивировано из оригинала 26 ноября 2021 года . Проверено 26 ноября 2021 г.
  71. ^ Комментарий относительно запроса на комментарии по защите интеллектуальной собственности для инноваций в области искусственного интеллекта (PDF) . ВПТЗ США. Архивировано (PDF) из оригинала 16 октября 2021 г. Проверено 30 ноября 2021 г.
Retrieved from "https://en.wikipedia.org/w/index.php?title=GPT-3&oldid=1226113577"