✖


Jump to content

Стохастический попугай

В машинном обучении термин «стохастический попугай» — это метафора, описывающая теорию, согласно которой большие языковые модели , хотя и способны генерировать правдоподобный язык, не понимают значения языка, который они обрабатывают. [1] [2] Этот термин был придуман Эмили М. Бендер. [2] [3] в исследовательской работе по искусственному интеллекту 2021 года « Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? 🦜 » Бендера, Тимнита Гебру , Анджелины Макмиллан-Мейджор и Маргарет Митчелл . [4]

и определение ​ Происхождение

Этот термин был впервые использован в статье «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? 🦜» Бендера, Тимнита Гебру , Анджелины Макмиллан-Мейджор и Маргарет Митчелл (под псевдонимом «Шмаргарет Шмитчелл»). [4] Они утверждали, что большие языковые модели (LLM) представляют собой такие опасности, как экологические и финансовые затраты, непостижимость, ведущая к неизвестным опасным предубеждениям, и потенциал для обмана, и что они не могут понять концепции, лежащие в основе того, что они изучают. [5] Гебру попросили отозвать статью или удалить из нее имена сотрудников Google. По словам Джеффа Дина , газета «не соответствовала нашим требованиям к публикации». В ответ Гебру перечислил условия, которые необходимо выполнить, заявив, что в противном случае они могли бы «поработать на последнем свидании». Дин написал, что одним из этих условий было раскрытие рецензентов статьи и их конкретных отзывов, но Google отклонил это требование. Вскоре после этого она получила электронное письмо, в котором говорилось, что Google «принимает ее отставку». Ее увольнение вызвало протест сотрудников Google, которые полагали, что целью было подвергнуть цензуре критику Гебру. [6]

Слово «стохастический» происходит от древнегреческого слова «стохастикос», что означает «основанный на догадках» или «случайно определенный». [7] Слово «попугай» относится к идее, что студенты LLM просто повторяют слова, не понимая их значения. [7]

В своей статье Бендер и др. утверждают, что LLM вероятностно связывают слова и предложения вместе, не принимая во внимание их значение. Поэтому их называют просто «стохастическими попугаями». [4]

По мнению специалистов по машинному обучению Линдхольма, Вальстрома, Линдстена и Шона, эта аналогия подчеркивает два важных ограничения: [1] [8]

  • LLM ограничены данными, на которых они обучаются, и просто стохастически повторяют содержимое наборов данных.
  • Поскольку они просто составляют результаты на основе данных обучения, LLM не понимают, говорят ли они что-то неправильное или неуместное.

Линдхольм и др. отметил, что при низком качестве наборов данных и других ограничениях обучающаяся машина может давать «опасно неправильные» результаты. [1]

Последующее использование [ править ]

В июле 2021 года Институт Алана Тьюринга провел основной доклад и панельную дискуссию по этому документу. [9] По состоянию на май 2023 г. , статья цитировалась в 1529 публикациях. [10] Этот термин использовался в публикациях в области права, [11] грамматика, [12] повествование, [13] и гуманитарные науки. [14] Авторы продолжают сохранять опасения по поводу опасности чат-ботов, основанных на больших языковых моделях, таких как GPT-4 . [15]

Стохастический попугай теперь представляет собой неологизм, используемый скептиками в области ИИ для обозначения непонимания машинами значения их результатов, и иногда интерпретируется как «оскорбление ИИ». [7] Его использование еще больше расширилось, когда Сэм Альтман , генеральный директор Open AI , иронически использовал этот термин, когда написал в Твиттере: «Я стохастический попугай, и ты тоже». [7] словом года 2023 года, связанным с искусственным интеллектом Затем этот термин был признан Американским диалектным обществом , даже несмотря на слова «ChatGPT» и «LLM». [7] [16]

Некоторые исследователи часто используют эту фразу для описания LLM как средств сопоставления шаблонов, которые могут генерировать правдоподобный человеческий текст на основе огромного количества обучающих данных, просто повторяя стохастический образ. Однако другие исследователи утверждают, что студенты LLM на самом деле способны понимать язык. [17]

Дебаты [ править ]

Некоторые LLM, такие как ChatGPT, стали способны взаимодействовать с пользователями в убедительно человеческих беседах. [17] Разработка этих новых систем углубила дискуссию о том, в какой степени студенты магистратуры понимают или просто «повторяют».

Субъективный опыт [ править ]

В сознании человека слова и язык соответствуют вещам, которые он пережил. [18] Для LLM слова могут соответствовать только другим словам и шаблонам использования, включенным в их обучающие данные. [19] [20] [4] Таким образом, сторонники идеи стохастических попугаев приходят к выводу, что LLM неспособны понимать язык. [19] [4]

Галлюцинации и ошибки [ править ]

Тенденция LLM выдавать ложную информацию за факт рассматривается как поддержка. [18] Называемые галлюцинациями , LLM иногда синтезируют информацию, которая соответствует некоторой закономерности, но не реальности. [19] [20] [18] Тот факт, что студенты LLM не могут различать факты и вымыслы, приводит к утверждению, что они не могут связать слова с пониманием мира, как это должен делать язык. [19] [18] Кроме того, LLM часто не могут расшифровать сложные или неоднозначные грамматические случаи, которые полагаются на понимание значения языка. [19] [20] В качестве примера можно позаимствовать у Сабы и др. подсказку: [19]

Мокрая газета, упавшая со стола, — моя любимая газета. Но теперь, когда моя любимая газета уволила редактора, возможно, мне больше не понравится ее читать. Могу ли я заменить во втором предложении «моя любимая газета» на «мокрая газета, упавшая со стола»?

Магистр права отвечает на это утвердительно, не понимая, что значение слова «газета» в этих двух контекстах различно; это, во-первых, объект, а во-вторых, институт. [19] На основании этих неудач некоторые специалисты по искусственному интеллекту приходят к выводу, что они не более чем стохастические попугаи. [19] [18] [4]

Тесты и эксперименты [ править ]

Одним из аргументов против гипотезы о том, что LLM являются стохастическим попугаем, являются их результаты по критериям рассуждения, здравого смысла и понимания языка. В 2023 году некоторые студенты LLM показали хорошие результаты на многих тестах на понимание языка, таких как Super General Language Assessment Evaluation (SuperGLUE). [20] [21] По данным опроса 2022 года, такие тесты и гладкость многих ответов LLM помогают 51% специалистов в области ИИ поверить, что они могут по-настоящему понимать язык при достаточном количестве данных. [20]

Экспериментируя с ChatGPT-3, один учёный утверждал, что модель не является стохастическим попугаем, но имеет серьёзные ограничения в рассуждении. [17] Он обнаружил, что модель была последовательной и информативной при попытке предсказать будущие события на основе информации в подсказке. [17] ChatGPT-3 также часто мог анализировать подтекстовую информацию из текстовых подсказок. Однако модель часто терпела неудачу, когда ей требовались логические и рассуждения, особенно когда эти подсказки включали пространственное осознание. [17] Различное качество ответов модели указывает на то, что LLM могут проявлять форму «понимания» в определенных категориях задач, а в других действовать как стохастический попугай. [17]

Интерпретируемость [ править ]

Другой метод исследования способности понимать LLM называется «механистической интерпретируемостью». Идея состоит в том, чтобы перепроектировать большую языковую модель, чтобы проанализировать, как она внутренне обрабатывает информацию.

Одним из примеров является Othello-GPT, где небольшой преобразователь был обучен предсказывать законные ходы Отелло . Было обнаружено, что эта модель имеет внутреннее представление доски Отелло, и что изменение этого представления меняет предсказанные законные ходы Отелло правильным образом. Это подтверждает идею о том, что LLM имеют «мировую модель», а не просто занимаются поверхностной статистикой. [22] [23]

В другом примере небольшой трансформатор обучался на компьютерных программах, написанных на языке программирования Karel . Подобно примеру Othello-GPT, эта модель разработала внутреннее представление семантики программы Karel. Изменение этого представления приводит к соответствующим изменениям в выходных данных. Кроме того, модель генерирует правильные программы, которые в среднем короче программ в обучающем наборе. [24]

Исследователи также изучали « грокинг » — явление, при котором модель ИИ сначала запоминает выходные данные обучения, а затем, после дальнейшего обучения, внезапно находит решение, которое обобщается на невидимые данные. [25]

Ярлыки к рассуждениям [ править ]

Однако когда тесты, созданные для проверки людей на понимание языка, используются для проверки LLM, они иногда приводят к ложноположительным результатам, вызванным ложными корреляциями внутри текстовых данных. [26] Модели показали примеры быстрого обучения, когда система проводит несвязанные корреляции между данными вместо использования человеческого понимания. [27] В одном из таких экспериментов, проведенных в 2019 году, тестировался BERT LLM от Google с использованием задачи на понимание аргументов. БЕРТУ было предложено выбрать одно из двух утверждений и найти то, которое наиболее соответствует аргументу. Ниже приведен пример одной из таких подсказок: [20] [28]

Аргумент: Преступникам должно быть разрешено голосовать. Человеку, укравшему машину в 17 лет, не следует лишать права быть полноправным гражданином на всю жизнь.
Утверждение А: Угон автомобилей является уголовным преступлением.
Утверждение Б: Угон автомобилей не является уголовным преступлением.

Исследователи обнаружили, что определенные слова, такие как «нет», подсказывают модели правильный ответ, что позволяет получить почти идеальные оценки, если они включены, но приводит к случайному выбору, когда слова-подсказки были удалены. [20] [28] Эта проблема, а также известные трудности с определением интеллекта заставляют некоторых утверждать, что все тесты, которые находят понимание в LLM, ошибочны, что все они позволяют срезать путь к имитированному пониманию.

См. также [ править ]

Ссылки [ править ]

  1. ^ Jump up to: а б с Линдхольм и др. 2022 , стр. 322–3.
  2. ^ Jump up to: а б Уддин, Мухаммад Саад (20 апреля 2023 г.). «Стохастические попугаи: новый взгляд на большие языковые модели и их ограничения» . На пути к ИИ . Проверено 12 мая 2023 г.
  3. ^ Вейль, Элизабет (1 марта 2023 г.). «Ты не попугай» . Нью-Йорк . Проверено 12 мая 2023 г.
  4. ^ Jump up to: а б с д и ж Бендер, Эмили М.; Гебру, Тимнит; Макмиллан-Мейджор, Анджелина; Шмитчелл, Шмаргарет (01 марта 2021 г.). «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? 🦜». Материалы конференции ACM 2021 года по вопросам справедливости, подотчетности и прозрачности . ФАКТ '21. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 610–623. дои : 10.1145/3442188.3445922 . ISBN  978-1-4503-8309-7 . S2CID   232040593 .
  5. ^ Хаоархив, Карен (4 декабря 2020 г.). «Мы прочитали статью, которая вынудила Тимнита Гебру уйти из Google. Вот что там написано» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 6 октября 2021 года . Проверено 19 января 2022 г.
  6. ^ Лайонс, Ким (5 декабря 2020 г.). «Настоящая статья Тимнит Гебру может объяснить, почему Google удалил ее» . Грань .
  7. ^ Jump up to: а б с д и Циммер, Бен. « «Стохастический попугай»: имя для искусственного интеллекта, которое звучит немного менее интеллектуально» . ВСЖ . Проверено 1 апреля 2024 г.
  8. ^ Уддин, Мухаммад Саад (20 апреля 2023 г.). «Стохастические попугаи: новый взгляд на большие языковые модели и их ограничения» . На пути к ИИ . Проверено 12 мая 2023 г.
  9. ^ Веллер (2021) .
  10. ^ «Бендер: Об опасностях стохастических попугаев» . Google Академик . Проверено 12 мая 2023 г.
  11. ^ Арнаудо, Лука (20 апреля 2023 г.). «Искусственный интеллект, возможности, обязательства: взаимодействие в тени регулирования, антимонопольного законодательства и семейного права». ССРН . дои : 10.2139/ssrn.4424363 . S2CID   258636427 .
  12. ^ Бликли, Пит; БЛУМ (2023). «В клетке со стохастическим попугаем» . Спекулятивный грамматик . СХСII (3) . Проверено 13 мая 2023 г.
  13. ^ Гати, Даниэлла (2023). «Теоретизирование математического повествования посредством машинного обучения». Журнал теории повествования . 53 (1). Проект МУЗА: 139–165. дои : 10.1353/jnt.2023.0003 . S2CID   257207529 .
  14. ^ Рис, Тобиас (2022). «Нечеловеческие слова: о GPT-3 как философской лаборатории» . Дедал . 151 (2): 168–82. дои : 10.1162/daed_a_01908 . JSTOR   48662034 . S2CID   248377889 .
  15. ^ Голдман, Шэрон (20 марта 2023 г.). «С GPT-4 опасность «стохастических попугаев» сохраняется, — говорят исследователи. Неудивительно, что генеральный директор OpenAI «немного напуган» » . ВенчурБит . Проверено 9 мая 2023 г.
  16. ^ Корбин, Сэм (15 января 2024 г.). «Среди лингвистов слово года больше похоже на атмосферу» . Нью-Йорк Таймс . ISSN   0362-4331 . Проверено 1 апреля 2024 г.
  17. ^ Jump up to: а б с д и ж Аркудас, Константин (21 августа 2023 г.). «ChatGPT — это не стохастический попугай. Но он также утверждает, что 1 больше 1» . Философия и технология . 36 (3): 54. дои : 10.1007/s13347-023-00619-6 . ISSN   2210-5441 .
  18. ^ Jump up to: а б с д и Файяд, Усама М. (26 мая 2023 г.). «От стохастических попугаев к интеллектуальным помощникам — секреты данных и вмешательства человека» . Интеллектуальные системы IEEE . 38 (3): 63–67. дои : 10.1109/MIS.2023.3268723 . ISSN   1541-1672 .
  19. ^ Jump up to: а б с д и ж г час Саба, Валид С. (2023). «Стохастические LLMS не понимают язык: к символическим, объяснимым и онтологически обоснованным LLMS». В Алмейде — Жоау Паулу А.; Борбинья, Хосе; Гуиззарди, Джанкарло; Линк, Себастьян; Здравкович, Елена (ред.). Концептуальное моделирование . Конспекты лекций по информатике. Том. 14320. Чам: Springer Nature Switzerland. стр. 3–19. arXiv : 2309.05918 . дои : 10.1007/978-3-031-47262-6_1 . ISBN  978-3-031-47262-6 .
  20. ^ Jump up to: а б с д и ж г Митчелл, Мелани; Кракауэр, Дэвид К. (28 марта 2023 г.). «Дебаты о понимании больших языковых моделей ИИ» . Труды Национальной академии наук . 120 (13): e2215907120. arXiv : 2210.13966 . Бибкод : 2023PNAS..12015907M . дои : 10.1073/pnas.2215907120 . ISSN   0027-8424 . ПМЦ   10068812 . ПМИД   36943882 .
  21. ^ Ван, Алекс; Пруксачаткун, Яда; Нангия, Никита; Сингх, Аманприт; Майкл, Джулиан; Хилл, Феликс; Леви, Омер; Боуман, Сэмюэл Р. (2 мая 2019 г.). «SuperGLUE: более надежный эталон для систем понимания языка общего назначения». arXiv : 1905.00537 [ cs.CL ].
  22. ^ Ли, Кеннет; Хопкинс, Аспен К.; Бау, Дэвид; Вьегас, Фернанда; Пфистер, Ханспетер; Ваттенберг, Мартин (27 февраля 2023 г.), Новые представления мира: исследование модели последовательности, обученной на синтетической задаче , arXiv : 2210.13382
  23. ^ Ли, Кеннет (21 января 2023 г.). «Большая языковая модель: модели мира или поверхностная статистика?» . Градиент . Проверено 4 апреля 2024 г.
  24. ^ Джин, Чарльз; Ринар, Мартин (24 мая 2023 г.), Свидетельство значения языковых моделей, обученных на программах , arXiv : 2305.11169
  25. ^ Шрайнер, Максимилиан (11 августа 2023 г.). «Гроккинг в машинном обучении: когда стохастические попугаи строят модели» . декодер . Проверено 25 мая 2024 г.
  26. ^ Чоудхури, Сагник Рэй; Роджерс, Анна; Огенштейн, Изабель (15 сентября 2022 г.), Машинное чтение, быстрое и медленное: когда модели «понимают» язык? , arXiv : 2209.07430
  27. ^ Гейрос, Роберт; Якобсен, Йорн-Хенрик; Михаэлис, Клаудио; Земель, Ричард; Брендель, Виланд; Бетге, Матиас; Вихманн, Феликс А. (10 ноября 2020 г.). «Ускоренное обучение в глубоких нейронных сетях» . Природный машинный интеллект . 2 (11): 665–673. arXiv : 2004.07780 . дои : 10.1038/s42256-020-00257-z . ISSN   2522-5839 .
  28. ^ Jump up to: а б Нивен, Тимоти; Као, Хун-Ю (16 сентября 2019 г.), Исследование понимания нейронной сетью аргументов естественного языка , arXiv : 1907.07355

Цитируемые работы [ править ]

Дальнейшее чтение [ править ]

Внешние ссылки [ править ]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Stochastic_parrot&oldid=1231212573"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 41aae0310b710489224bca342a4c757f__1719445980
URL1:https://arc.ask3.ru/arc/aa/41/7f/41aae0310b710489224bca342a4c757f.html
Заголовок, (Title) документа по адресу, URL1:
Stochastic parrot - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)