Галлюцинация (искусственный интеллект)
В области искусственного интеллекта (ИИ) — галлюцинация или искусственная галлюцинация (также называемая конфабуляцией ). [1] или заблуждение [2] ) — это ответ, сгенерированный ИИ, который содержит ложную или вводящую в заблуждение информацию, представленную как факт . [3] [4] [5] Этот термин проводит общую аналогию с человеческой психологией, где галлюцинации обычно связаны с ложным восприятием . Однако есть ключевое отличие: галлюцинации ИИ связаны с необоснованными реакциями или убеждениями, а не с ощущениями восприятия. [5]
Например, чат-бот, работающий на основе больших языковых моделей (LLM), таких как ChatGPT , может встраивать в сгенерированный контент правдоподобно звучащую случайную ложь. Исследователи осознали эту проблему, и, по оценкам аналитиков, к 2023 году чат-боты будут галлюцинировать в 27% случаев, при этом фактические ошибки будут присутствовать в 46% их ответов. Обнаружение и смягчение этих галлюцинаций создают серьезные проблемы для практического применения и надежности LLM в реальных сценариях. [6] [7] [8] Некоторые исследователи считают, что конкретный термин «галлюцинация искусственного интеллекта» необоснованно антропоморфизирует компьютеры. [1]
Происхождение термина [ править ]
В начале 2000-х годов термин «галлюцинация» использовался в компьютерном зрении с позитивным подтекстом для описания процесса добавления деталей к изображению. Например, задача создания изображений лиц с высоким разрешением на основе входных данных с низким разрешением называется галлюцинацией лица . [9] [10]
В конце 2010-х годов этот термин претерпел семантический сдвиг и стал обозначать создание фактически неверных или вводящих в заблуждение результатов системами искусственного интеллекта в таких задачах, как перевод или обнаружение объектов. [9] Например, в 2017 году исследователи Google использовали этот термин для описания ответов, генерируемых моделями нейронного машинного перевода (NMT), когда они не связаны с исходным текстом. [11] а в 2018 году этот термин использовался в компьютерном зрении для описания случаев, когда несуществующие объекты ошибочно обнаруживаются из-за состязательных атак. [12]
Термин «галлюцинации» в сфере ИИ получил более широкое признание во время бума ИИ , наряду с внедрением широко используемых чат-ботов, основанных на больших языковых моделях (LLM). [13] В июле 2021 года Meta предупредила, что система склонна к «галлюцинациям», которые Meta определила как «уверенные утверждения, которые не соответствуют действительности». во время выпуска BlenderBot 2 [14] [15] После в выпуска бета-версии ChatGPT OpenAI ноябре 2022 года некоторые пользователи жаловались , что такие чат-боты часто бессмысленно встраивают правдоподобную случайную ложь в свой генерируемый контент. [16] Многие новостные агентства, в том числе The New York Times , начали использовать термин «галлюцинации» для описания иногда неправильных или непоследовательных ответов этих моделей. [17]
В 2023 году некоторые словари обновили свое определение галлюцинации, включив в него новое значение, специфичное для области ИИ. [3] [18]
При обработке естественного языка [ править ]
При обработке естественного языка галлюцинацию часто определяют как «сгенерированный контент, который кажется реальным, но не имеет под собой никаких оснований». Существуют разные способы классификации галлюцинаций. В зависимости от того, противоречат ли выходные данные источнику или не могут быть проверены по источнику, они делятся на внутренние и внешние соответственно. [5] В зависимости от того, противоречит ли вывод подсказке или нет, их можно разделить на закрытые и открытые соответственно. [19]
Причины [ править ]
Есть несколько причин, по которым модели естественного языка галлюцинируют данные. [5]
Галлюцинация на основе данных [ править ]
Основной причиной галлюцинаций от данных является расхождение источника и ссылки. Это расхождение происходит 1) как артефакт сбора эвристических данных или 2) из-за характера некоторых задач NLG , которые неизбежно содержат такое расхождение. Когда модель обучается на данных с расхождением между источником и ссылкой (целью), можно стимулировать модель генерировать текст, который не обязательно обоснован и не соответствует предоставленному источнику. [5]
Галлюцинация от моделирования [ править ]
Было показано, что галлюцинации являются статистически неизбежным побочным продуктом любой несовершенной генеративной модели, которая обучена максимизировать вероятность обучения, такой как GPT-3 , и требует активного обучения (например, обучения с подкреплением на основе обратной связи от человека ), которого следует избегать. [20] Другие исследования придерживаются антропоморфической точки зрения и полагают, что галлюцинации возникают из-за противоречия между новизной и полезностью. Например, Тереза Амабайл и Пратт определяют человеческое творчество как производство новых и полезных идей. [21] В более широком смысле, акцент на новизне в машинном творчестве может привести к выработке оригинальных, но неточных ответов, то есть ложных, тогда как акцент на полезности может привести к неэффективным механическому запоминанию ответов. [22]
Ошибки в кодировании и декодировании текста и изображений могут вызвать галлюцинации. Когда кодировщики изучают неправильные корреляции между различными частями обучающих данных, это может привести к ошибочной генерации, которая отличается от входных данных. Декодер принимает закодированные входные данные от кодера и генерирует окончательную целевую последовательность. Два аспекта декодирования способствуют галлюцинациям. Во-первых, декодеры могут обрабатывать не ту часть закодированного входного источника, что приводит к ошибочной генерации. Во-вторых, сама по себе стратегия декодирования может способствовать галлюцинациям. Стратегия декодирования, которая улучшает разнообразие поколений, такая как выборка top-k, положительно коррелирует с усилением галлюцинаций. [ нужна цитата ]
Известно, что предварительное обучение моделей на большом корпусе приводит к тому, что модель запоминает знания в своих параметрах, создавая галлюцинации, если система слишком уверена в своих зашитых знаниях. В таких системах, как GPT-3, ИИ генерирует каждое следующее слово на основе последовательности предыдущих слов (включая слова, которые он сам ранее сгенерировал во время того же разговора), вызывая каскад возможных галлюцинаций по мере увеличения продолжительности ответа. [5] К 2022 году такие газеты, как The New York Times, выразили обеспокоенность тем, что, поскольку распространение ботов, основанных на больших языковых моделях, продолжает расти, неоправданное доверие пользователей к выводам ботов может привести к проблемам. [23]
Примеры [ править ]
15 ноября 2022 года Мета представила демоверсию «Галактики», предназначенную для «хранения, объединения и обоснования научных знаний». Контент, созданный Galactica, сопровождался предупреждением: «Результаты могут быть ненадежными! Языковые модели склонны к галлюцинациям текста». В одном случае, когда Galactica попросили подготовить статью о создании аватаров, она процитировала вымышленную статью реального автора, работающего в соответствующей области. Мета покинула Галактику 17 ноября из-за оскорбительного поведения и неточности. [24]
OpenAI от ChatGPT , бета-версия которого была выпущена для широкой публики 30 ноября 2022 года, основана на базовой модели GPT-3.5 (пересмотр GPT-3). Профессор Итан Моллик из Wharton назвал ChatGPT «всезнающим, всегда готовым угодить стажером, который иногда вам лжет». Специалист по данным Тереза Кубака рассказала, как намеренно придумала фразу «циклоидальный перевернутый электромагнон» и протестировала ChatGPT, задав ему вопрос о (несуществующем) явлении. ChatGPT придумал правдоподобный ответ, подкрепленный правдоподобными цитатами, которые заставили ее еще раз проверить, не набрала ли она случайно название реального явления. Другие ученые, такие как Орен Эциони, присоединились к Кубаке в оценке, что такое программное обеспечение часто может дать вам «очень впечатляюще звучащий ответ, который совершенно неверен». [25]
Когда CNBC запросил у ChatGPT текст песни « Баллада о Дуайте Фрае », ChatGPT предоставил придуманный текст, а не настоящий текст. [26] На вопросы о Нью-Брансуике ChatGPT получил много правильных ответов, но неправильно классифицировал Саманту Би как «человека из Нью-Брансуика». [27] Отвечая на вопрос об астрофизических магнитных полях, ChatGPT неверно ответил, что «(сильные) магнитные поля черных дыр генерируются чрезвычайно сильными гравитационными силами в их окрестностях». (На самом деле, как следствие теоремы об отсутствии волос , считается, что черная дыра без аккреционного диска не имеет магнитного поля.) [28] Fast Company попросила ChatGPT создать новостную статью о последнем финансовом квартале Tesla; ChatGPT создал связную статью, но привел финансовые цифры, содержащиеся в ней. [29]
Другие примеры включают использование ChatGPT ложной предпосылкой, чтобы увидеть, не приукрашивает ли она эту предпосылку. Когда его спросили об « идее Гарольда Кауарда о динамической каноничности», ChatGPT выдумал, что Кауард написал книгу под названием « Динамическая каноничность: модель библейской и теологической интерпретации» , утверждая, что религиозные принципы на самом деле находятся в состоянии постоянного изменения. При нажатии ChatGPT продолжал настаивать на том, что книга настоящая. [30] На вопрос о доказательствах того, что динозавры создали цивилизацию, ChatGPT заявил, что существуют ископаемые останки орудий динозавров, и заявил, что «некоторые виды динозавров даже развили примитивные формы искусства, такие как гравюры на камнях». [31] Когда его спросили, что «учёные недавно открыли чуррос , восхитительную жареную выпечку… (являются) идеальными инструментами для домашней хирургии», ChatGPT заявил, что «исследование, опубликованное в журнале Science », показало, что тесто достаточно податливо, чтобы формировать в хирургические инструменты, которые могут попасть в труднодоступные места, и что аромат оказывает успокаивающее действие на пациентов. [32] [33]
К 2023 году аналитики считали частые галлюцинации серьезной проблемой в технологии LLM, а один из руководителей Google назвал снижение галлюцинаций «фундаментальной» задачей для конкурента ChatGPT Google Bard . [6] [34] Демо-версия Bing AI от Microsoft на основе GPT, выпущенная в 2023 году, содержала несколько галлюцинаций, которые ведущий не уловил. [6]
В мае 2023 года было обнаружено, что Стивен Шварц представил шесть фальшивых прецедентов, созданных ChatGPT, в своем заявлении Южному округу Нью-Йорка по делу Мата против Авианки , делу о телесных повреждениях против авиакомпании Avianca . Шварц сказал, что он никогда раньше не использовал ChatGPT, что он не признавал возможности того, что выходные данные ChatGPT могли быть сфабрикованы, и что ChatGPT продолжал утверждать подлинность прецедентов после того, как было обнаружено их несуществование. [35] В ответ Брантли Старр из Северного округа Техаса запретил подачу материалов дел, созданных с помощью ИИ, которые не были проверены человеком, отметив, что: [36] [37]
Платформы [генеративного искусственного интеллекта] в их нынешнем состоянии склонны к галлюцинациям и предвзятости . О галлюцинациях они выдумывают всякую ерунду — даже цитаты и цитаты. Другая проблема — надежность или предвзятость. В то время как адвокаты клянутся отказаться от своих личных предубеждений, предубеждений и убеждений, чтобы добросовестно соблюдать закон и представлять своих клиентов, генеративный искусственный интеллект — это продукт программирования, разработанный людьми, которым не приходилось приносить такую клятву. По сути, эти системы не подчиняются ни одному клиенту, верховенству закона, законам и Конституции Соединенных Штатов (или, как говорилось выше, истине). Не связанные никаким чувством долга, чести или справедливости, такие программы действуют в соответствии с компьютерным кодом, а не убеждениями, основанными на программировании, а не на принципах.
23 июня судья П. Кевин Кастель закрыл дело Маты и наложил штраф в размере 5000 долларов на Шварца и другого адвоката, которые оба продолжали придерживаться фиктивных прецедентов, несмотря на предыдущие заявления Шварца, за недобросовестное поведение. Кастель охарактеризовал многочисленные ошибки и несоответствия в сводках мнений, назвав одно из процитированных мнений «бредом» и «[граничащим] с бессмысленностью». [38]
В июне 2023 года Марк Уолтерс, активист по защите прав на оружие и радиоведущий, подал иск против OpenAI в суд штата Джорджия после того, как ChatGPT неправильно охарактеризовал судебную жалобу , предположительно дискредитируя Уолтерса. Жалоба, о которой идет речь, была подана в мае 2023 года Фондом второй поправки против генерального прокурора Вашингтона Роберта Фергюсона за предполагаемое нарушение свободы слова, тогда как резюме, созданное ChatGPT, не имело никакого сходства и утверждало, что Уолтерс был обвинен в растрате и мошенничестве , когда занимая офисную должность Фонда Второй поправки, которую он никогда не занимал в реальной жизни. По мнению эксперта по правовым вопросам ИИ Евгения Волоха , OpenAI, скорее всего, не защищена от этого иска разделом 230 , поскольку OpenAI, скорее всего, «внесла существенный вклад» в создание дискредитирующего контента. [39]
Научные исследования [ править ]
Модели ИИ могут вызвать проблемы в мире академических и научных исследований из-за своих галлюцинаций. В частности, такие модели, как ChatGPT, были записаны во многих случаях для цитирования источников информации, которые либо неверны, либо не существуют. Исследование, проведенное в журнале Cureus Journal of Medical Science, показало, что из 178 ссылок, цитируемых GPT-3, 69 вернули неправильный или несуществующий идентификатор цифрового объекта (DOI). Еще 28 не имели известного DOI и не могли быть найдены с помощью поиска Google . [40]
Другой случай был задокументирован Джеромом Годдардом из Университета штата Миссисипи . В ходе эксперимента ChatGPT предоставил сомнительную информацию о клещах . Неуверенные в достоверности ответа, они поинтересовались источником, из которого была получена информация. При взгляде на источник стало очевидно, что DOI и имена авторов были галлюцинациями. С некоторыми авторами связались и подтвердили, что им вообще ничего не известно о существовании статьи. [41] Годдард говорит, что «на нынешнем этапе развития [ChatGPT] врачи и биомедицинские исследователи НЕ должны запрашивать у ChatGPT источники, ссылки или цитаты по конкретной теме. Или, если они это делают, все такие ссылки должны быть тщательно проверены на предмет точности. " [41] Использование этих языковых моделей не подходит для областей академических исследований, и к их использованию следует относиться осторожно. [42]
Помимо предоставления неправильных или отсутствующих справочных материалов, ChatGPT также имеет проблемы с галлюцинациями содержания некоторых справочных материалов. Исследование, в котором проанализировано в общей сложности 115 ссылок, предоставленных ChatGPT, показало, что 47% из них были сфабрикованы. Еще 46% привели реальные ссылки, но извлекли из них неверную информацию. Только оставшиеся 7% ссылок были процитированы правильно и предоставили точную информацию. Также было замечено, что ChatGPT «удваивает» большую часть неверной информации. Когда вы спрашиваете ChatGPT об ошибке, которая могла быть вызвана галлюцинациями, иногда он пытается исправиться сам, но иногда утверждает, что ответ правильный, и предоставляет еще более вводящую в заблуждение информацию . [43]
Эти галлюцинированные статьи, созданные с помощью языковых моделей, также создают проблему, поскольку трудно определить, была ли статья создана искусственным интеллектом. Чтобы доказать это, группа исследователей из Северо-Западного университета Чикаго подготовила 50 рефератов на основе существующих отчетов и проанализировала их оригинальность. Детекторы плагиата присвоили сгенерированным статьям оценку оригинальности 100 %, что означает, что представленная информация кажется полностью оригинальной. Другое программное обеспечение, предназначенное для обнаружения текста, сгенерированного ИИ, смогло правильно идентифицировать эти сгенерированные статьи только с точностью 66%. У ученых-исследователей был аналогичный уровень человеческих ошибок: 68% идентифицировали эти тезисы. [44] На основании этой информации авторы исследования пришли к выводу: «Этические и приемлемые границы использования ChatGPT в научных статьях остаются неясными, хотя некоторые издатели начинают устанавливать политику». [45] Из-за способности ИИ фабриковать исследования незамеченным, использование ИИ в области исследований затруднит определение оригинальности исследований и потребует новой политики, регулирующей его использование в будущем.
Учитывая способность языка, созданного ИИ, в некоторых случаях выдавать себя за настоящее научное исследование, галлюцинации ИИ создают проблемы для применения языковых моделей в академических и научных областях исследований из-за их способности быть необнаружимыми при представлении реальным исследователям. Высокая вероятность возврата несуществующих справочных материалов и неверной информации может потребовать введения ограничений в отношении этих языковых моделей. Некоторые говорят, что эти события больше похожи не на галлюцинации, а на «фабрикации» и «фальсификации» и что использование этих языковых моделей представляет риск для целостности области в целом. [46]
Терминологии [ править ]
В «Салоне» статистик Гэри Н. Смит утверждает, что студенты магистратуры «не понимают, что означают слова» и, следовательно, что термин «галлюцинация» необоснованно антропоморфизирует машину. [47] Журналист Бендж Эдвардс из Ars Technica пишет, что термин «галлюцинация» является спорным, но некоторая форма метафоры остается необходимой; Эдвардс предлагает « конфабуляцию » как аналогию процессам, которые включают «творческое заполнение пробелов». [1]
Список использования термина «галлюцинация», определений или характеристик в контексте LLM включает:
- «склонность изобретать факты в моменты неопределенности» (OpenAI, май 2023 г.) [48]
- «логические ошибки модели» (OpenAI, май 2023 г.) [48]
- полностью фабрикует информацию, но ведет себя так, как будто излагает факты ( CNBC , май 2023 г.) [48]
- «выдумка информации» ( «The Verge» , февраль 2023 г.) [49]
В другом искусственном интеллекте [ править ]
Понятие «галлюцинация» применяется более широко, чем просто обработка естественного языка. Уверенный ответ любого ИИ, который кажется неоправданным данными обучения, можно назвать галлюцинацией. [5]
Обнаружение объектов [ править ]
Различные исследователи, цитируемые Wired , классифицировали состязательные галлюцинации как высокоуровневое статистическое явление или объясняли галлюцинации недостаточными тренировочными данными. Некоторые исследователи полагают, что некоторые «неправильные» реакции ИИ, классифицированные людьми как «галлюцинации» в случае обнаружения объекта , на самом деле могут быть оправданы данными обучения или даже тем, что ИИ может давать «правильный» ответ, который люди-рецензенты не видят. Например, состязательное изображение, которое для человека выглядит как обычное изображение собаки, на самом деле может рассматриваться ИИ как содержащее крошечные узоры, которые (в подлинных изображениях) появляются только при просмотре кошки. Искусственный интеллект обнаруживает визуальные закономерности реального мира, к которым люди нечувствительны. [51]
В 2018 году Wired отметил, что, несмотря на отсутствие зарегистрированных атак «в дикой природе» (то есть за пределами атак, проводимых исследователями для проверки концепции ), «мало споров» о том, что потребительские гаджеты и системы, такие как автоматическое вождение , уязвимы. к состязательным атакам , которые могут вызвать у ИИ галлюцинации. Примеры включают знак остановки, невидимый для компьютерного зрения; аудиоклип, созданный так, чтобы звучать безобидно для людей, но это программное обеспечение транскрибировалось как «злой дотком»; и изображение двух мужчин на лыжах, которые Google Cloud Vision определил как «собаку» с вероятностью 91%. [12] Однако эти выводы были оспорены другими исследователями. [52] Например, возражали, что модели могут быть склонны к поверхностной статистике, что приводит к тому, что состязательное обучение не будет надежным в реальных сценариях. [52]
текста в видео искусственный интеллект для преобразования Генеративный
Генеративные модели преобразования текста в видео, такие как Sora , могут вносить неточности в генерируемые видео. Одним из примеров является виадук Гленфиннан, известная достопримечательность, показанная в серии фильмов о Гарри Поттере . Сора по ошибке добавил второй путь к виадуку , в результате чего изображение получилось нереалистичным.
Методы смягчения последствий [ править ]
Феномен галлюцинаций до сих пор до конца не изучен. Исследователи также предположили, что галлюцинации неизбежны и являются врожденным ограничением больших языковых моделей. [53] Поэтому до сих пор продолжаются исследования, направленные на смягчение последствий этого явления. [54] В частности, было показано, что языковые модели не только вызывают, но и усиливают галлюцинации, даже те, которые призваны облегчить эту проблему. [55]
Джи и др. . [56] разделить общий метод смягчения последствий на две категории: методы, связанные с данными , и методы моделирования и вывода . Методы, связанные с данными, включают создание достоверного набора данных, автоматическую очистку данных и пополнение информации путем дополнения входных данных внешней информацией. Методы модели и вывода включают изменения в архитектуре (либо модификацию кодера, внимания или декодера различными способами), изменения в процессе обучения, например, использование обучения с подкреплением , а также методы постобработки, которые могут исправить галлюцинации на выходе.
Исследователи предложили различные меры по смягчению последствий, в том числе заставить разных чат-ботов обсуждать друг друга, пока не достигнут консенсуса по ответу. [57] Другой подход предлагает активно проверять правильность, соответствующую генерации модели с низкой достоверностью, с использованием результатов веб-поиска. Они показали, что сгенерированное предложение чаще является галлюцинацией, когда модель имеет уже галлюцинирует в своих ранее сгенерированных предложениях для ввода, и они инструктируют модель создать проверочный вопрос, проверяющий правильность информации о выбранной концепции с помощью API поиска Bing . [58] дополнительный уровень основанных на логике правил за счет использования веб-страниц разного ранга в качестве базы знаний, которые различаются по иерархии. Для метода смягчения последствий веб-поиска был предложен [59]
По данным Луо и др. [60] , предыдущие методы относятся к подходам, основанным на знаниях и поиске, которые основывают ответы LLM на фактических данных с использованием внешних источников знаний, таких как заземление пути. [61] Луо и др. также упомяните обучение или справочное руководство по языковым моделям, включая такие стратегии, как использование управляющих кодов. [62] или контрастное обучение [63] чтобы направлять процесс генерации, чтобы различать правильный и галлюцинированный контент. Другая категория — это оценка и смягчение последствий, ориентированных на конкретные типы галлюцинаций. [64] например, использование методов для оценки количественного объекта при обобщении [65] и методы обнаружения и смягчения противоречивых утверждений. [66]
Nvidia Guardrails, выпущенная в 2023 году, можно настроить для блокировки ответов LLM, которые не проходят проверку фактов со стороны второго LLM. [67] Кроме того, многочисленные инструменты, такие как SelfCheckGPT [68] и Аймон [69] появились, чтобы помочь в обнаружении галлюцинаций в автономных экспериментах и сценариях производства в реальном времени.
См. также [ править ]
Ссылки [ править ]
- ^ Перейти обратно: а б с Эдвардс, Бендж (6 апреля 2023 г.). «Почему ChatGPT и Bing Chat так хорошо придумывают вещи» . Арс Техника . Проверено 11 июня 2023 г.
- ^ «Потрясение основ: заблуждения в моделях последовательности взаимодействия и контроля» . www.deepmind.com . 22 декабря 2023 г.
- ^ Перейти обратно: а б «Определение ГАЛЛЮЦИНАЦИИ» . www.merriam-webster.com . 21 октября 2023 г. Проверено 29 октября 2023 г.
- ^ Джошуа Майнес; Шаши Нараян; Бернд Бонет; Райан Макдональд (2020). «О достоверности и фактичности абстрактного обобщения» . Материалы 58-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) (2020) . arXiv : 2005.00661 . Проверено 26 сентября 2023 г.
- ^ Перейти обратно: а б с д Это ж г Цзи, Цзивэй; Ли, Фриске, Рита; Ю, Течжэн; Сюй, Янь, Эцуко; Дай, Вэньлян, Андреа; Фунг, Паскаль (ноябрь 2022 г.) . Галлюцинации при генерации естественного языка» (pdf) . ACM Computing Surveys . 55 (12). Association for Computing Machinery : 1–38. arXiv : 2202.03629 . doi : 10.1145/3571730 . S2CID 246652372. Проверено 15 января 2023 г.
- ^ Перейти обратно: а б с Лесвинг, Киф (14 февраля 2023 г.). «ИИ Microsoft Bing допустил несколько фактических ошибок в демонстрационной версии на прошлой неделе» . CNBC . Проверено 16 февраля 2023 г.
- ^ Мец, Кейд (6 ноября 2023 г.). «Чат-боты могут «галлюцинировать» чаще, чем многие думают» . Нью-Йорк Таймс .
- ^ де Винтер, Адриан; Ван, Сюнь; Соколов, Алекс; Гу, Цилун; Чен, Си-Цин (13 июля 2023 г.). «Оценка результатов большой языковой модели: дискурс и запоминание» . Журнал обработки естественного языка . 4 . arXiv : 2304.08637 . дои : 10.1016/j.nlp.2023.100024 . ISSN 2949-7191 .
- ^ Перейти обратно: а б «Галлюцинации искусственного интеллекта: неправильное название, которое стоит уточнить» . arxiv.org . Проверено 2 апреля 2024 г.
- ^ «Лицо-галлюцинация» . люди.csail.mit.edu . Проверено 2 апреля 2024 г.
- ^ «Галлюцинации в нейронном машинном переводе» . исследование.google . Проверено 2 апреля 2024 г.
- ^ Перейти обратно: а б Симоните, Том (9 марта 2018 г.). «У искусственного интеллекта есть проблема с галлюцинациями, которую трудно решить» . Проводной . Конде Наст . Проверено 29 декабря 2022 г.
- ^ ). «Изучение этики ИИ ChatGPT: диагностический анализ» , Юджин; Чен 2023 Син, Чжэнчан ( Чжуо, Терри Юэ; Хуан , .
- ^ «Blender Bot 2.0: чат-бот с открытым исходным кодом, который развивает долговременную память и ищет в Интернете» . ai.meta.com . Проверено 2 марта 2024 г.
- ^ Тунг, Лиам (8 августа 2022 г.). «Meta предупреждает, что ее новый чат-бот может забыть, что он бот» . ЗДНЕТ . Проверено 30 декабря 2022 г.
- ^ Сейфе, Чарльз (13 декабря 2022 г.). «Тревожный обман, лежащий в основе поразительного нового чат-бота» . Сланец . Проверено 16 февраля 2023 г.
- ^ Вайзе, Карен; Мец, Кейд (1 мая 2023 г.). «Когда чат-боты с искусственным интеллектом галлюцинируют» . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 8 мая 2023 г.
- ^ Кример, Элла (15 ноября 2023 г.). « Галлюцинат выбран словом года по версии Кембриджского словаря» . Хранитель . Проверено 7 июня 2024 г.
- ^ ОпенАИ (2023 г.). «Технический отчет GPT-4». arXiv : 2303.08774 [ cs.CL ].
- ^ Ханнеке, Стив; Калай, Адам Тауман; Камат, Гаутама; Цамос, Христос (2018). Активное избегание бессмысленности в генеративных моделях . Том. 75. Труды исследований машинного обучения (PMLR). стр. 209–227.
- ^ Амабайл, Тереза М.; Пратт, Майкл Г. (2016). «Динамическая компонентная модель творчества и инноваций в организациях: прогресс, обретение смысла». Исследования организационного поведения . 36 : 157–183. дои : 10.1016/j.riob.2016.10.001 . S2CID 44444992 .
- ^ Мукерджи, Анирбан; Чанг, Ханна Х. (2023). «Управление творческими границами генеративного искусственного интеллекта: компромисс между новизной и полезностью» . Обзор менеджмента Калифорнии .
- ^ Мец, Кейд (10 декабря 2022 г.). «Новые чат-боты могут изменить мир. Можно ли им доверять?» . Нью-Йорк Таймс . Проверено 30 декабря 2022 г.
- ^ Эдвардс, Бендж (18 ноября 2022 г.). «Новая демо-версия Meta AI пишет расистскую и неточную научную литературу, и ее вытаскивают» . Арс Техника . Проверено 30 декабря 2022 г.
- ^ Боуман, Эмма (19 декабря 2022 г.). «Новый чат-бот с искусственным интеллектом может сделать за вас домашнее задание. Но он все равно не отличник» . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР . Проверено 29 декабря 2022 г.
- ^ Питт, София (15 декабря 2022 г.). «Google против ChatGPT: вот что произошло, когда я поменял сервисы на день» . CNBC . Проверено 30 декабря 2022 г.
- ^ Хейзинга, Рэйчел (30 декабря 2022 г.). «Мы задали ИИ вопросы о Нью-Брансуике. Некоторые ответы могут вас удивить» . Новости ЦБК . Проверено 30 декабря 2022 г.
- ^ Застроу, Марк (30 декабря 2022 г.). «Мы задали ChatGPT ваши вопросы об астрономии. Все прошло не очень хорошо» . Обнаружить . Проверено 31 декабря 2022 г.
- ^ Лин, Конни (5 декабря 2022 г.). «Как легко обмануть новый гениальный ChatGPT от OpenAI» . Компания Фаст . Проверено 6 января 2023 г.
- ^ Эдвардс, Бендж (1 декабря 2022 г.). «OpenAI приглашает всех протестировать ChatGPT, нового чат-бота на базе искусственного интеллекта — с забавными результатами» . Арс Техника . Проверено 29 декабря 2022 г.
- ^ Моллик, Итан (14 декабря 2022 г.). «ChatGPT — переломный момент для ИИ» . Гарвардское деловое обозрение . Проверено 29 декабря 2022 г.
- ^ Кантровитц, Алекс (2 декабря 2022 г.). «Наконец-то чат-бот с искусственным интеллектом, который надежно проходит «нацистский тест» » . Сланец . Проверено 29 декабря 2022 г.
- ^ Маркус, Гэри (2 декабря 2022 г.). «Почему GPT может показаться таким блестящим в одну минуту и таким потрясающе тупым в следующую?» . Дорога к искусственному интеллекту, которому мы можем доверять . Подстек . Проверено 29 декабря 2022 г.
- ^ «Google предостерегает от «галлюцинирующих» чат-ботов, говорится в отчете» . Рейтер. 11 февраля 2023 г. Проверено 16 февраля 2023 г.
- ^ Маруф, Рамишах (27 мая 2023 г.). «Адвокат приносит извинения за фальшивые судебные цитаты из ChatGPT» . CNN Бизнес.
- ^ Бродкин, Джон (31 мая 2023 г.). «Федеральный судья: Никакого искусственного интеллекта в моем зале суда, пока человек не проверит его точность» . Арс Техника .
- ^ «Судья Брантли Старр» . Северный округ Техаса | Окружной суд США . Проверено 26 июня 2023 г.
- ^ Бродкин, Джон (23 июня 2023 г.). «У юристов очень плохой день в суде после того, как они ссылались на фейковые дела, выдуманные ChatGPT» . Арс Техника .
- ^ Беланджер, Эшли (9 июня 2023 г.). «OpenAI грозит иск о клевете после того, как ChatGPT полностью сфабриковал еще один иск» . Арс Техника .
- ^ Аталури, Саи Анирудх; Мантена, Сандип Варма; Кесапрагада, ВСР Кришна Манодж; Ярлагадда, Винель; Дэйв, Тирт; Дуддумпуди, Рама Туласи Сири (11 апреля 2023 г.). «Изучение границ реальности: исследование феномена галлюцинаций искусственного интеллекта в научных трудах с помощью ссылок ChatGPT» . Куреус . 15 (4): e37432. дои : 10.7759/cureus.37432 . ISSN 2168-8184 . ПМЦ 10173677 . ПМИД 37182055 .
- ^ Перейти обратно: а б Годдард, Джером (25 июня 2023 г.). «Галлюцинации в ChatGPT: поучительная история для биомедицинских исследователей» . Американский медицинский журнал . 136 (11): 1059–1060. doi : 10.1016/j.amjmed.2023.06.012 . ISSN 0002-9343 . ПМИД 37369274 . S2CID 259274217 .
- ^ Ю, Течжэн; Ли, Наён (2023) Цзи, Цзивэй ; .
- ^ Бхаттачарья, Мехул; Миллер, Валери М.; Бхаттачарья, Деджани; Миллер, Ларри Э.; Бхаттачарья, Мехул; Миллер, Валери; Бхаттачарья, Деджани; Миллер, Ларри Э. (19 мая 2023 г.). «Высокое количество сфабрикованных и неточных ссылок в медицинском контенте, созданном ChatGPT» . Куреус . 15 (5): e39238. дои : 10.7759/cureus.39238 . ISSN 2168-8184 . ПМЦ 10277170 . ПМИД 37337480 .
- ^ Еще, Холли (12 января 2023 г.). «Рефераты, написанные ChatGPT, дурачат учёных» . Природа . 613 (7944): 423. Бибкод : 2023Natur.613..423E . дои : 10.1038/d41586-023-00056-7 . ПМИД 36635510 . S2CID 255773668 .
- ^ Гао, Кэтрин А.; Ховард, Фредерик М.; Марков, Николай С.; Дайер, Эмма С.; Рамеш, Сиддхи; Ло, Юань; Пирсон, Александр Т. (26 апреля 2023 г.). «Сравнение научных рефератов, созданных ChatGPT, с реальными рефератами с помощью детекторов и слепых рецензентов» . npj Цифровая медицина . 6 (1): 75. дои : 10.1038/s41746-023-00819-6 . ISSN 2398-6352 . ПМЦ 10133283 . ПМИД 37100871 .
- ^ Эмсли, Робин (19 августа 2023 г.). «ChatGPT: это не галлюцинации – это выдумки и фальсификации» . Шизофрения . 9 (1): 52. дои : 10.1038/s41537-023-00379-4 . ISSN 2754-6993 . ПМЦ 10439949 . ПМИД 37598184 .
- ^ «ИИ, который может «писать», питает заблуждения о том, насколько на самом деле умен искусственный интеллект» . Салон . 2 января 2023 г. Проверено 11 июня 2023 г.
- ^ Перейти обратно: а б с Филд, Хайден (31 мая 2023 г.). «OpenAI ищет новый способ борьбы с «галлюцинациями» ИИ » . CNBC . Проверено 11 июня 2023 г.
- ^ Винсент, Джеймс (8 февраля 2023 г.). «Чат-бот Google с искусственным интеллектом Бард допустил фактическую ошибку в первой демонстрации» . Грань . Проверено 11 июня 2023 г.
- ^ Ферри, К.; Кайзер, С. (2019). Нейронные сети для детей . Нейпервилл, Иллинойс: Справочники Джаббервоки. ISBN 978-1492671206 . OCLC 1086346753 .
- ^ Мацакис, Луиза (8 мая 2019 г.). «В конце концов, искусственный интеллект не может «галлюцинировать»» . Проводной . Проверено 29 декабря 2022 г.
- ^ Перейти обратно: а б Гилмер, Джастин; Хендрикс, Дэн (6 августа 2019 г.). «Обсуждение темы «Состязательные примеры — это не ошибки, а особенности»: исследователям состязательных примеров необходимо расширить то, что подразумевается под «надежностью» » . Дистиллировать . 4 (8). дои : 10.23915/distill.00019.1 . S2CID 201142364 . Проверено 24 января 2023 г.
- ^ Цзи, Цивэй; Джайн, Санджай; Канканхалли, Мохан (2024). «Галлюцинации неизбежны: врожденное ограничение больших языковых моделей». arXiv : 2401.11817 [ cs.CL ].
- ^ Не, Фэн; Яо, Джин-Ге; Ван, Цзиньпэн; Пан, Ронг; Лин, Чин-Ю (июль 2019 г.). «Простой рецепт уменьшения галлюцинаций при реализации нейронной поверхности» (PDF) . Материалы 57-го ежегодного собрания Ассоциации компьютерной лингвистики . Ассоциация компьютерной лингвистики: 2673–2679. дои : 10.18653/v1/P19-1256 . S2CID 196183567 . Проверено 15 января 2023 г.
- ^ Дзири, Нуха; Милтон, Сиван; Ю, Мо; Заиане, Осмар; Редди, Шива (июль 2022 г.). «О происхождении галлюцинаций в разговорных моделях: наборы данных или модели?» (PDF) . Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики 2022 года: технологии человеческого языка . Ассоциация компьютерной лингвистики. стр. 5271–5285. doi : 10.18653/v1/2022.naacl-main.387 . S2CID 250242329 . Проверено 15 января 2023 г.
- ^ Цзи, Цзивэй; Ли, Фриске, Рита; Ю, Течжэн; Сюй, Янь, Эцуко; Чэнь, Хо Шу; , Паскаль (2022). «Обследование галлюцинаций при генерации естественного языка». arXiv : 2202.03629 [ cs.CL ].
- ^ Винк, Геррит Де (30 мая 2023 г.). «ChatGPT 'галлюцинирует'. Некоторые исследователи опасаются, что это невозможно исправить» . Вашингтон Пост . Проверено 31 мая 2023 г.
- ^ Варшней, Нирадж; Яо, Венлин; Чжан, Хунмин; Чен, Цзяньшу; Ю, Донг (2023). «Сшивание во времени экономит девять: обнаружение и смягчение галлюцинаций LLM путем проверки генерации с низкой достоверностью». arXiv : 2307.03987 [ cs.CL ].
- ^ Шекрст, Кристина. «Неоправданные ложные «убеждения»: галлюцинации ИИ и логика оправдания» . Ин Гргич, Филип; Свентожецка, Кордула; Брожек, Анна (ред.). Логика, знание и традиция: очерки в честь Сречко Ковача . Проверено 4 июня 2024 г.
- ^ Ло, Цзюньлян; Ли, Тяньюй; Ву, Ди; Дженкин, Майкл; Лю, Стив; Дудек, Грегори (2024). «Обнаружение галлюцинаций и смягчение галлюцинаций: исследование». arXiv : 2401.08358 [ cs.CL ].
- ^ Дзири, Нуха; Мадто, Андреа; Заиане, Осмар; Бозе, Авишек Джоуи (2021). «Охотник за нейронными путями: уменьшение галлюцинаций в диалоговых системах посредством заземления путей». arXiv : 2104.08455 [ cs.CL ].
- ^ Рашкин, Ханна; Рейтер, Дэвид; Томар, Гаурав Сингх; Дас, Дипанджан (2021). «Повышение достоверности в диалоге, основанном на знаниях, с управляемыми функциями» (PDF) . Материалы 59-го ежегодного собрания Ассоциации компьютерной лингвистики и 11-й Международной совместной конференции по обработке естественного языка .
- ^ Вэйвэй; Ши, Гао, Шэнь; Рен, Пэнцзе; Маартен, Чжаочун Сунь , ) 2022 ( .
- ^ Ло, Цзюньлян; Ли, Тяньюй; Ву, Ди; Дженкин, Майкл; Лю, Стив; Дудек, Грегори (2024). «Обнаружение галлюцинаций и смягчение галлюцинаций: исследование». arXiv : 2401.08358 [ cs.CL ].
- ^ Чжао, Чжэн; Коэн, Шей Б; Уэббер, Коэн Бонни (2020). «Уменьшение количественных галлюцинаций при абстрактном обобщении» (PDF) . Выводы Ассоциации компьютерной лингвистики: EMNLP 2020 .
- ^ Мюндлер, Нильс; Он, Цзинсюань; Дженко, Слободан; Вечев, Мартин (2023). «Самопротиворечивые галлюцинации больших языковых моделей: оценка, обнаружение и смягчение последствий». arXiv : 2305.15852 [ cs.CL ].
- ^ Лесвинг, Киф (25 апреля 2023 г.). «У NVIDIA есть новый способ предотвратить «галлюцинации» чат-ботов с искусственным интеллектом неверными фактами» . CNBC . Проверено 15 июня 2023 г.
- ^ Potsawee (9 мая 2024 г.), potsawee/selfcheckgpt , получено 9 мая 2024 г.
- ^ Aimon , aimonlabs, 8 мая 2024 г. , получено 9 мая 2024 г.
Дифференцируемые вычисления | |||||||
|---|---|---|---|---|---|---|---|
| Общий | |||||||
| Концепции | |||||||
| Приложения | |||||||
| Аппаратное обеспечение | |||||||
| Библиотеки программного обеспечения | |||||||
| Реализации |
| ||||||
| Люди | |||||||
| Организации | |||||||
| Архитектуры |
| ||||||
| |||||||
