✖


Jump to content

Объяснимый искусственный интеллект

Чтобы узнать о других значениях «XAI», см. XAI (значения) .
Часть серии о
Искусственный интеллект
Основные цели
Подходы
Приложения
Философия
История
Глоссарий

Объяснимый ИИ ( XAI ), часто пересекающийся с интерпретируемым ИИ или объяснимым машинным обучением ( XML ), либо относится к системе искусственного интеллекта (ИИ), над которой люди могут сохранять интеллектуальный контроль , либо относится к методам достижения этого. . [1] [2] Основное внимание обычно уделяется обоснованию решений или прогнозов, сделанных ИИ. [3] которые сделаны более понятными и прозрачными. [4] XAI противостоит тенденции машинного обучения « черного ящика », когда даже разработчики ИИ не могут объяснить, почему он пришел к конкретному решению. [5] [6]

XAI надеется помочь пользователям систем на базе искусственного интеллекта работать более эффективно, улучшая их понимание того, как рассуждают эти системы. [7] XAI может быть реализацией социального права на объяснение . [8] Даже если такого юридического права или нормативного требования не существует, XAI может улучшить взаимодействие с пользователем продукта или услуги, помогая конечным пользователям поверить в то, что ИИ принимает правильные решения. Целью XAI является объяснение того, что было сделано, что делается и что будет сделано дальше, а также раскрытие информации, на которой основаны эти действия. [9] Это позволяет подтверждать существующие знания, оспаривать существующие знания и генерировать новые предположения. [10]

Алгоритмы машинного обучения (ML), используемые в ИИ, можно разделить на «белый ящик» и «черный ящик» . [11] Модели белого ящика дают результаты, понятные экспертам в данной области. С другой стороны, модели «черного ящика» чрезвычайно сложно объяснить и могут быть непонятны даже экспертам в предметной области. [12] Алгоритмы XAI следуют трем принципам прозрачности, интерпретируемости и объяснимости. Модель прозрачна, «если процессы, которые извлекают параметры модели из обучающих данных и генерируют метки из данных тестирования, могут быть описаны и мотивированы разработчиком подхода». [13] Интерпретируемость описывает возможность понять модель МО и представить основную основу для принятия решений в понятной для людей форме. [14] [15] [16] Объяснимость — это концепция, которая признана важной, но единого определения пока не существует; [13] одна из возможностей - это «набор особенностей интерпретируемой области, которые способствовали, для данного примера, принятию решения (например, классификации или регрессии)». [17] Если алгоритмы соответствуют этим принципам, они обеспечивают основу для обоснования решений, их отслеживания и тем самым их проверки, улучшения алгоритмов и изучения новых фактов. [18]

Иногда также возможно достичь результата высокой точности с помощью алгоритмов ML «белого ящика». Эти алгоритмы имеют интерпретируемую структуру, которую можно использовать для объяснения предсказаний. [19] Модели концептуальных узких мест, которые используют абстракции концептуального уровня для объяснения рассуждений модели, являются примерами этого и могут применяться как в [20] и текст [21] задачи прогнозирования. Это особенно важно в таких областях, как медицина, оборона, финансы и право, где крайне важно понимать решения и укреплять доверие к алгоритмам. [9] Многие исследователи утверждают, что, по крайней мере, для машинного обучения с учителем, путь вперед — это символическая регрессия, когда алгоритм ищет в пространстве математических выражений, чтобы найти модель, которая лучше всего соответствует заданному набору данных. [22] [23] [24]

Системы искусственного интеллекта оптимизируют поведение, чтобы удовлетворить математически заданную целевую систему, выбранную разработчиками системы, например, команду «максимизировать точность оценки того, насколько положительные обзоры фильмов находятся в наборе тестовых данных». ИИ может изучить полезные общие правила из тестового набора, например, «отзывы, содержащие слово «ужасно», скорее всего, будут отрицательными». Однако он также может усвоить неуместные правила, такие как «отзывы, содержащие « Дэниел Дэй-Льюис », обычно положительные»; такие правила могут быть нежелательны, если они, скорее всего, не будут обобщаться за пределами обучающего набора или если люди считают правило «обманным» или «несправедливым». Человек может проверять правила в XAI, чтобы получить представление о том, насколько вероятно, что система обобщит будущие реальные данные за пределами тестового набора. [25]

Цели

[ редактировать ]

Сотрудничество между агентами – в данном случае алгоритмами и людьми – зависит от доверия. Если люди хотят принять алгоритмические рецепты, они должны им доверять. Неполнота формальных критериев доверия является препятствием для оптимизации. Прозрачность, интерпретируемость и объяснимость являются промежуточными целями на пути к этим более всеобъемлющим критериям доверия. [26] Особенно это актуально в медицине, [27] особенно с системами поддержки клинических решений (CDSS), в которых медицинские работники должны иметь возможность понимать, как и почему было принято машинное решение, чтобы доверять этому решению и расширять свой процесс принятия решений. [28]

Системы ИИ иногда учатся нежелательным трюкам, которые оптимально выполняют работу по достижению явных заранее запрограммированных целей на обучающих данных, но не отражают более тонкие неявные желания разработчиков человеческих систем или полную сложность данных предметной области. Например, система 2017 года, которой было поручено распознавать изображения, научилась «обманывать», ища тег авторского права, который оказался связан с изображениями лошадей, вместо того, чтобы научиться определять, была ли лошадь на самом деле изображена. [6] В другой системе 2017 года управляемый обучающийся ИИ, которому было поручено захватывать предметы в виртуальном мире, научился жульничать, помещая свой манипулятор между объектом и зрителем таким образом, чтобы создавалось ложное впечатление, будто он хватает объект. [29] [30]

Один из проектов прозрачности, программа DARPA XAI, направлен на создание моделей « стеклянного ящика », которые можно объяснить « человеку в процессе », не жертвуя при этом производительностью искусственного интеллекта. Люди-пользователи такой системы могут понять мысли ИИ (как в режиме реального времени, так и постфактум) и определить, стоит ли доверять ИИ. [31] Другими приложениями XAI являются извлечение знаний из моделей «черного ящика» и сравнение моделей. [32] В контексте систем мониторинга соблюдения этических и социально-правовых норм термин «стеклянный ящик» обычно используется для обозначения инструментов, которые отслеживают входные и выходные данные рассматриваемой системы и предоставляют ценностные объяснения их поведения. Целью этих инструментов является обеспечение того, чтобы система работала в соответствии с этическими и правовыми стандартами, а процессы принятия решений были прозрачными и подотчетными. Термин «стеклянный ящик» часто используется в отличие от систем «черный ящик», которым не хватает прозрачности и которые сложнее контролировать и регулировать. [33] Этот термин также используется для обозначения голосового помощника, который в качестве объяснений производит контрафактные утверждения. [34]

Техники объяснимости и интерпретируемости

[ редактировать ]

Существует тонкая разница между терминами объяснимость и интерпретируемость в контексте ИИ. [35]

Срок Определение Источник
Интерпретируемость «уровень понимания того, как работает базовая технология (ИИ)» ISO/IEC TR 29119-11:2020(ru), 3.1.42 [36]
Объясняемость "уровень понимания того, как система на базе ИИ... добилась заданного результата" ISO/IEC TR 29119-11:2020(ru), 3.1.31 [36]

Некоторые методы объяснительности не предполагают понимания того, как работает модель, и могут работать в различных системах ИИ. Рассматривание модели как черного ящика и анализ того, как незначительные изменения входных данных влияют на результат, иногда дают достаточное объяснение.

Объясняемость

[ редактировать ]

Объясняемость полезна для обеспечения того, чтобы модели ИИ не принимали решения на основе нерелевантных или иным образом несправедливых критериев. Для классификации и регрессии моделей существует несколько популярных методов:

  • Графики частичной зависимости показывают предельное влияние входной функции на прогнозируемый результат.
  • SHAP (SHapley Additive ExPlanations) позволяет визуализировать вклад каждой входной функции в выходные данные. Он работает путем расчета значений Шепли , которые измеряют средний предельный вклад признака во всех возможных комбинациях признаков. [37]
  • Важность функции оценивает, насколько важна функция для модели. Обычно это делается с использованием важности перестановки , которая измеряет снижение производительности, когда значение функции случайным образом перемешивается во всех выборках.
  • LIME локально аппроксимирует результаты модели более простой интерпретируемой моделью. [38]
  • Многозадачное обучение обеспечивает большое количество результатов в дополнение к целевой классификации. Эти другие выходные данные могут помочь разработчикам понять, чему научилась сеть. [39]

Для изображений карты значимости выделяют те части изображения, которые больше всего повлияли на результат. [40]

Однако эти методы не очень подходят для языковых моделей, таких как генеративные предварительно обученные преобразователи . Поскольку эти модели порождают язык, они могут дать объяснение, но оно может быть ненадежным. Другие методы включают анализ внимания (изучение того, как модель фокусируется на различных частях входных данных), методы исследования (проверка того, какая информация фиксируется в представлениях модели), причинно-следственную связь (отслеживание потока информации через модель) и обнаружение цепей (выявление определенные подсети, ответственные за определенное поведение). Исследования объяснимости в этой области во многом пересекаются с интерпретируемости и согласованности . исследованиями [41]

Интерпретируемость

[ редактировать ]

Ученые иногда используют термин «механистическая интерпретируемость» для обозначения процесса обратного проектирования искусственных нейронных сетей , чтобы понять их внутренние механизмы и компоненты принятия решений, подобно тому, как можно анализировать сложную машину или компьютерную программу. [42]

Исследования интерпретируемости часто фокусируются на генеративных предварительно обученных преобразователях. Это особенно актуально для ИИ безопасности и согласованности , поскольку может позволить выявить признаки нежелательного поведения, такого как подхалимство , обман или предвзятость, а также лучше управлять моделями ИИ. [43]

Изучение интерпретируемости самых передовых моделей фундаментов — одна из основных задач компании Anthropic . Эта работа часто включает поиск автоматизированного способа определения «особенностей» в генеративных предварительно обученных преобразователях, таких как Claude . В нейронной сети особенность — это образец активации нейронов, соответствующий концепции. Используя ресурсоемкую вычислительную технику под названием « обучение по словарю », Anthropic смогла идентифицировать миллионы функций в Claude, включая, например, одну, связанную с мостом Золотые Ворота , и другую, представляющую концепцию программной ошибки . Ожидается, что расширение возможностей идентификации и редактирования функций значительно повысит безопасность передовых моделей ИИ . [44] [45] [46]

Для сверточных нейронных сетей DeepDream может генерировать изображения, которые сильно активируют конкретный нейрон, предоставляя визуальную подсказку о том, что нейрон обучен идентифицировать. [47]

История и методы

[ редактировать ]

В период с 1970-х по 1990-е годы системы символического мышления , такие как MYCIN , [48] РУЛЬ, [49] СОФИ, [50] и ПРОТОС [51] [52] могут представлять, рассуждать и объяснять свои рассуждения в целях диагностики, обучения или машинного обучения (обучение на основе объяснений). MYCIN, разработанный в начале 1970-х годов как исследовательский прототип для диагностики бактериемических инфекций кровотока, мог бы объяснить [53] какие из закодированных вручную правил способствовали постановке диагноза в конкретном случае. Исследования в области интеллектуальных систем обучения привели к разработке таких систем, как SOPHIE, которые могли выступать в роли «эксперта, четко выражающего свои мысли», объясняя стратегию решения проблем на уровне, понятном ученикам, чтобы они знали, какие действия предпринять дальше. Например, компания SOPHIE могла бы объяснить качественную причину устранения неполадок в электронике, хотя в конечном итоге она полагалась на симулятор цепей SPICE . Аналогичным образом, GUIDON добавил обучающие правила в дополнение к правилам на уровне домена MYCIN, чтобы можно было объяснить стратегию медицинской диагностики. Символические подходы к машинному обучению, основанные на обучении на основе объяснений, такие как PROTOS, использовали явные представления объяснений, выраженные на специальном языке объяснений, как для объяснения их действий, так и для приобретения новых знаний. [52]

В 1980-х – начале 1990-х годов системы поддержания истины (TMS) расширили возможности систем причинно-следственных рассуждений, основанных на правилах и логических выводов. [54] : 360–362  TMS явно отслеживает альтернативные линии рассуждений, обоснования выводов и линии рассуждений, которые приводят к противоречиям, позволяя будущим рассуждениям избежать этих тупиков. Чтобы дать объяснение, они отслеживают ход рассуждений от выводов к предположениям посредством операций с правилами или логических выводов, позволяя генерировать объяснения на основе следов рассуждений. В качестве примера рассмотрим систему решения задач, основанную на правилах и использующую всего несколько правил о Сократе, которая приходит к выводу, что он умер от яда:

Просто проследив структуру зависимостей, решатель задач может построить следующее объяснение: «Сократ умер, потому что он был смертен и выпил яд, а все смертные умирают, когда выпивают яд. Сократ был смертен, потому что он был человеком, а все люди смертны. Сократ выпил яд, потому что он придерживался диссидентских убеждений, правительство было консервативным, а те, кто придерживался консервативных диссидентских убеждений при консервативном правительстве, должны пить яд». [55] : 164–165 

К 1990-м годам исследователи начали изучать, можно ли осмысленно извлекать правила, не закодированные вручную, генерируемые непрозрачными обученными нейронными сетями. [56] Исследователи клинических экспертных систем, создающие [ нужны разъяснения ] Поддержка принятия решений на основе нейронных сетей для врачей стремилась разработать динамические объяснения, которые позволили бы этим технологиям пользоваться большим доверием и надежностью на практике. [8] В 2010-х годах обеспокоенность общественности по поводу расовой и другой предвзятости при использовании ИИ для вынесения уголовных приговоров и определения кредитоспособности, возможно, привела к увеличению спроса на прозрачный искусственный интеллект. [6] В результате многие ученые и организации разрабатывают инструменты, помогающие обнаруживать предвзятость в своих системах. [57]

Марвин Мински и др. поднял вопрос о том, что ИИ может функционировать как форма наблюдения, с предубеждениями, присущими наблюдению, предложив HI (гуманистический интеллект) как способ создания более справедливого и сбалансированного ИИ, «человека в процессе». [58]

Современные сложные методы искусственного интеллекта, такие как глубокое обучение и генетические алгоритмы , по своей природе непрозрачны. [59] Для решения этой проблемы были разработаны методы, позволяющие сделать новые модели более объяснимыми и интерпретируемыми. [60] [15] [14] [61] [62] [63] Сюда входит послойное распространение релевантности (LRP), метод определения того, какие функции в конкретном входном векторе наиболее сильно влияют на выходные данные нейронной сети. [64] [65] Другие методы объясняют некоторые конкретные предсказания, сделанные с помощью (нелинейной) модели черного ящика, цель, называемая «локальной интерпретируемостью». [66] [67] [68] [69] [70] [71] Простое перенесение концепций локальной интерпретируемости в удаленный контекст (где модель черного ящика выполняется третьей стороной) в настоящее время находится под пристальным вниманием. [ нечеткий ] . [ нужны разъяснения ] [72] [73]

Ведется работа по созданию моделей стеклянных коробок, более прозрачных для осмотра. [19] [74] Сюда входят деревья решений , [75] Байесовские сети , разреженные линейные модели , [76] и многое другое. [77] Конференция Ассоциации вычислительной техники по справедливости, подотчетности и прозрачности (ACM FAccT) была создана в 2018 году для изучения прозрачности и объяснимости в контексте социотехнических систем, многие из которых включают искусственный интеллект. [78] [79]

Некоторые методы позволяют визуализировать входные данные, на которые отдельные программные нейроны реагируют наиболее сильно. Несколько групп обнаружили, что нейроны могут быть объединены в цепи, выполняющие понятные человеку функции, некоторые из которых надежно возникают в разных сетях, обучаемых независимо. [80] [81]

Существуют различные методы извлечения сжатых представлений характеристик заданных входных данных, которые затем можно проанализировать с помощью стандартных методов кластеризации . В качестве альтернативы сети можно научить выдавать лингвистические объяснения своего поведения, которые затем могут быть непосредственно интерпретированы человеком. [82] Поведение модели также можно объяснить со ссылкой на данные обучения, например, оценивая, какие входные данные обучения больше всего повлияли на данное поведение. [83]

Использование объяснимого искусственного интеллекта (XAI) в исследованиях боли, в частности, для понимания роли электродермальной активности для автоматического распознавания боли : созданные вручную функции и модели глубокого обучения в распознавании боли, подчеркивающие понимание того, что простые созданные вручную функции могут дать сравнительные результаты. производительность моделей глубокого обучения и что как традиционные подходы к разработке функций, так и подходы к глубокому обучению основаны на простых характеристиках входных данных временных рядов. [84]

Регулирование

[ редактировать ]

потребуется более четкая подотчетность, Поскольку регулирующие органы, официальные органы и обычные пользователи начинают зависеть от динамических систем на основе искусственного интеллекта, для автоматизированных процессов принятия решений чтобы обеспечить доверие и прозрачность. Первой глобальной конференцией, посвященной исключительно этой новой дисциплине, стала Международная совместная конференция по искусственному интеллекту 2017 года : Семинар по объяснимому искусственному интеллекту (XAI). [85]

Европейский Союз ввел право на объяснение в Общем праве на защиту данных (GDPR) для решения потенциальных проблем, связанных с растущей важностью алгоритмов. Реализация регламента началась в 2018 году. Однако право на объяснение в GDPR охватывает только локальный аспект интерпретируемости. В Соединенных Штатах страховые компании обязаны иметь возможность объяснить свои решения по ставкам и покрытию. [86] Во Франции Loi pour une République numerique (Закон о цифровой республике) предоставляет субъектам право запрашивать и получать информацию, касающуюся реализации алгоритмов, обрабатывающих данные о них.

Ограничения

[ редактировать ]

Несмотря на продолжающиеся усилия по повышению объяснимости моделей ИИ, они по-прежнему имеют ряд присущих им ограничений.

Состязательные стороны

[ редактировать ]

Делая систему ИИ более объяснимой, мы также раскрываем больше ее внутренних механизмов. Например, метод объяснимости важности признаков определяет характеристики или переменные, которые наиболее важны для определения выходных данных модели, тогда как метод влиятельных выборок определяет обучающие выборки, которые наиболее влияют на определение выходных данных с учетом конкретных входных данных. [87] Этим знанием могут воспользоваться враждебные стороны.

Например, фирмы-конкуренты могут воспроизвести аспекты исходной системы искусственного интеллекта в своем собственном продукте, тем самым снижая конкурентное преимущество. [88] Объяснимая система ИИ также подвержена «игре» — влиянию, которое подрывает ее прямое предназначение. В одном исследовании приводится пример системы прогнозирования полицейской деятельности; в этом случае те, кто потенциально может «обыграть» систему, являются преступниками, подчиняющимися решениям системы. В этом исследовании разработчики системы обсудили проблему преступных группировок, стремящихся незаконно получить паспорта, и выразили обеспокоенность тем, что, если им будет дано представление о том, какие факторы могут вызвать тревогу в процессе подачи заявления на получение паспорта, эти банды смогут « отправить «подопытных кроликов», чтобы проверить эти триггеры, и в конечном итоге найти лазейку, которая позволит им «надежно получать паспорта из-под носа у властей». [89]

Техническая сложность

[ редактировать ]

Фундаментальным препятствием на пути к объяснению систем искусственного интеллекта является техническая сложность таких систем. Конечным пользователям часто не хватает знаний в области кодирования, необходимых для понимания программного обеспечения любого типа. Текущие методы, используемые для объяснения ИИ, в основном технические и ориентированы на инженеров по машинному обучению в целях отладки, а не на конечных пользователей, на которых в конечном итоге влияет система, что приводит к «разрыву между объяснимостью на практике и целью прозрачности». [87] Предлагаемые решения для решения проблемы технической сложности включают либо содействие обучению широкой публики программированию, чтобы технические пояснения были более доступными для конечных пользователей, либо предоставление объяснений с точки зрения непрофессионала. [88]

Решение должно избегать чрезмерного упрощения. Важно найти баланс между точностью (насколько точно объяснение отражает процесс работы системы ИИ) и объяснимостью (насколько хорошо конечные пользователи понимают этот процесс). Это сложный баланс, поскольку сложность машинного обучения затрудняет его полное понимание даже инженерам ML, не говоря уже о неспециалистах. [87]

Понимание против доверия

[ редактировать ]

Целью объяснительности для конечных пользователей систем ИИ является повышение доверия к системам и даже «решение проблем, связанных с отсутствием «справедливости» и дискриминационными эффектами». [88] Однако даже при хорошем понимании системы искусственного интеллекта конечные пользователи не обязательно могут ей доверять. [90] В одном исследовании участникам были представлены комбинации объяснений «белого и черного ящика», а также статические и интерактивные объяснения систем искусственного интеллекта. Хотя эти объяснения способствовали повышению как их самооценки, так и объективного понимания, они не повлияли на уровень их доверия, которое оставалось скептическим. [91]

Этот результат был особенно верен для решений, которые существенно влияли на конечного пользователя, таких как поступление в аспирантуру. Участники сочли алгоритмы слишком негибкими и беспощадными по сравнению с людьми, принимающими решения; вместо того, чтобы жестко придерживаться набора правил, люди могут рассматривать исключительные случаи, а также обжаловать свое первоначальное решение. [91] Для таких решений объяснимость не обязательно заставит конечных пользователей согласиться на использование алгоритмов принятия решений. Нам нужно будет либо обратиться к другому методу для повышения доверия и принятия алгоритмов принятия решений, либо в первую очередь поставить под сомнение необходимость полагаться исключительно на ИИ для принятия таких эффективных решений.

Однако некоторые подчеркивают, что цель объяснимости искусственного интеллекта состоит не в том, чтобы просто повысить доверие пользователей к решениям системы, а в том, чтобы откалибровать уровень доверия пользователей до правильного уровня. [92] Согласно этому принципу, слишком большое или слишком малое доверие пользователей к системе ИИ нанесет ущерб общей производительности подразделения «человек-система». Когда доверие чрезмерное, пользователи не критикуют возможные ошибки системы, а когда пользователи не имеют достаточного доверия к системе, они не исчерпают заложенные в ней преимущества.

Критика

[ редактировать ]

Некоторые ученые полагают, что объяснимость ИИ следует рассматривать как вторичную цель по отношению к эффективности ИИ, и что поощрение исключительной разработки XAI может ограничить функциональность ИИ в более широком смысле. [93] [94] Критика XAI опирается на развитые концепции механистических и эмпирических рассуждений доказательной медицины, чтобы предположить, что технологии ИИ могут быть клинически проверены, даже если их функции не могут быть поняты их операторами. [93]

Некоторые исследователи выступают за использование интерпретируемых по своей сути моделей машинного обучения вместо использования апостериорных объяснений, в которых создается вторая модель для объяснения первой. Частично это происходит потому, что апостериорные модели усложняют путь принятия решения, а отчасти потому, что часто неясно, насколько точно апостериорное объяснение может имитировать вычисления совершенно отдельной модели. [19] Однако другая точка зрения состоит в том, что важно то, чтобы объяснение выполняло поставленную задачу, и не имеет значения, является ли оно pre-hoc или post-hoc. Если метод апостериорного объяснения помогает врачу лучше диагностировать рак, то, является ли это объяснение правильным или неправильным, имеет второстепенное значение.

Цели XAI сводятся к форме сжатия с потерями , которая станет менее эффективной по мере увеличения числа параметров моделей ИИ. Наряду с другими факторами это приводит к теоретическому пределу объяснимости. [95]

Объяснимость в социальном выборе

[ редактировать ]

Объяснимость изучалась также в теории социального выбора . Теория социального выбора направлена ​​на поиск решений проблем социальных решений, основанных на устоявшихся аксиомах. Ариэль Д. Прокачча [96] объясняет, что эти аксиомы можно использовать для построения убедительных объяснений решений. Этот принцип использовался для построения объяснений в различных областях социального выбора.

Голосование

[ редактировать ]

Кайу и Эндрисс [97] представить метод объяснения правил голосования с использованием аксиом характеризующих их . Они иллюстрируют свой метод на правиле голосования Борда .

Петерс, Прокачча, Псомас и Чжоу [98] представить алгоритм объяснения результатов правила Борда с помощью O( m 2 ) объяснения и докажите, что в худшем случае это туго.

Совместное бюджетирование

[ редактировать ]

Ян, Хаусладен, Петерс, Пурнарас, Фрикер и Хелбинг [99] представить эмпирическое исследование объяснимости совместного составления бюджета . Они сравнили жадные правила и правила равных долей , а также три типа объяснений: объяснение механизма (общее объяснение того, как работает правило агрегирования с учетом результатов голосования), индивидуальное объяснение (объясняющее, сколько избирателей имели хотя бы один одобренный проект, хотя бы один одобренный проект). 10 000 швейцарских франков в утвержденных проектах) и групповое объяснение (поясняющее, как распределяется бюджет между округами и темами). Они сравнили воспринимаемую надежность и справедливость жадных и равных долей до и после объяснений. Они обнаружили, что для MES объяснение механизма дает наибольший рост воспринимаемой справедливости и надежности; вторым по величине было объяснение группы. Для Жадного объяснение механизма увеличивает воспринимаемую надежность, но не честность, тогда как индивидуальное объяснение увеличивает как воспринимаемую справедливость, так и надежность. Групповое объяснение снижает воспринимаемую справедливость и надежность.

Распределение выплат

[ редактировать ]

Низри, Азария и Хазон [100] представить алгоритм вычисления объяснения значения Шепли . Учитывая коалиционную игру, их алгоритм разбивает ее на подигры, для которых легко генерировать словесные объяснения на основе аксиом, характеризующих значение Шепли. Распределение выигрышей для каждой подигры воспринимается как справедливое, поэтому распределение выигрышей по Шепли для данной игры также должно казаться справедливым. Эксперимент с 210 людьми показывает, что с автоматически сгенерированными объяснениями испытуемые воспринимают распределение выигрыша на основе Шепли как значительно более справедливое, чем при общем стандартном объяснении.

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Лонго, Лука; и др. (2024). «Объяснимый искусственный интеллект (XAI) 2.0: манифест открытых проблем и междисциплинарных направлений исследований» . Информационный синтез . 106 . дои : 10.1016/j.inffus.2024.102301 .
  2. ^ Михай, Хедер (2023). «Объяснимый ИИ: краткая история концепции» (PDF) . Новости ERCIM (134): 9–10.
  3. ^ Филлипс, П. Джонатон; Хан, Карина А.; Фонтана, Питер К.; Йейтс, Эми Н.; Грин, Кристен; Бронятовский, Дэвид А.; Пшибоцкий, Марк А. (29 сентября 2021 г.). «Четыре принципа объяснимого искусственного интеллекта» . дои : 10.6028/nist.ir.8312 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  4. ^ Вилоне, Джулия; Лонго, Лука (2021). «Представления об объяснимости и подходы к оценке объяснимого искусственного интеллекта» . Информационный синтез . Декабрь 2021 г. - Том 76: 89–106. дои : 10.1016/j.inffus.2021.05.009 .
  5. ^ Кастельвекки, Давиде (06 октября 2016 г.). «Можем ли мы открыть черный ящик ИИ?» . Природа . 538 (7623): 20–23. Бибкод : 2016Natur.538...20C . дои : 10.1038/538020a . ISSN   0028-0836 . ПМИД   27708329 . S2CID   4465871 .
  6. ^ Jump up to: а б с Сэмпл, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему так важно сделать ИИ справедливыми, подотчетными и прозрачными» . Хранитель . Проверено 30 января 2018 г.
  7. ^ Ализаде, Фатима (2021). «Я не знаю, используется ли ИИ в подушках безопасности?: Эмпирическое исследование народных представлений и ожиданий людей от нынешнего и будущего искусственного интеллекта» . Яком . 20 (1): 3–17. дои : 10.1515/icom-2021-0009 . S2CID   233328352 .
  8. ^ Jump up to: а б Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему «право на объяснение», вероятно, не то средство, которое вы ищете». Обзор права и технологий герцога . 16:18 . ССНН   2972855 .
  9. ^ Jump up to: а б Ганнинг, Д.; Стефик, М.; Чой, Дж.; Миллер, Т.; Штумпф, С.; Ян, Г.-З. (18 декабря 2019 г.). «XAI-Объяснимый искусственный интеллект» . Научная робототехника . 4 (37): eaay7120. doi : 10.1126/scirobotics.aay7120 . ISSN   2470-9476 . ПМИД   33137719 .
  10. ^ Риг, Тило; Фрик, Янек; Баумгартль, Герман; Бюттнер, Рикардо (17 декабря 2020 г.). «Демонстрация потенциала подходов машинного обучения «белого ящика» для получения ценной информации на основе электрокардиограмм сердечно-сосудистых заболеваний» . ПЛОС ОДИН . 15 (12): e0243615. Бибкод : 2020PLoSO..1543615R . дои : 10.1371/journal.pone.0243615 . ISSN   1932-6203 . ПМЦ   7746264 . ПМИД   33332440 .
  11. ^ Вилоне, Джулия; Лонго, Лука (2021). «Классификация объяснимых методов искусственного интеллекта по форматам их вывода» . Машинное обучение и извлечение знаний . 3 (3): 615–661. дои : 10.3390/make3030032 .
  12. ^ Лойола-Гонсалес, О. (2019). «Черный ящик против белого ящика: понимание их преимуществ и слабостей с практической точки зрения» . Доступ IEEE . 7 : 154096–154113. Бибкод : 2019IEEA...7o4096L . дои : 10.1109/ACCESS.2019.2949286 . ISSN   2169-3536 .
  13. ^ Jump up to: а б Рошер, Р.; Бон, Б.; Дуарте, МФ; Гарке, Дж. (2020). «Объяснимое машинное обучение для научных идей и открытий» . Доступ IEEE . 8 : 42200–42216. arXiv : 1905.08883 . Бибкод : 2020IEEA...842200R . дои : 10.1109/ACCESS.2020.2976199 . ISSN   2169-3536 .
  14. ^ Jump up to: а б Мердок, В. Джеймс; Сингх, Чандан; Кумбьер, Карл; Аббаси-Асл, Реза; Ю, Бин (14 января 2019 г.). «Интерпретируемое машинное обучение: определения, методы и приложения» . Труды Национальной академии наук Соединенных Штатов Америки . 116 (44): 22071–22080. arXiv : 1901.04592 . дои : 10.1073/pnas.1900654116 . ПМЦ   6825274 . ПМИД   31619572 .
  15. ^ Jump up to: а б Липтон, Закари К. (июнь 2018 г.). «Мифы об интерпретируемости моделей: в машинном обучении концепция интерпретируемости одновременно важна и ненадежна» . Очередь . 16 (3): 31–57. дои : 10.1145/3236386.3241340 . ISSN   1542-7730 .
  16. ^ «Объяснимый искусственный интеллект (XAI): концепции, таксономия, возможности и проблемы на пути к ответственному ИИ» . ДипАИ . 22 октября 2019 г. Проверено 13 января 2021 г.
  17. ^ Монтавон, Грегуар; Самек, Войцех; Мюллер, Клаус-Роберт (01 февраля 2018 г.). «Методы интерпретации и понимания глубоких нейронных сетей» . Цифровая обработка сигналов . 73 : 1–15. arXiv : 1706.07979 . Бибкод : 2018DSP....73....1M . дои : 10.1016/j.dsp.2017.10.011 . ISSN   1051-2004 .
  18. ^ Адади, А.; Беррада, М. (2018). «Заглянув внутрь черного ящика: исследование объяснимого искусственного интеллекта (XAI)» . Доступ IEEE . 6 : 52138–52160. Бибкод : 2018IEEE...652138A . дои : 10.1109/ACCESS.2018.2870052 . ISSN   2169-3536 .
  19. ^ Jump up to: а б с Рудин, Синтия (2019). «Перестаньте объяснять модели машинного обучения «черный ящик» для принятия важных решений и вместо этого используйте интерпретируемые модели» . Природный машинный интеллект . 1 (5): 206–215. arXiv : 1811.10154 . дои : 10.1038/s42256-019-0048-x . ISSN   2522-5839 . ПМЦ   9122117 . ПМИД   35603010 .
  20. ^ Кох, ПВ; Нгуен, Т.; Тан, Ю.С.; Муссманн, С.; Пирсон, Э.; Ким, Б.; Лян, П. (ноябрь 2020 г.). «Концептуальные модели узких мест». Международная конференция по машинному обучению . ПМЛР. стр. 5338–5348.
  21. ^ Лудан, Дж. М.; Лю, К.; Ян, Ю.; Дуган, Л.; Яцкар, М.; Каллисон-Берч, К. (2023). «Интерпретируемая по дизайну классификация текста с итеративно генерируемым концептуальным узким местом». arXiv : 2310.19660 [ cs.CL ].
  22. ^ Веннингер, Саймон; Каймакчи, Кан; Вите, Кристиан (2022). «Объяснимое долгосрочное прогнозирование энергопотребления здания с использованием QLattice». Прикладная энергетика . 308 . Elsevier BV: 118300. Бибкод : 2022ApEn..30818300W . дои : 10.1016/j.apenergy.2021.118300 . ISSN   0306-2619 . S2CID   245428233 .
  23. ^ Кристиансен, Майкл; Уилструп, Каспер; Хедли, Паула Л. (2022). «Объяснимое машинное обучение по принципу «белого ящика» — это путь вперед в скрининге преэклампсии». Американский журнал акушерства и гинекологии . 227 (5). Elsevier BV: 791. doi : 10.1016/j.ajog.2022.06.057 . ISSN   0002-9378 . ПМИД   35779588 . S2CID   250160871 .
  24. ^ Уилступ, Каспер; Кейв, Крис (15 января 2021 г.), Сочетание символической регрессии с моделью пропорциональных рисков Кокса улучшает прогнозирование смертности от сердечной недостаточности , Лаборатория Колд-Спринг-Харбор, doi : 10.1101/2021.01.15.21249874 , S2CID   231609904
  25. ^ «Как ИИ-детективы взламывают черный ящик глубокого обучения» . Наука . 5 июля 2017 года . Проверено 30 января 2018 г. .
  26. ^ Досилович, Филип; Брчич, Марио; Хлупич, Никица (25 мая 2018 г.). «Объяснимый искусственный интеллект: исследование» (PDF) . МИПРО 2018 - Материалы 41-й Международной конвенции . MIPRO 2018. Опатия, Хорватия. стр. 210–215. дои : 10.23919/МИПРО.2018.8400040 . ISBN  978-953-233-095-3 . Архивировано из оригинала (PDF) 10 декабря 2018 г. Проверено 9 декабря 2018 г.
  27. ^ Берналь, Хосе; Мазо, Клаудия (11 октября 2022 г.). «Прозрачность искусственного интеллекта в здравоохранении: мнение профессионалов в области компьютерных технологий и здравоохранения со всего мира» . Прикладные науки . 12 (20): 10228. дои : 10.3390/app122010228 . ISSN   2076-3417 .
  28. ^ Антониади, Анна Маркелла; Ду, Юхан; Гендуз, Ясмин; Вэй, Лан; Мазо, Клаудия; Беккер, Бретт А.; Муни, Кэтрин (январь 2021 г.). «Текущие проблемы и будущие возможности XAI в системах поддержки принятия клинических решений на основе машинного обучения: систематический обзор» . Прикладные науки . 11 (11): 5088. дои : 10.3390/app11115088 . ISSN   2076-3417 .
  29. ^ «У DeepMind есть простые тесты, которые могут предотвратить апокалипсис искусственного интеллекта Илона Маска» . Bloomberg.com . 11 декабря 2017 года . Проверено 30 января 2018 г.
  30. ^ «Изучение человеческих предпочтений» . Блог OpenAI . 13 июня 2017 г. Проверено 30 января 2018 г.
  31. ^ «Объяснимый искусственный интеллект (XAI)» . ДАРПА . Проверено 17 июля 2017 г.
  32. ^ Бичек, Пшемыслав (23 июня 2018 г.). «DALEX: объяснители для сложных прогностических моделей». Журнал исследований машинного обучения . 19 : 1–5. arXiv : 1806.08915 .
  33. ^ Рай, Арун. «Объяснимый ИИ: от черного ящика к стеклянному ящику». Журнал Академии маркетинговых наук 48 (2020): 137-141.
  34. ^ Сокол, Кацпер; Флах, Питер (2018). «Стеклянный ящик: объяснение решений ИИ с помощью контрфактических заявлений посредством разговора с виртуальным помощником с голосовой поддержкой». Материалы двадцать седьмой Международной совместной конференции по искусственному интеллекту . стр. 5868–5870. дои : 10.24963/ijcai.2018/865 . ISBN  9780999241127 . S2CID   51608978 .
  35. ^ Бронятовский, Дэвид А. (2021). «Психологические основы объяснимости и интерпретируемости искусственного интеллекта» . Пабы НИСТ .
  36. ^ Jump up to: а б ISO/IEC TR 29119-11:2020, Программное обеспечение и системная инженерия, Тестирование программного обеспечения, Часть 11: Руководящие указания по тестированию систем на базе искусственного интеллекта . ИСО . 2020 . Проверено 25 ноября 2023 г.
  37. ^ Верма, Югеш (25 декабря 2021 г.). «Полное руководство по SHAP — пояснения к аддитивам SHAPley для практиков» . Журнал Analytics India . Проверено 10 июля 2024 г.
  38. ^ Ротман, Денис (07.10.2020). «Изучение объяснений LIME и стоящей за ним математики» . Журнал Codemotion . Проверено 10 июля 2024 г.
  39. ^ Кристиан, Брайан (2020). «Расскажи мне все: МНОГОЗАДАЧНЫЕ СЕТИ». Проблема согласования : машинное обучение и человеческие ценности . WW Нортон и компания. ISBN  978-0-393-86833-3 .
  40. ^ Шарма, Абхишек (11 июля 2018 г.). «Что такое карты значимости в глубоком обучении?» . Журнал Analytics India . Проверено 10 июля 2024 г.
  41. ^ Ло, Хаоянь; Специя, Люсия (21 февраля 2024 г.). «От понимания к использованию: обзор объяснимости больших языковых моделей». arXiv : 2401.12874 [ cs.CL ].
  42. ^ Ола, Крис (27 июня 2022 г.). «Механистическая интерпретируемость, переменные и важность интерпретируемых основ» . www.transformer-circuits.pub . Проверено 10 июля 2024 г.
  43. ^ Миттал, Ааюш (17 июня 2024 г.). «Понимание разреженных автоэнкодеров, GPT-4 и Claude 3: углубленное техническое исследование» . Unite.AI . Проверено 10 июля 2024 г.
  44. ^ Ропек, Лукас (21 мая 2024 г.). «Новые антропные исследования проливают свет на «черный ящик» ИИ » . Гизмодо . Проверено 23 мая 2024 г.
  45. ^ Перриго, Билли (21 мая 2024 г.). «Искусственный интеллект — это «черный ящик». Возможно, ненадолго» . Время . Проверено 24 мая 2024 г.
  46. ^ Адли Темплтон*, Том Конерли*, Джонатан Маркус, Джек Линдси, Трентон Брикен, Брайан Чен, Адам Пирс, Крейг Ситро, Эммануэль Амейсен, Энди Джонс, Хоги Каннингем, Николас Л. Тернер, Каллум МакДугалл, Монте МакДиармид, Алекс Тэмкин, Эсин Дурмус, Тристан Хьюм, Франческо Москони, К. Дэниэл Фриман, Теодор Р. Шумерс, Эдвард Риз, Джошуа Бэтсон, Адам Джермин, Шэн Картер, Крис Ола, Том Хениган Масштабирование моносемантичности: извлечение интерпретируемых функций из сонета Клода 3 , антропного , получено 24 мая 2024 г.
  47. ^ Барбер, Грегори. «Внутри «черного ящика» нейронной сети» . Проводной . ISSN   1059-1028 . Проверено 10 июля 2024 г.
  48. ^ Фэган, Л.М.; Шортлифф, Э.Г.; Бьюкенен, Б.Г. (1980). «Компьютерное принятие медицинских решений: от MYCIN до VM». Автомедика . 3 (2): 97–108.
  49. ^ Кланси, Уильям (1987). Репетиторство, основанное на знаниях: программа GUIDON . Кембридж, Массачусетс: MIT Press.
  50. ^ Браун, Джон С.; Бертон, РР; Де Клеер, Йохан (1982). «Педагогические методы, методы естественного языка и инженерии знаний в СОФИ I, II и III». Интеллектуальные системы обучения . Академическая пресса. ISBN  0-12-648680-8 .
  51. ^ Барейсс, Рэй; Портер, Брюс; Вейр, Крейг; Холте, Роберт (1990). «Протос: ученик, обучающийся на основе образцов». Машинное обучение . Том. 3. Morgan Kaufmann Publishers Inc., стр. 112–139. ISBN  1-55860-119-8 .
  52. ^ Jump up to: а б Барейсс, Рэй (1989). Приобретение знаний на основе образцов: унифицированный подход к представлению концепций, классификации и обучению . Перспективы искусственного интеллекта. Академическая пресса .
  53. ^ Ван Лент, М.; Фишер, В.; Манкузо, М. (июль 2004 г.). «Объяснимая система искусственного интеллекта для тактического поведения небольших подразделений». Материалы Национальной конференции по искусственному интеллекту . Сан-Хосе, Калифорния: AAAI Press. стр. 900–907. ISBN  0262511835 .
  54. ^ Рассел, Стюарт; Норвиг, Питер (2003). Искусственный интеллект: современный подход . Серия Прентис Холл по искусственному интеллекту (второе изд.). Река Аппер-Сэддл, Нью-Джерси: Прентис-Холл, Pearson Education. ISBN  0-13-790395-2 .
  55. ^ Форбус, Кеннет; Де Клеер, Йохан (1993). Создание решателей проблем . Кембридж, Массачусетс: MIT Press. ISBN  0-262-06157-0 .
  56. ^ Щекотать, AB; Эндрюс, Р.; Голеа, М.; Дидерих, Дж. (ноябрь 1998 г.). «Правда выйдет на свет: направления и проблемы в извлечении знаний, заложенных в обученные искусственные нейронные сети». Транзакции IEEE в нейронных сетях . 9 (6): 1057–1068. дои : 10.1109/72.728352 . ISSN   1045-9227 . ПМИД   18255792 . S2CID   11111578 .
  57. ^ «Accenture представляет инструмент, который поможет компаниям обеспечить честность их искусственного интеллекта» . Bloomberg.com . Июнь 2018 года . Проверено 5 августа 2018 г.
  58. ^ Мински и др., «Общество интеллектуального наблюдения» IEEE ISTAS2013, страницы 13-17.
  59. ^ Мукерджи, Сиддхартха (27 марта 2017 г.). «ИИ против доктора медицины» Житель Нью-Йорка . Проверено 30 января 2018 г.
  60. ^ Чисар, Орсоля; Чисар, Габор; Домби, Йожеф (08.07.2020). «Интерпретируемые нейронные сети на основе непрерывнозначной логики и операторов многокритериального принятия решений» . Системы, основанные на знаниях . 199 : 105972. arXiv : 1910.02486 . дои : 10.1016/j.knosys.2020.105972 . ISSN   0950-7051 .
  61. ^ Доши-Велес, Финал; Ким, Бин (27 февраля 2017 г.). «К строгой науке интерпретируемого машинного обучения». arXiv : 1702.08608 [ stat.ML ].
  62. ^ Абдоллахи, Бехнуш и Ольфа Насрауи. (2016). «Объяснимые ограниченные машины Больцмана для совместной фильтрации». arXiv : 1606.07129 [ stat.ML ]. {{cite arXiv}}: CS1 maint: несколько имен: список авторов ( ссылка )
  63. ^ Домби, Йожеф; Чисар, Орсоля (2021). Объяснимые нейронные сети на основе нечеткой логики и многокритериальных инструментов принятия решений . Исследования нечеткости и мягких вычислений. Том 408. doi : 10.1007/978-3-030-72280-7 . ISBN  978-3-030-72279-1 . ISSN   1434-9922 . S2CID   233486978 .
  64. ^ Бах, Себастьян; Биндер, Александр; Монтавон, Грегуар; Клаушен, Фредерик; Мюллер, Клаус-Роберт ; Самек, Войцех (10 июля 2015 г.). Суарес, Оскар Дениз (ред.). «О пиксельных объяснениях решений нелинейного классификатора посредством послойного распространения релевантности» . ПЛОС ОДИН . 10 (7): e0130140. Бибкод : 2015PLoSO..1030140B . дои : 10.1371/journal.pone.0130140 . ISSN   1932-6203 . ПМЦ   4498753 . ПМИД   26161953 .
  65. ^ Сэмпл, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему так важно сделать ИИ справедливыми, подотчетными и прозрачными» . Хранитель . Проверено 5 августа 2018 г.
  66. ^ Мартенс, Дэвид; Провост, Фостер (2014). «Объяснение классификации документов на основе данных» (PDF) . МИС Ежеквартально . 38 : 73–99. дои : 10.25300/MISQ/2014/38.1.04 . S2CID   14238842 .
  67. ^ « Почему я должен вам доверять?» | Материалы 22-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных». дои : 10.1145/2939672.2939778 . S2CID   13029170 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  68. ^ Лундберг, Скотт М; Ли, Су-Ин (2017), Гийон, И.; Люксбург, УФ; Бенджио, С.; Уоллах, Х. (ред.), «Единый подход к интерпретации предсказаний модели» (PDF) , Достижения в области нейронных систем обработки информации 30 , Curran Associates, Inc., стр. 4765–4774, arXiv : 1705.07874 , получено в 2020–2003 гг. -13
  69. ^ Картер, Брэндон; Мюллер, Йонас; Джайн, Сиддхартха; Гиффорд, Дэвид (11 апреля 2019 г.). «Что заставило вас это сделать? Понимание решений «черного ящика» с достаточным количеством входных подмножеств» . 22-я Международная конференция по искусственному интеллекту и статистике : 567–576.
  70. ^ Шрикумар, Аванти; Гринсайд, Пейтон; Кундадже, Аншул (17 июля 2017 г.). «Изучение важных функций посредством распространения различий в активации» . Международная конференция по машинному обучению : 3145–3153.
  71. ^ «Аксиоматическая атрибуция глубоких сетей | Материалы 34-й Международной конференции по машинному обучению - Том 70» . dl.acm.org . Icml'17: 3319–3328. 6 августа 2017 года . Проверено 13 марта 2020 г.
  72. ^ Айводжи, Ульрих; Арай, Хироми; Фортино, Оливье; Гамбс, Себастьян; Хара, Сатоши; Тапп, Ален (24 мая 2019 г.). «Фэйрвошинг: риск рационализации» . Международная конференция по машинному обучению . ПМЛР: 161–170. arXiv : 1901.09749 .
  73. ^ Ле Меррер, Эрван; Тредан, Жиль (сентябрь 2020 г.). «Удаленная объяснимость сталкивается с проблемой вышибал» . Природный машинный интеллект . 2 (9): 529–539. arXiv : 1910.01432 . дои : 10.1038/s42256-020-0216-z . ISSN   2522-5839 . S2CID   225207140 .
  74. ^ Сингх, Чандан; Нассери, Кеян; Тан, Ян Шуо; Тан, Тиффани; Ю, Бин (4 мая 2021 г.). «imodels: пакет Python для подгонки интерпретируемых моделей» . Журнал программного обеспечения с открытым исходным кодом . 6 (61): 3192. Бибкод : 2021JOSS....6.3192S . дои : 10.21105/joss.03192 . ISSN   2475-9066 . S2CID   235529515 .
  75. ^ Видаль, Тибо; Шиффер, Максимилиан (2020). «Возрожденные древесные ансамбли» . Международная конференция по машинному обучению . 119 . ПМЛР: 9743–9753. arXiv : 2003.11132 .
  76. ^ Устун, Берк; Рудин, Синтия (1 марта 2016 г.). «Сверхразреженные линейные целочисленные модели для оптимизированных медицинских систем оценки» . Машинное обучение . 102 (3): 349–391. дои : 10.1007/s10994-015-5528-6 . ISSN   1573-0565 . S2CID   207211836 .
  77. ^ Бостром Н. и Юдковски Э. (2014). Этика искусственного интеллекта . Кембриджский справочник по искусственному интеллекту , 316–334.
  78. ^ «Конференция FAT*» .
  79. ^ «Компьютерные программы распознают белых мужчин лучше, чем чернокожих женщин» . Экономист . 2018 . Проверено 5 августа 2018 г.
  80. ^ Ола, Крис; Каммарата, Ник; Шуберт, Людвиг; Гох, Габриэль; Петров, Михаил; Картер, Шан (10 марта 2020 г.). «Увеличить: введение в схемы» . Дистиллировать . 5 (3): e00024.001. дои : 10.23915/distill.00024.001 . ISSN   2476-0757 .
  81. ^ Ли, Исюань; Йосински, Джейсон; Клюн, Джефф; Липсон, Ход; Хопкрофт, Джон (8 декабря 2015 г.). «Конвергентное обучение: изучают ли разные нейронные сети одни и те же представления?» . Извлечение функций: современные вопросы и проблемы . ПМЛР: 196–212.
  82. ^ Хендрикс, Лиза Энн; Аката, Зейнеп; Рорбах, Маркус; Донахью, Джефф; Шиле, Бернт; Даррелл, Тревор (2016). «Создание визуальных объяснений» . Компьютерное зрение – ECCV 2016 . Конспекты лекций по информатике. Том. 9908. Международное издательство Springer. стр. 3–19. arXiv : 1603.08507 . дои : 10.1007/978-3-319-46493-0_1 . ISBN  978-3-319-46492-3 . S2CID   12030503 .
  83. ^ Кох, Пан Вэй; Лян, Перси (17 июля 2017 г.). «Понимание прогнозов черного ящика с помощью функций влияния» . Международная конференция по машинному обучению . ПМЛР: 1885–1894. arXiv : 1703.04730 .
  84. ^ Гувернер, Филип; Ли, Фредерик; Сирахама, Кимиаки; Любке, Луиза; Адамчик, Вацлав М.; Шиксай, Тибор М.; Людтке, Керстин; Гжегожек, Марцин (9 февраля 2023 г.). «Объяснимый искусственный интеллект (XAI) в исследованиях боли: понимание роли электродермальной активности для автоматического распознавания боли» . Датчики . 23 (4): 1959. Бибкод : 2023Senso..23.1959G . дои : 10.3390/s23041959 . ISSN   1424-8220 . ПМЦ   9960387 . ПМИД   36850556 .
  85. ^ «Семинар IJCAI 2017 по объяснимому искусственному интеллекту (XAI)» (PDF) . Земляная связь . IJCAI. Архивировано из оригинала (PDF) 4 апреля 2019 года . Проверено 17 июля 2017 г.
  86. ^ Кан, Джереми (12 декабря 2018 г.). «Искусственному интеллекту нужно кое-что объяснить» . Блумберг Бизнесуик . Проверено 17 декабря 2018 г.
  87. ^ Jump up to: а б с Бхатт, Уманг; Сян, Алиса; Шарма, Шубхам; Веллер, Адриан; Тали, Анкур; Цзя, Юнхан; Гош, Джойдип; Пури, Ричир; М.Ф. Моура, Хосе; Экерсли, Питер (2022). «Объяснимое машинное обучение в развертывании» . Материалы конференции 2020 года по справедливости, подотчетности и прозрачности . стр. 648–657. дои : 10.1145/3351095.3375624 . ISBN  9781450369367 . S2CID   202572724 .
  88. ^ Jump up to: а б с Баррел, Дженна (2016). «Как машина «думает»: понимание непрозрачности алгоритмов машинного обучения» . Большие данные и общество. 3 (1). дои : 10.1177/2053951715622512 . S2CID   61330970 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  89. ^ Вил, Майкл; Ван Клик, Макс; Биннс, Рубен (2018). «Необходимость разработки принципов справедливости и подотчетности для алгоритмической поддержки принятия важных решений в государственном секторе» . Материалы конференции CHI 2018 года по человеческому фактору в вычислительных системах . Том. 40. стр. 1–14. дои : 10.1145/3173574.3174014 . ISBN  9781450356206 . S2CID   3639135 .
  90. ^ Ху, Тунси; Чжан, Сюэсун; Борер, Гил; Лю, Янлан; Чжоу, Юю; Мартин, Джей; ЛИ, Ян; Чжао, Кайгуан (2023). «Прогнозирование урожайности с помощью объяснимого искусственного интеллекта и интерпретируемого машинного обучения: опасности моделей черного ящика для оценки воздействия изменения климата на урожайность» . Сельскохозяйственная и лесная метеорология . 336 : 109458. doi : 10.1016/j.agrformet.2023.109458 . S2CID   258552400 .
  91. ^ Jump up to: а б Ченг, Хао-Фей; Ван, Жуотан; Чжан, Чжэн; О'Коннелл, Фиона; Грей, Терренс; Харпер, Ф. Максвелл; Чжу, Хайи (2019). Объяснение алгоритмов принятия решений через пользовательский интерфейс: стратегии помощи заинтересованным сторонам, не являющимся экспертами . Материалы конференции CHI 2019 года по человеческому фактору в вычислительных системах. Том. 559. стр. 1–12. дои : 10.1145/3290605.3300789 . ISBN  9781450359702 . S2CID   140281803 .
  92. ^ Лиэль, Йотам; Залмансон, Лиор (август 2023 г.). «Отключение здравого смысла – соответствие алгоритмическим рекомендациям» . Известия Академии управления . 2023 (1). дои : 10.5465/AMPROC.2023.277bp . ISSN   0065-0668 . S2CID   260212999 .
  93. ^ Jump up to: а б Маккой, Лиам Г.; Бренна, Коннор Т.А.; Чен, Стейси С.; Вольд, Карина; Дас, Сунит (05.11.2021). «Вера в черные ящики: машинное обучение в здравоохранении не нуждается в объяснении, чтобы быть основанным на фактических данных» . Журнал клинической эпидемиологии . 142 (онлайн перед печатью): 252–257. дои : 10.1016/j.jclinepi.2021.11.001 . ISSN   0895-4356 . ПМИД   34748907 . S2CID   243810442 .
  94. ^ Гассеми, Марзие; Окден-Рейнер, Люк; Бим, Эндрю Л. (01 ноября 2021 г.). «Ложная надежда на современные подходы к объяснимому искусственному интеллекту в здравоохранении» . Ланцет «Цифровое здоровье» . 3 (11): е745–е750. дои : 10.1016/S2589-7500(21)00208-9 . ISSN   2589-7500 . ПМИД   34711379 . S2CID   239963176 .
  95. ^ Саркар, Адвайт (2022). «Является ли объяснимый ИИ гонкой против сложности модели?» (PDF) . Семинар по прозрачности и объяснениям в интеллектуальных системах (TeXSS) в сочетании с интеллектуальными пользовательскими интерфейсами ACM (IUI 2022) : 192–199. arXiv : 2205.10119 – через материалы семинара CEUR.
  96. ^ Прокачча, Ариэль Д. (2019), Ласлье, Жан-Франсуа; Мулен, Эрве; Санвер, М. Ремзи; Цвикер, Уильям С. (ред.), «Аксиомы должны объяснять решения» , «Будущее экономического дизайна: постоянное развитие области, как это видят исследователи» , « Исследования в области экономического дизайна» , Cham: Springer International Publishing, стр. 195– 199, номер домена : 10.1007/978-3-030-18050-8_27 , ISBN  978-3-030-18050-8 , получено 21 марта 2024 г.
  97. ^ Кайу, Оливье; Эндрисс, Улле (9 мая 2016 г.). «Спор о правилах голосования» . Материалы Международной конференции по автономным агентам и мультиагентным системам 2016 г. ААМАС '16. Ричленд, Южная Каролина: Международный фонд автономных агентов и мультиагентных систем: 287–295. ISBN  978-1-4503-4239-1 .
  98. ^ Петерс, Доминик; Прокачча, Ариэль Д; Псомас, Александрос; Чжоу, Цзысинь (2020). «Объяснимое голосование» . Достижения в области нейронных систем обработки информации . 33 . Curran Associates, Inc.: 1525–1534.
  99. ^ Ян, Джошуа С.; Хаусладен, Карина И.; Петерс, Доминик; Пурнарас, Евангелос; Регула Хэнггли Фрикер; Хелбинг, Дирк (2023). «Разработка цифровых систем голосования для граждан: достижение справедливости и легитимности в цифровом совместном бюджетировании». arXiv : 2310.03501 [ cs.HC ].
  100. ^ Низри, Меир; Хазон, Ноам; Азария, Амос (28 июня 2022 г.). «Объяснимое распределение на основе Шепли (Конспект учащегося)» . Материалы конференции AAAI по искусственному интеллекту . 36 (11): 13023–13024. дои : 10.1609/aaai.v36i11.21648 . ISSN   2374-3468 . S2CID   250296641 .
[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Explainable_artificial_intelligence&oldid=1236958243"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 677af25d3dc9c457fc28f3754205bd04__1722070380
URL1:https://arc.ask3.ru/arc/aa/67/04/677af25d3dc9c457fc28f3754205bd04.html
Заголовок, (Title) документа по адресу, URL1:
Explainable artificial intelligence - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)