Право на объяснение

В регулировании алгоритмов право , особенно интеллекта и его подобласти машинного обучения , право на объяснение (или на объяснение искусственного ) — это право на объяснение результатов работы алгоритма. Такие права в первую очередь относятся к правам личности на получение объяснения решений, которые существенно влияют на человека, особенно в юридическом или финансовом отношении. Например, человек, который подает заявку на получение кредита и получает отказ, может попросить объяснений, которые могут быть такими: « Кредитное бюро X сообщает, что вы объявили о банкротстве в прошлом году; это основной фактор, позволяющий считать вас слишком вероятным для дефолта, и поэтому мы не даст вам кредит, на который вы подали заявку».

Некоторые такие законные права уже существуют, тогда как объем общего «права на объяснение» является предметом продолжающихся дискуссий. Высказывались аргументы в пользу того, что «социальное право на объяснение» является важнейшей основой информационного общества, особенно потому, что институтам этого общества придется использовать цифровые технологии, искусственный интеллект и машинное обучение. ^[1] Другими словами, соответствующие автоматизированные системы принятия решений , использующие объяснимость, будут более надежными и прозрачными. Без этого права, которое можно было бы закрепить как юридически, так и посредством профессиональных стандартов , у общественности не будет возможности оспаривать решения автоматизированных систем.

Примеры

Кредитный скоринг в США

В соответствии с Законом о равных кредитных возможностях (положение B Кодекса федеральных правил ), В соответствии с разделом 12, главой X, частью 1002, §1002.9 , кредиторы обязаны уведомлять заявителей, которым отказано в кредите, с указанием конкретных причин. Как подробно описано в §1002.9(b)(2): ^[2]

(2) Указание конкретных причин. Изложение причин неблагоприятных действий, требуемое пунктом (a)(2)(i) настоящего раздела, должно быть конкретным и указывать основную причину(ы) неблагоприятных действий. Заявления о том, что неблагоприятное действие было основано на внутренних стандартах или политике кредитора или что заявитель, совместный заявитель или подобная сторона не смогли получить квалификационный балл в системе кредитного рейтинга кредитора, являются недостаточными.

Официальная интерпретация этого раздела подробно описывает, какие типы заявлений являются приемлемыми. Кредиторы соблюдают это положение, предоставляя список причин (обычно не более 4, в зависимости от интерпретации правил), состоящий из числовых цифр. код причины (в качестве идентификатора) и соответствующее объяснение, определяющее основные факторы, влияющие на кредитный рейтинг. ^[3] Примером может быть: ^[4]

32: Остатки на банковских картах или возобновляемых счетах слишком велики по сравнению с кредитными лимитами.

Евросоюз

Европейского Союза Общий регламент по защите данных (принятый в 2016 году, вступающий в силу в 2018 году) расширяет права автоматизированного принятия решений, предусмотренные в Директиве о защите данных 1995 года , обеспечивая юридически оспариваемую форму права на объяснение, указанную как таковая в Декларативной части 71 : «[ субъект данных должен иметь] право... получить объяснение принятого решения». Полностью:

Субъект данных должен иметь право не подвергаться решению, которое может включать в себя меры по оценке личных аспектов, касающихся его или нее, которые основаны исключительно на автоматизированной обработке и которые вызывают правовые последствия в отношении него или нее или аналогичным образом существенно влияют на него. или ее, например, автоматический отказ в онлайн-заявке на получение кредита или практика электронного найма без какого-либо вмешательства человека.
...
В любом случае такая обработка должна подлежать соответствующим гарантиям, которые должны включать конкретную информацию для субъекта данных и право на вмешательство человека, на выражение своей точки зрения, на получение объяснения решения, принятого после такой оценки. и оспорить это решение.

Однако степень, в которой сами правила предоставляют «право на объяснение», активно обсуждается. ^[5]^[6]^[7] Есть два основных направления критики. Существуют серьезные юридические проблемы с правом, указанным в статье 22, поскольку декламация не является обязательной, а право на объяснение не упоминается в обязательных статьях текста, поскольку оно было удалено в ходе законодательного процесса. ^[6] Кроме того, существуют существенные ограничения на типы охватываемых автоматизированных решений — которые должны быть как «исключительно» основаны на автоматизированной обработке, так и иметь юридические или аналогичные значимые последствия — что существенно ограничивает диапазон автоматизированных систем и решений, к которым применяется право будет применяться. ^[6] В частности, это право вряд ли будет применяться во многих случаях алгоритмических разногласий, которые были подняты в средствах массовой информации. ^[8]

Второй потенциальный источник такого права указан в статье 15: «право на доступ субъекта данных». Это повторяет аналогичное положение Директивы о защите данных 1995 года, разрешающее субъекту данных доступ к «значимой информации о задействованной логике» в том же важном, исключительно автоматизированном процессе принятия решений, который содержится в статье 22. Однако это также страдает от предполагаемых проблем, которые связаны со сроками, когда это право может быть использовано, а также с практическими проблемами, которые означают, что во многих случаях, вызывающих общественный интерес, оно может не иметь обязательной силы. ^[6]

Франция

Во Франции 2016 года Закон о цифровой республике (Закон о цифровой республике или цифровой закон ) вносит поправки в административный кодекс страны, вводя новое положение, объясняющее решения, принимаемые органами государственного сектора в отношении отдельных лиц. ^[9] Он отмечает, что в случае «решения, принятого на основе алгоритмического лечения», правила, определяющие это лечение и его «основные характеристики», должны быть сообщены гражданину по запросу, если не существует исключения (например, для национального безопасность или оборона). Они должны включать следующее:

степень и характер вклада алгоритмической обработки в принятие решения;
обрабатываемые данные и их источник;
параметры лечения и, при необходимости, их значимость применительно к ситуации соответствующего лица;
операции, проводимые при лечении.

Ученые отметили, что это право, хотя и ограничивается административными решениями, выходит за рамки права GDPR явно применяться к поддержке принятия решений, а не к решениям, «исключительно» основанным на автоматизированной обработке, а также обеспечивает основу для объяснения конкретных решений. ^[9] Действительно, права на автоматизированное принятие решений согласно GDPR в Европейском Союзе, одном из мест, где искали «право на объяснение», берут свое начало во французском законодательстве конца 1970-х годов. ^[10]

Критика

Некоторые утверждают, что «право на объяснение» в лучшем случае ненужно, в худшем — вредно и угрожает задушить инновации. Конкретная критика включает в себя: предпочтение человеческих решений над машинными, избыточность существующих законов и сосредоточенность на процессе, а не на результате. ^[11]

Авторы исследования «Раб алгоритма? Почему «право на объяснение», вероятно, не является тем средством правовой защиты, которое вы ищете» Лилиан Эдвардс и Майкл Вил утверждают, что право на объяснение не является решением проблемы ущерба, причиненного заинтересованным сторонам алгоритмическими решениями. Они также заявляют, что право на объяснение в GDPR имеет узкое определение и несовместимо с тем, как развиваются современные технологии машинного обучения. Учитывая эти ограничения, определение прозрачности в контексте алгоритмической подотчетности остается проблемой. Например, предоставление исходного кода алгоритмов может быть недостаточным и может создать другие проблемы с точки зрения раскрытия конфиденциальной информации и взлома технических систем. Чтобы смягчить эту проблему, Эдвардс и Вил утверждают, что система аудита могла бы быть более эффективной, позволяя аудиторам просматривать входные и выходные данные процесса принятия решений из внешней оболочки, другими словами, «объясняя черные ящики, не открывая их». ^[8]

Аналогичным образом, оксфордские ученые Брайс Гудман и Сет Флаксман утверждают, что GDPR создает «право на объяснение», но не углубляются в подробности этого вопроса, заявляя об ограничениях действующего GDPR. Что касается этой дискуссии, ученые Эндрю Д. Селбст и Джулия Паулз заявляют, что дискуссию следует перенаправить на обсуждение того, используется ли фраза «право на объяснение» или нет, больше внимания необходимо уделять четким требованиям GDPR и тому, как они связаны с его основные цели, и необходимо уделить больше внимания определению того, что на самом деле означает законодательный текст. ^[12]

Более того, многие алгоритмы, используемые в машинном обучении, нелегко объяснить. Например, выходные данные глубокой нейронной сети зависят от многих слоев вычислений, связанных сложным образом, и ни один вход или вычисление не могут быть доминирующим фактором. Область объяснимого ИИ стремится предоставить лучшие объяснения существующих алгоритмов и алгоритмов, которые легче объяснить, но это молодая и активная область. ^[13]^[14]

Другие утверждают, что трудности с объяснимостью обусловлены слишком узким вниманием к техническим решениям, а не увязыванием проблемы с более широкими вопросами, поднимаемыми «социальным правом на объяснение». ^[1]

Предложения

Эдвардс и Вил считают, что право на объяснение дает некоторые основания для объяснений по поводу конкретных решений. Они обсуждают два типа алгоритмических объяснений: модельно-ориентированные объяснения и предметно-ориентированные объяснения (SCE), которые в целом связаны с объяснениями систем или решений. ^[8]

SCE рассматриваются как лучший способ обеспечить какое-либо средство правовой защиты, хотя и с некоторыми серьезными ограничениями, если данные слишком сложны. Их предложение состоит в том, чтобы разбить полную модель и сосредоточиться на конкретных проблемах посредством педагогических объяснений конкретного вопроса, «который может быть реальным, а может быть вымышленным или исследовательским». Эти объяснения обязательно будут включать в себя компромиссы с точностью, чтобы уменьшить сложность.

С растущим интересом к объяснению технических систем принятия решений в области проектирования взаимодействия человека и компьютера исследователи и дизайнеры прилагают усилия, чтобы открыть черный ящик с точки зрения математически интерпретируемых моделей, удаленных от когнитивной науки и реальных потребностей людей. Альтернативные подходы заключаются в том, чтобы позволить пользователям свободно исследовать поведение системы посредством интерактивных объяснений.

Одним из предложений Эдвардса и Вила является частичное устранение прозрачности как необходимого ключевого шага на пути к подотчетности и возмещению ущерба. Они утверждают, что люди, пытающиеся решить проблемы защиты данных, стремятся к действию, а не к объяснениям. Фактическая ценность объяснения будет заключаться не в облегчении или возмещении причиненного эмоционального или экономического ущерба, а в том, чтобы понять, почему что-то произошло, и помочь гарантировать, что ошибка не повторится снова. ^[8]

В более широком смысле, в исследовании «Объяснимое машинное обучение в развертывании» авторы рекомендуют создать объяснимую структуру, четко устанавливающую желаемые результаты, путем выявления заинтересованных сторон, взаимодействия с заинтересованными сторонами и понимания цели объяснения. Наряду с этим в системе необходимо учитывать вопросы объяснимости, такие как вопросы причинно-следственной связи, конфиденциальности и улучшения производительности. ^[15]

См. также

Ссылки

^ Перейти обратно: ^а ^б М. Берри, Дэвид (2021). «Объясняющая публика: объяснимость и демократическая мысль». Изготовление пабликов: распространение культуры в эпоху постправды . arXiv : 2304.02108 .
^ Бюро финансовой защиты потребителей , §1002.9(b)(2)
^ Коды причин оценки кредитного риска FICO США: Фундаментальный документ FICO, в котором перечислены все причины кредитного рейтинга FICO, по которым рейтинг не выше , 31 марта 2010 г., Грег Фишер
^ «ReasonCode.org | Решения VantageScore» . www.reasoncode.org .
^ Гудман, Брайс; Флаксман, Сет (2017). «Правила Европейского Союза об алгоритмическом принятии решений и «праве на объяснение» ». Журнал ИИ . 38 (3): 50–57. arXiv : 1606.08813 . дои : 10.1609/aimag.v38i3.2741 . S2CID 7373959 .
^ Перейти обратно: ^а ^б ^с ^д Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (28 декабря 2016 г.). «Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте защиты данных». Международный закон о конфиденциальности данных . ССНН 2903469 .
^ Есть ли в GDPR «право на объяснение» машинного обучения? , 1 июня 2017 г., Эндрю Берт
^ Перейти обратно: ^а ^б ^с ^д Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему «право на объяснение», вероятно, не то средство, которое вы ищете». Обзор права и технологий герцога . ССНН 2972855 .
^ Перейти обратно: ^а ^б Эдвардс, Лилиан; Вил, Майкл (2018). «Порабощение алгоритма: от «права на объяснение» к «праву на лучшие решения»?» (PDF) . Безопасность и конфиденциальность IEEE . 16 (3): 46–54. дои : 10.1109/MSP.2018.2701152 . S2CID 4049746 . ССНН 3052831 .
^ Бигрейв, Луизиана (2001). «Заботясь о машине: статья 15 Директивы ЕС о защите данных и автоматизированном профилировании» (PDF) . Обзор компьютерного права и безопасности . 17 (1). дои : 10.1016/S0267-3649(01)00104-2 .
↑ Право ЕС на объяснения: вредное ограничение искусственного интеллекта , Ник Уоллес, Центр инноваций в области данных, 25 января 2017 г.
^ Селбст, Эндрю Д; Паулз, Джулия (01 ноября 2017 г.). «Значительная информация и право на объяснение» . Международный закон о конфиденциальности данных . 7 (4): 233–242. дои : 10.1093/idpl/ipx022 . ISSN 2044-3994 .
^ Миллер, Тим (22 июня 2017 г.). «Объяснение в области искусственного интеллекта: идеи социальных наук». arXiv : 1706.07269 [ cs.AI ].
^ Миттельштадт, Брент; Рассел, Крис; Вахтер, Сандра (2019). «Объяснение объяснений в ИИ» (PDF) . Материалы конференции по справедливости, подотчетности и прозрачности . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 279–288. дои : 10.1145/3287560.3287574 . ISBN 978-1-4503-6125-5 . S2CID 53214940 .
^ Бхатт, Уманг; Сян, Алиса; Шарма, Шубхам; Веллер, Адриан; Тали, Анкур; Цзя, Юнхан; Гош, Джойдип; Пури, Ручир; Моура, Хосе МФ; Экерсли, Питер (27 января 2020 г.). «Объяснимое машинное обучение в развертывании». Материалы конференции 2020 года по справедливости, подотчетности и прозрачности . ЖИР* '20. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 648–657. дои : 10.1145/3351095.3375624 . ISBN 978-1-4503-6936-7 . S2CID 202572724 .

[:3-1] Перейти обратно: ^а ^б М. Берри, Дэвид (2021). «Объясняющая публика: объяснимость и демократическая мысль». Изготовление пабликов: распространение культуры в эпоху постправды . arXiv : 2304.02108 .

[2] Бюро финансовой защиты потребителей , §1002.9(b)(2)

[3] Коды причин оценки кредитного риска FICO США: Фундаментальный документ FICO, в котором перечислены все причины кредитного рейтинга FICO, по которым рейтинг не выше , 31 марта 2010 г., Грег Фишер

[4] «ReasonCode.org | Решения VantageScore» . www.reasoncode.org .

[:4-5] Гудман, Брайс; Флаксман, Сет (2017). «Правила Европейского Союза об алгоритмическом принятии решений и «праве на объяснение» ». Журнал ИИ . 38 (3): 50–57. arXiv : 1606.08813 . дои : 10.1609/aimag.v38i3.2741 . S2CID 7373959 .

[:0-6] Перейти обратно: ^а ^б ^с ^д Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (28 декабря 2016 г.). «Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте защиты данных». Международный закон о конфиденциальности данных . ССНН 2903469 .

[7] Есть ли в GDPR «право на объяснение» машинного обучения? , 1 июня 2017 г., Эндрю Берт

[:1-8] Перейти обратно: ^а ^б ^с ^д Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему «право на объяснение», вероятно, не то средство, которое вы ищете». Обзор права и технологий герцога . ССНН 2972855 .

[:2-9] Перейти обратно: ^а ^б Эдвардс, Лилиан; Вил, Майкл (2018). «Порабощение алгоритма: от «права на объяснение» к «праву на лучшие решения»?» (PDF) . Безопасность и конфиденциальность IEEE . 16 (3): 46–54. дои : 10.1109/MSP.2018.2701152 . S2CID 4049746 . ССНН 3052831 .

[10] Бигрейв, Луизиана (2001). «Заботясь о машине: статья 15 Директивы ЕС о защите данных и автоматизированном профилировании» (PDF) . Обзор компьютерного права и безопасности . 17 (1). дои : 10.1016/S0267-3649(01)00104-2 .

[11] Право ЕС на объяснения: вредное ограничение искусственного интеллекта , Ник Уоллес, Центр инноваций в области данных, 25 января 2017 г.

[12] Селбст, Эндрю Д; Паулз, Джулия (01 ноября 2017 г.). «Значительная информация и право на объяснение» . Международный закон о конфиденциальности данных . 7 (4): 233–242. дои : 10.1093/idpl/ipx022 . ISSN 2044-3994 .

[13] Миллер, Тим (22 июня 2017 г.). «Объяснение в области искусственного интеллекта: идеи социальных наук». arXiv : 1706.07269 [ cs.AI ].

[14] Миттельштадт, Брент; Рассел, Крис; Вахтер, Сандра (2019). «Объяснение объяснений в ИИ» (PDF) . Материалы конференции по справедливости, подотчетности и прозрачности . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 279–288. дои : 10.1145/3287560.3287574 . ISBN 978-1-4503-6125-5 . S2CID 53214940 .

[15] Бхатт, Уманг; Сян, Алиса; Шарма, Шубхам; Веллер, Адриан; Тали, Анкур; Цзя, Юнхан; Гош, Джойдип; Пури, Ручир; Моура, Хосе МФ; Экерсли, Питер (27 января 2020 г.). «Объяснимое машинное обучение в развертывании». Материалы конференции 2020 года по справедливости, подотчетности и прозрачности . ЖИР* '20. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 648–657. дои : 10.1145/3351095.3375624 . ISBN 978-1-4503-6936-7 . S2CID 202572724 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]