Алгоритмическая ответственность

Алгоритмическая ответственность относится к вопросу о том, где следует распределять ответственность за последствия реальных действий, которые были предприняты с учетом алгоритмов, используемых для принятия решения. ^[1]

В принципе, алгоритм должен быть разработан таким образом, чтобы не было предвзятости в решениях, принимаемых в процессе его выполнения. То есть алгоритм должен оценивать только существенные характеристики представленных входных данных, не делая различий на основе характеристик, которые обычно не следует использовать в социальной среде, таких как этническая принадлежность человека, которого судят в суде. Однако этот принцип не всегда может соблюдаться, и в некоторых случаях такие результаты могут причинить людям преднамеренный вред. Именно в этот момент возникает дискуссия о том, кто должен нести ответственность за убытки, вызванные решением , принятым машиной : сама система или человек, спроектировавший ее с такими параметрами, поскольку решение, причиняющее вред другим людям из-за отсутствия беспристрастности . или неправильного анализа данных произойдет, потому что алгоритм был разработан для такой работы ^[2]

Использование алгоритма

Алгоритмы, разработанные в настоящее время, распространены в самых разных секторах общества, в которых в той или иной степени используются вычислительные методы в их системах управления, самых разных размеров и с самыми разнообразными приложениями, присутствуя, помимо прочего, в медицине, транспорте и платежные услуги. ^[3] В этих секторах алгоритмы, встроенные в приложения, выполняют такие действия, как: ^[4]

Одобрить/отклонить получение кредитной карты ; заявки на
Подсчет голосов на выборах ;
Одобрить/отказать в иммиграционных визах;
Решите, какие налогоплательщики будут подвергаться проверке по подоходному налогу ;
Управление системой управления беспилотными автомобилями на трассе;
Отнесение определенных лиц к числу возможных преступников для использования в будущем в суде.

Однако способ реализации этих алгоритмов может оказаться весьма запутанным. По сути, алгоритмы в целом ведут себя как черные ящики, и в большинстве случаев неизвестен процесс, через который проходят входные данные во время выполнения определенной процедуры, а только результирующий вывод, связанный с тем, что было первоначально введено. ^[5] В общем, нет никаких знаний о параметрах, составляющих алгоритм, и о том, насколько они могут быть предвзятыми к определенным аспектам, что может в конечном итоге вызвать подозрения относительно предвзятости, с которой алгоритм обрабатывает набор входных данных. Это зависит от результатов, полученных после казни, и от того, есть ли какой-либо человек, который чувствует себя пострадавшим от представленного результата, особенно когда другой человек в аналогичных условиях в конечном итоге получает другой ответ. По словам Николаса Диакопулоса:

Но эти алгоритмы могут допускать ошибки. У них есть предубеждения. Тем не менее, они сидят в непрозрачных черных ящиках, их внутренняя работа, их внутренние «мысли» скрыты за слоями сложности. Нам нужно проникнуть внутрь этого черного ящика, понять, как они могут оказывать на нас влияние, и понять, где они могут совершать несправедливые ошибки.

Дело Верховного суда штата Висконсин

Как уже говорилось ранее, алгоритмы широко распространены в самых разных областях знаний и принимают решения, влияющие на жизнь всего населения. Более того, их структура и параметры зачастую неизвестны тем, на кого они влияют. Это хорошо иллюстрирует недавнее постановление Верховного суда штата Висконсин относительно так называемой «оценки риска» преступлений. ^[3] Было постановлено, что такой балл, который рассчитывается с помощью алгоритма, учитывающего различные параметры отдельных лиц, не может использоваться в качестве определяющего фактора для ареста обвиняемого. Кроме того, что более важно, суд постановил, что все отчеты, представляемые судьям по таким делам, должны содержать информацию, касающуюся точности алгоритма, используемого для подсчета баллов.

Это событие считается крупной победой в том смысле, как общество, управляемое данными, должно обращаться с программным обеспечением , которое управляет принятием решений, и как сделать их надежными, поскольку использование этих алгоритмов в очень сложных ситуациях, таких как суды, требует очень высокой степени беспристрастности при обращении с данными, предоставленными в качестве входных данных. Однако защитники концепций, связанных с большими данными, утверждают, что еще многое предстоит сделать в отношении точности, представляемой результатами алгоритмов, поскольку до сих пор нет ничего конкретного относительно того, как мы можем понять, что происходит во время обработки данных, что оставляет место для сомнений. относительно пригодности алгоритма или тех, кто его разработал. ^{[ нужна ссылка ]}

Споры

Другой случай, когда существует возможность предвзятого исполнения алгоритмом, стал темой статьи в The Washington Post. ^[6] обсуждаем инструмент пассажирских перевозок Uber . Проанализировав собранные данные, удалось убедиться, что расчетное время ожидания для пользователей сервиса было выше в зависимости от района, где проживали эти люди. Основными факторами, повлиявшими на увеличение времени, были этническая принадлежность большинства и средний доход района.

В приведенном выше случае в районах с преобладанием белого населения и более высокой покупательной способностью время ожидания было ниже, в то время как в районах с населением других национальностей и более низким средним доходом время ожидания было выше. Однако важно прояснить, что этот вывод был основан на собранных данных, которые не обязательно представляют причинно-следственную связь, но, возможно, корреляцию, и не делается никаких оценочных суждений о поведении приложения Uber в этих ситуациях. .

В статье, опубликованной в колонке «Direito Digit@l» на сайте Migalhas, ^[7] Кориолано Альмейда Камарго и Марсело Креспо обсуждают использование алгоритмов в контекстах, ранее занимавшихся людьми при принятии решений, и недостатки, которые могут возникнуть при проверке того, было ли решение, принятое машиной, справедливым или нет.

Эта проблема выходит за рамки и выйдет за рамки заботы о том, с какой информацией собираются потребители, до вопроса о том, как эти данные используются алгоритмами. Несмотря на существование некоторых правил защиты прав потребителей, не существует эффективного механизма, который бы мог сообщить потребителям, например, подвергались ли они автоматической дискриминации, отказываясь в кредитах или работе.

Великая эволюция технологий, которую мы переживаем, принесла обществу широкий спектр инноваций, в том числе введение концепции автономных транспортных средств, управляемых системами. То есть с помощью алгоритмов, которые встроены в эти устройства и которые контролируют весь процесс навигации по улицам и дорогам и сталкиваются с ситуациями, когда им необходимо собирать данные и оценивать среду и контекст, в который они вставляются, чтобы решить, какие действия следует снимать в каждый момент времени, имитируя действия человека-водителя за рулем.

В той же статье, приведенной выше, Камарго и Креспо обсуждают возможные проблемы, связанные с использованием встроенных алгоритмов в беспилотных автомобилях, особенно в отношении решений, принимаемых в критические моменты процесса использования транспортных средств.

Технологический ландшафт быстро меняется с появлением очень мощных компьютеров и алгоритмов, которые движутся к впечатляющему развитию искусственного интеллекта . Мы не сомневаемся, что искусственный интеллект произведет революцию в сфере предоставления услуг, а также в промышленности. Проблема в том, что этические вопросы необходимо срочно продумывать и обсуждать. Или мы просто позволим машинам судить нас в судебных делах? Или что они решают, кто должен жить или умереть в аварийных ситуациях, в которые можно вмешаться с помощью какого-либо технологического оборудования, такого как беспилотные автомобили?

На сайте TechCrunch Хемант Танея написал: ^[8]

Растет обеспокоенность по поводу алгоритмов «черного ящика», которые управляют нашей жизнью. Институт информационного права Нью-Йоркского университета провел конференцию по алгоритмической подотчетности, отметив: «Ученые, заинтересованные стороны и политики ставят под сомнение адекватность существующих механизмов, управляющих принятием алгоритмических решений, и борются с новыми проблемами, возникающими в результате роста мощности алгоритмов с точки зрения прозрачность, справедливость и равное обращение». Проект «Информационное общество» Йельской школы права также изучает этот вопрос. «Алгоритмическое моделирование может быть предвзятым или ограниченным, а использование алгоритмов все еще непрозрачно во многих критически важных секторах», — заключила группа.

Возможные решения

Эксперты уже провели некоторые дискуссии на эту тему, чтобы попытаться найти какое-то жизнеспособное решение и понять, что происходит в черных ящиках, которые «охраняют» алгоритмы. В первую очередь предлагается, чтобы компании, которые сами разрабатывают код и отвечают за выполнение алгоритмов анализа данных, несли ответственность за обеспечение надежности своих систем, например, раскрывая то, что происходит «за кулисами» в их алгоритмах.

На сайте TechCrunch Хемант Танея написал: ^[8]

...эти новые коммунальные компании ( Google , Amazon и Uber ) должны активно встраивать алгоритмическую подотчетность в свои системы, добросовестно и прозрачно действовать в качестве своих собственных сторожевых псов, иначе они рискуют в конечном итоге обременительным регулированием. всемирные

Из приведенного выше отрывка видно, что одним из возможных способов является введение регулирования в компьютерных секторах, которые запускают эти алгоритмы, чтобы обеспечить эффективный надзор за действиями, происходящими во время их выполнения. Однако введение этого регулирования может в конечном итоге повлиять на индустрию программного обеспечения и разработчиков, и для них, возможно, было бы более выгодно, если бы они охотно открывали и раскрывали содержание того, что выполняется и какие параметры используются для принятия решений, которые может даже принести пользу самим компаниям в отношении того, как работают разработанные и применяемые ими решения.

Другая обсуждаемая возможность — саморегулирование самих компаний-разработчиков посредством программного обеспечения. ^[8]

На сайте TechCrunch Хемант Танея написал: ^[8]

У программно-определяемого регулирования есть еще одно преимущество — возможно, огромное. Это также укажет нам путь к более эффективному правительству. Мировая правовая логика и правила могут быть запрограммированы в программном обеспечении, а интеллектуальные датчики могут обеспечивать мониторинг в режиме реального времени всего: от качества воздуха и воды, транспортных потоков и очередей на DMV. Регуляторы определяют правила, технологи создают программное обеспечение для их реализации, а затем искусственный интеллект и машинное обучение помогают совершенствовать итерации политики в будущем. Это должно привести к созданию гораздо более эффективных и действенных правительств на местном, национальном и глобальном уровнях.

См. также

Ссылки

^ Шах, Х. (2018). «Алгоритмическая ответственность» . Философские труды Королевского общества A: Математические, физические и технические науки . 376 (2128): 20170362. Бибкод : 2018RSPTA.37670362S . дои : 10.1098/rsta.2017.0362 . ПМИД 30082307 . S2CID 51926550 .
^ Коби, Николь. «Кого вы обвиняете, когда вас увольняют из-за алгоритма?» . Проводной . Проверено 2 марта 2023 г.
^ Jump up to: ^а ^б Ангвин, Джулия (август 2016 г.). «Сделать алгоритмы ответственными» . Нью-Йорк Таймс . Проверено 2 марта 2023 г.
^ Кролл; Хьюи; Барока; Фельтен; Рейденберг; Робинсон; Ю (2016). Ответственные алгоритмы . Пенсильванский университет. ССНН 2765268 .
^ «Алгоритмическая подотчетность и прозрачность» . Ник Диакопулос . Архивировано из оригинала 21 января 2016 года . Проверено 3 марта 2023 г.
^ Старк, Дженнифер; Диакопулос, Николай (10 марта 2016 г.). «Похоже, что Uber предлагает лучший сервис в районах с большим количеством белых людей. Это поднимает некоторые сложные вопросы» . Вашингтон Пост . Проверено 2 марта 2023 г.
^ Сантос, Кориолано Аурелио де Алмейда Камарго; Шевчук, Лейла (28 октября 2016 г.). «Зачем нам нужна повестка дня для обсуждения алгоритмов?» . Мигальяс (на португальском языке) . Проверено 4 марта 2023 г.
^ Jump up to: ^а ^б ^с ^д Танеха, Хемант (8 сентября 2016 г.). «Необходимость алгоритмической ответственности» . ТехКранч . Проверено 4 марта 2023 г.

Библиография

Кролл, Джошуа А.; Хьюи, Джоанна; Барокас, Солон; Барокас, Солон; Фельтен, Эдвард В.; Рейденберг, Джоэл Р.; Робинсон, Дэвид Г.; Робинсон, Дэвид Г.; Ю, Харлан (2016) Подотчетные алгоритмы . Обзор права Пенсильванского университета, Vol. 165. Исследовательская работа по правовым исследованиям Фордхэма № 2765268.

[1] Шах, Х. (2018). «Алгоритмическая ответственность» . Философские труды Королевского общества A: Математические, физические и технические науки . 376 (2128): 20170362. Бибкод : 2018RSPTA.37670362S . дои : 10.1098/rsta.2017.0362 . ПМИД 30082307 . S2CID 51926550 .

[2] Коби, Николь. «Кого вы обвиняете, когда вас увольняют из-за алгоритма?» . Проводной . Проверено 2 марта 2023 г.

[:0-3] Jump up to: ^а ^б Ангвин, Джулия (август 2016 г.). «Сделать алгоритмы ответственными» . Нью-Йорк Таймс . Проверено 2 марта 2023 г.

[4] Кролл; Хьюи; Барока; Фельтен; Рейденберг; Робинсон; Ю (2016). Ответственные алгоритмы . Пенсильванский университет. ССНН 2765268 .

[5] «Алгоритмическая подотчетность и прозрачность» . Ник Диакопулос . Архивировано из оригинала 21 января 2016 года . Проверено 3 марта 2023 г.

[6] Старк, Дженнифер; Диакопулос, Николай (10 марта 2016 г.). «Похоже, что Uber предлагает лучший сервис в районах с большим количеством белых людей. Это поднимает некоторые сложные вопросы» . Вашингтон Пост . Проверено 2 марта 2023 г.

[7] Сантос, Кориолано Аурелио де Алмейда Камарго; Шевчук, Лейла (28 октября 2016 г.). «Зачем нам нужна повестка дня для обсуждения алгоритмов?» . Мигальяс (на португальском языке) . Проверено 4 марта 2023 г.

[:1-8] Jump up to: ^а ^б ^с ^д Танеха, Хемант (8 сентября 2016 г.). «Необходимость алгоритмической ответственности» . ТехКранч . Проверено 4 марта 2023 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]