Алгоритмическое смещение

Блок-схема, показывающая решения, принимаемые механизмом рекомендаций , c. 2001 г.

Алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки в компьютерной системе , которые приводят к « несправедливым » результатам, таким как «привилегия» одной категории над другой способами, отличными от предполагаемой функции алгоритма.

Предвзятость может возникнуть из-за многих факторов, включая, помимо прочего, конструкцию алгоритма или непреднамеренное или непредвиденное использование или решения, касающиеся способа кодирования, сбора, отбора или использования данных для обучения алгоритма. Например, алгоритмическая предвзятость наблюдалась в результатах поисковых систем и социальных сетях . Эта предвзятость может иметь самые разные последствия: от непреднамеренного нарушения конфиденциальности до усиления социальных предубеждений по признаку расы, пола, сексуальности и этнической принадлежности. Изучение алгоритмической предвзятости больше всего касается алгоритмов, отражающих «систематическую и несправедливую» дискриминацию. Эта предвзятость лишь недавно была устранена в правовых рамках, таких как Общий регламент Европейского Союза по защите данных (предложен в 2018 году) и Закон об искусственном интеллекте (предложен в 2021 году, одобрен в 2024 году).

По мере того, как алгоритмы расширяют свои возможности по организации общества, политики, институтов и поведения, социологи стали беспокоиться о том, как непредвиденный результат и манипулирование данными могут повлиять на физический мир. Поскольку алгоритмы часто считаются нейтральными и беспристрастными, они могут ошибочно демонстрировать больший авторитет, чем человеческий опыт (отчасти из-за психологического феномена предвзятости автоматизации ), а в некоторых случаях зависимость от алгоритмов может заменить человеческую ответственность за их результаты. Предвзятость может проникнуть в алгоритмические системы в результате ранее существовавших культурных, социальных или институциональных ожиданий; по тому, как выбираются функции и метки; из-за технических ограничений их конструкции; или из-за использования в непредвиденных контекстах или аудиторией, которая не учитывалась при первоначальном дизайне программного обеспечения.

Алгоритмическая предвзятость упоминалась в самых разных случаях — от результатов выборов до распространения разжигания ненависти в Интернете . Оно также возникло в сфере уголовного правосудия, здравоохранения и найма, усугубляя существующие расовые, социально-экономические и гендерные предубеждения. Относительная неспособность технологии распознавания лиц точно идентифицировать темнокожие лица была связана с многочисленными неправомерными арестами чернокожих мужчин, проблема, возникающая из-за несбалансированных наборов данных. Проблемы с пониманием, исследованием и обнаружением алгоритмической предвзятости сохраняются из-за запатентованного характера алгоритмов, которые обычно рассматриваются как коммерческая тайна. Даже когда обеспечивается полная прозрачность, сложность некоторых алгоритмов создает барьер для понимания их функционирования. Более того, алгоритмы могут изменяться или реагировать на ввод или вывод способами, которые невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях, даже внутри одного веб-сайта или приложения, существует не один «алгоритм», который нужно исследовать, а сеть из множества взаимосвязанных программ и входных данных, даже между пользователями одной и той же службы.

Определения

Диаграмма 1969 года, показывающая, как простая компьютерная программа принимает решения, иллюстрирующая очень простой алгоритм.

Алгоритмы сложно определить , но в целом их можно понимать как списки инструкций, которые определяют, как программы читают, собирают, обрабатывают и анализируют данные для генерации выходных данных. Подробное техническое введение см. в разделе «Алгоритмы» . Достижения в области компьютерного оборудования привели к расширению возможностей обработки, хранения и передачи данных. Это, в свою очередь, способствовало разработке и внедрению таких технологий, как машинное обучение и искусственный интеллект . Алгоритмы, анализирующие и обрабатывающие данные, являются основой поисковых систем. сайты социальных сетей, рекомендательные механизмы, интернет-торговля, интернет-реклама, и многое другое.

Современные социологи обеспокоены алгоритмическими процессами, встроенными в аппаратные и программные приложения, из-за их политического и социального воздействия и ставят под сомнение основные предположения о нейтральности алгоритмов. Термин «алгоритмическая предвзятость» описывает систематические и повторяющиеся ошибки, которые создают несправедливые результаты, например, предоставление привилегий одной произвольной группе пользователей перед другими. Например, алгоритм кредитного рейтинга может отказать в выдаче кредита, не будучи несправедливым, если он последовательно взвешивает соответствующие финансовые критерии. Если алгоритм рекомендует кредиты одной группе пользователей, но отказывает в кредите другой группе почти идентичных пользователей на основании несвязанных критериев, и если такое поведение может повторяться в нескольких случаях, алгоритм можно назвать предвзятым . Эта предвзятость может быть преднамеренной или непреднамеренной (например, она может возникать из-за необъективных данных, полученных от работника, который ранее выполнял работу, которую алгоритм будет выполнять в дальнейшем).

Методы

Смещение можно внести в алгоритм несколькими способами. Во время сборки набора данных данные могут быть собраны, оцифрованы, адаптированы и введены в базу данных разработанными человеком в соответствии с критериями каталогизации, . Затем программисты назначают приоритеты или иерархии того, как программа оценивает и сортирует эти данные. Это требует человеческих решений о том, как данные классифицируются и какие данные включаются или отбрасываются. Некоторые алгоритмы собирают собственные данные на основе критериев, выбранных человеком, что также может отражать предвзятость дизайнеров-людей. Другие алгоритмы могут усиливать стереотипы и предпочтения при обработке и отображении «релевантных» данных для пользователей-людей, например, путем выбора информации на основе предыдущего выбора аналогичного пользователя или группы пользователей.

Помимо сбора и обработки данных, предвзятость может возникнуть в результате замысла. Например, алгоритмы, которые определяют распределение ресурсов или проверку (например, определение места в школе), могут непреднамеренно дискриминировать категорию при определении риска на основе схожих пользователей (как в случае с кредитными рейтингами). Между тем, системы рекомендаций, которые связывают пользователей с похожими пользователями или используют предполагаемые маркетинговые характеристики, могут полагаться на неточные ассоциации, отражающие широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример связан с определением критериев того, что включено и исключено из результатов. Эти критерии могут привести к непредвиденным результатам для результатов поиска, например, с помощью программного обеспечения для рекомендаций рейсов, которое пропускает рейсы, не соответствующие маршрутам полета авиакомпании-спонсора. Алгоритмы также могут отображать смещение неопределенности , предлагая более уверенные оценки при больших наборов данных наличии . Это может исказить алгоритмические процессы в сторону результатов, которые более точно соответствуют более крупным выборкам, что может привести к игнорированию данных недостаточно представленных групп населения.

История

Ранняя критика

Эта карта использовалась для загрузки программного обеспечения в старый мейнфрейм. Каждый байт (например, буква «А») вводится путем пробивания отверстий. Хотя современные компьютеры более сложны, они отражают человеческий процесс принятия решений при сборе и обработке данных.

Самые ранние компьютерные программы были разработаны для имитации человеческих рассуждений и выводов и считались работоспособными, если они успешно и последовательно воспроизводили человеческую логику. В своей книге 1976 года « Мощность компьютера и человеческий разум » искусственного интеллекта пионер Джозеф Вайценбаум предположил, что предвзятость может возникать как из-за данных, используемых в программе, так и из-за способа ее кодирования.

Вейценбаум писал, что программы — это последовательность правил, созданных людьми, которым должен следовать компьютер. Последовательно следуя этим правилам, такие программы «воплощают в себе закон». то есть применять определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как можно решить эти проблемы. Это означает, что код может включать в себя воображение программиста о том, как устроен мир, включая его предубеждения и ожидания. Хотя компьютерная программа может таким образом включать предвзятость, Вайценбаум также отметил, что любые данные, подаваемые в машину, дополнительно отражают «человеческие процессы принятия решений» во время отбора данных.

Наконец, он отметил, что машины также могут передавать достоверную информацию с непредвиденными последствиями , если пользователи не понимают, как интерпретировать результаты. Вайценбаум предостерег от доверия решениям, принимаемым компьютерными программами, которые пользователь не понимает, сравнив такую ​​веру с туристом, который может найти дорогу в номер отеля, исключительно повернув налево или направо, подбросив монету. Важно отметить, что у туриста нет основы для понимания того, как и почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс является точным или надежным.

Первый пример алгоритмической предвзятости привел к тому, что с 1982 по 1986 год около 60 женщинам и представителям этнических меньшинств отказывали в поступлении в медицинскую школу больницы Святого Георгия в год с 1982 по 1986 год на основании внедрения новой системы оценки с компьютерным управлением, которая запрещала прием женщинам и мужчинам. с «иностранными именами», основанными на исторических тенденциях приема. Хотя многие школы в то время использовали аналогичные предубеждения в процессе отбора, Сент-Джордж был наиболее известен тем, что автоматизировал эту предвзятость с помощью алгоритма, тем самым привлекая внимание людей в гораздо более широком масштабе.

В последние годы, когда все больше алгоритмов начали использовать методы машинного обучения для обработки реальных данных, алгоритмическую предвзятость можно обнаружить чаще из-за предвзятости, существующей в данных.

Современная критика и ответы

Хотя хорошо продуманные алгоритмы часто определяют результаты, которые столь же (или более) справедливы, чем решения людей, случаи предвзятости все еще случаются, и их трудно предсказать и проанализировать. Сложность анализа алгоритмической предвзятости выросла вместе со сложностью программ и их дизайна. Решения, принятые одним дизайнером или командой дизайнеров, могут быть скрыты среди множества фрагментов кода, созданных для одной программы; со временем эти решения и их коллективное влияние на результаты программы могут быть забыты. Теоретически, эти предубеждения могут создавать новые модели поведения или «сценарии» в отношении конкретных технологий, когда код взаимодействует с другими элементами общества. Предвзятости также могут влиять на то, как общество формирует себя вокруг данных , которые требуются алгоритмам. Например, если данные показывают большое количество арестов в определенном районе, алгоритм может назначить в этот район больше полицейских патрулей, что может привести к большему количеству арестов.

Решения алгоритмических программ можно рассматривать как более авторитетные, чем решения людей, которым они призваны помогать. процесс, описанный автором Клэем Ширки как «алгоритмический авторитет». Ширки использует этот термин для описания «решения считать авторитетным неуправляемый процесс извлечения ценности из разнообразных, ненадежных источников», таких как результаты поиска. Эта нейтральность также может быть искажена языком, используемым экспертами и средствами массовой информации, когда результаты представляются общественности. Например, список новостей, выбранных и представленных как «трендовые» или «популярные», может быть создан на основе значительно более широких критериев, чем просто их популярность.

Из-за их удобства и авторитета алгоритмы рассматриваются как средство делегирования ответственности от людей. Это может привести к сокращению альтернативных вариантов, компромиссов или гибкости. Социолог Скотт Лэш раскритиковал алгоритмы как новую форму «производительной силы», поскольку они являются виртуальными средствами достижения реальных целей. Если раньше человеческое поведение генерировало данные, которые нужно было собирать и изучать, то мощные алгоритмы все чаще могут формировать и определять человеческое поведение.

Обеспокоенность по поводу влияния алгоритмов на общество привела к созданию рабочих групп в таких организациях, как Google и Microsoft , которые совместно создали рабочую группу под названием «Справедливость, подотчетность, ответственность».и прозрачность в машинном обучении. Идеи Google включают группы сообщества, которые контролируют результаты работы алгоритмов и голосуют за контроль или ограничение результатов, которые, по их мнению, имеют негативные последствия. В последние годы исследования справедливости, подотчетности,а прозрачность (FAT) алгоритмов стала отдельной междисциплинарной областью исследований благодаря ежегодной конференции под названием FAccT. Критики предполагают, что инициативы FAT не могут эффективно служить независимыми наблюдателями, поскольку многие из них финансируются корпорациями, создающими изучаемые системы.

Типы

Ранее существовавшие

Ранее существовавшая предвзятость в алгоритме является следствием лежащих в его основе социальных и институциональных идеологий . Такие идеи могут влиять или создавать личные предубеждения среди отдельных дизайнеров или программистов. Такие предрассудки могут быть явными и сознательными или неявными и бессознательными. Плохо выбранные входные данные или просто данные из предвзятого источника будут влиять на результаты, создаваемые машинами. Кодирование ранее существовавшей предвзятости в программное обеспечение может сохранить социальную и институциональную предвзятость и без исправления может быть воспроизведено при всех будущих применениях этого алгоритма.

Примером такой формы предвзятости является Программа Закона о британском гражданстве, разработанная для автоматизации оценки новых британских граждан после принятия Закона о британском гражданстве 1981 года . Программа точно отражала положения закона, который гласил, что «мужчина является отцом только своих законных детей, тогда как женщина является матерью всех своих детей, законных или нет». Пытаясь перенести конкретную логику в алгоритмический процесс, BNAP вписал в свой алгоритм логику Закона о британском гражданстве, что увековечило бы его, даже если бы закон в конечном итоге был отменен.

Еще один источник предвзятости, получивший название «предвзятость выбора лейбла», возникает, когда прокси-меры используются для обучения алгоритмов, которые создают предвзятость в отношении определенных групп. Например, широко используемый алгоритм прогнозировал затраты на здравоохранение как показатель потребностей в медицинской помощи и использовал прогнозы для распределения ресурсов для помощи пациентам со сложными медицинскими потребностями. Это внесло предвзятость, поскольку чернокожие пациенты имеют более низкие затраты, даже если они столь же нездоровы, как и белые пациенты. Решения «предвзятости выбора метки» направлены на то, чтобы более точно сопоставить фактическую цель (то, что предсказывает алгоритм) с идеальной целью (то, что исследователи хотят, чтобы алгоритм предсказал), поэтому в предыдущем примере вместо прогнозирования затрат исследователи будут Сосредоточьтесь на переменной потребностей в здравоохранении, которая гораздо более значима. Изменение цели привело к почти удвоению числа чернокожих пациентов, отобранных для участия в программе.

Предвзятость машинного обучения

Предвзятость машинного обучения означает систематические и несправедливые различия в результатах алгоритмов машинного обучения. Эти предвзятости могут проявляться по-разному и часто являются отражением данных, используемых для обучения этих алгоритмов. Вот некоторые ключевые аспекты:

Языковая предвзятость

Языковая предвзятость — это тип статистической систематической ошибки выборки, связанной с языком запроса, которая приводит к «систематическому отклонению в выборочной информации, которое не позволяет ей точно отражать истинное освещение тем и мнений, доступных в их репозитории». Работа Луо и др. показывает, что современные большие языковые модели, поскольку они преимущественно обучены на англоязычных данных, часто представляют англо-американские взгляды как истину, в то же время систематически преуменьшая неанглоязычные точки зрения как неуместные, неправильные или бесполезные. Когда его спрашивают о политических идеологиях, таких как «Что такое либерализм?», ChatGPT, поскольку он был обучен на англоориентированных данных, описывает либерализм с англо-американской точки зрения, подчеркивая аспекты прав человека и равенства, в то время как столь же важные аспекты, такие как «противостоят государству». вмешательство в личную и экономическую жизнь» с доминирующей вьетнамской точки зрения и «ограничение государственной власти» с преобладающей китайской точки зрения отсутствуют.

Гендерная предвзятость

Гендерная предвзятость означает тенденцию этих моделей давать результаты, которые несправедливо предвзято относятся к одному полу по сравнению с другим. Эта предвзятость обычно возникает из-за данных, на которых обучаются эти модели. Например, большие языковые модели часто назначают роли и характеристики на основе традиционных гендерных норм; оно может ассоциировать медсестер или секретарей преимущественно с женщинами, а инженеров или руководителей — с мужчинами.

Стереотипирование

Помимо пола и расы, эти модели могут усиливать широкий спектр стереотипов, в том числе основанных на возрасте, национальности, религии или профессии. Это может привести к результатам, которые несправедливо обобщают или карикатурно изображают группы людей, иногда вредными или уничижительными способами.

В последнее время основное внимание в исследованиях уделяется сложному взаимодействию между грамматическими свойствами языка и реальными предубеждениями, которые могут быть встроены в системы искусственного интеллекта, потенциально закрепляя вредные стереотипы и предположения. Исследование гендерной предвзятости в языковых моделях, обученных на исландском языке, языке с высокой грамматической гендерностью, показало, что модели демонстрируют значительную предрасположенность к мужскому грамматическому роду при упоминании профессиональных терминов, даже для профессий, в которых доминируют женщины. Это говорит о том, что модели усилили социальные гендерные предубеждения, присутствующие в данных обучения.

Политическая предвзятость

Политическая предвзятость означает тенденцию алгоритмов систематически отдавать предпочтение определенным политическим точкам зрения, идеологиям или результатам над другими. Языковые модели могут также проявлять политическую предвзятость. Поскольку данные обучения включают в себя широкий спектр политических взглядов и охвата, модели могут генерировать ответы, склоняющиеся к конкретным политическим идеологиям или точкам зрения, в зависимости от преобладания этих взглядов в данных.

Технический

Было обнаружено, что программное обеспечение для распознавания лиц, используемое в сочетании с камерами наблюдения, демонстрирует предвзятость при распознавании азиатских и черных лиц по сравнению с белыми лицами.

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее конструкции или других ограничений системы. Подобная предвзятость также может быть ограничением дизайна: например, поисковая система, которая показывает три результата на экране, может считаться отдающей верхним трем результатам немного больше преимуществ, чем следующим трем, как в случае с отображением цен авиакомпаний. Другой случай — программное обеспечение, которое полагается на случайность для справедливого распределения результатов. Если механизм генерации случайных чисел не является действительно случайным, он может привести к смещению, например, за счет смещения выбора в сторону элементов в конце или начале списка.

Деконтекстуализированный алгоритм использует несвязанную информацию для сортировки результатов, например, алгоритм ценообразования на авиабилеты, который сортирует результаты в алфавитном порядке, будет смещен в пользу American Airlines, а не United Airlines. Может применяться и обратное, когда результаты оцениваются в контексте, отличном от того, в котором они собираются. Данные могут быть собраны без важного внешнего контекста: например, когда программное обеспечение для распознавания лиц используется камерами наблюдения, но оценивается удаленным персоналом в другой стране или регионе или оценивается нечеловеческими алгоритмами, не имеющими представления о том, что происходит за пределами камеры. поле зрения . Это может привести к неполному пониманию места преступления, например, из-за потенциального принятия прохожих за тех, кто совершил преступление.

Наконец, техническая предвзятость может быть создана попытками формализовать решения в виде конкретных шагов, исходя из предположения, что человеческое поведение работает таким же образом. Например, программное обеспечение взвешивает данные, чтобы определить, следует ли обвиняемому согласиться на сделку о признании вины, игнорируя при этом влияние эмоций на присяжных. Еще один непреднамеренный результат этой формы предвзятости был обнаружен в программном обеспечении для обнаружения плагиата Turnitin , которое сравнивает тексты, написанные студентами, с информацией, найденной в Интернете, и возвращает оценку вероятности того, что работа студента будет скопирована. Поскольку программное обеспечение сравнивает длинные строки текста, оно с большей вероятностью идентифицирует носителей английского языка, чем носителей языка, поскольку последняя группа может лучше изменять отдельные слова, разбивать строки заимствованного текста или скрывать скопированные отрывки. синонимы. Поскольку носителям языка легче избежать обнаружения из-за технических ограничений программного обеспечения, это создает сценарий, в котором Turnitin идентифицирует иностранцев, говорящих на английском языке, на предмет плагиата, в то же время позволяя большему количеству носителей языка уклоняться от обнаружения.

Чрезвычайный

Возникающая предвзятость — это результат использования и зависимости от алгоритмов в новых или непредвиденных контекстах. Алгоритмы, возможно, не были адаптированы для учета новых форм знаний, таких как новые лекарства или открытия в области медицины, новые законы, бизнес-модели или изменение культурных норм. Это может привести к исключению групп с помощью технологий без предоставления четких схем, позволяющих понять, кто несет ответственность за их исключение. Аналогично, проблемы могут возникнуть, когда данные обучения (выборки, «подаваемые» в машину, с помощью которой она моделирует определенные выводы) не совпадают с контекстами, с которыми алгоритм сталкивается в реальном мире.

В 1990 году пример возникающей предвзятости был обнаружен в программе National Residency Match Program (NRMP), используемой для размещения американских студентов-медиков в резидентурах. Алгоритм был разработан в то время, когда лишь немногие супружеские пары искали совместное место жительства. Чем больше женщин поступает в медицинские школы, тем больше студентов, вероятно, будут просить ординатуру вместе со своими партнерами. Процесс требовал от каждого заявителя предоставить список предпочтений для размещения в США, который затем сортировался и распределялся, когда больница и заявитель соглашались на совпадение. В случае супружеских пар, где оба искали место жительства, алгоритм сначала взвешивал выбор места партнера с более высоким рейтингом. Результатом стало частое назначение школ с высоким предпочтением первому партнеру и школ с меньшим предпочтением второму партнеру, вместо того, чтобы искать компромиссы в предпочтениях при размещении.

Дополнительные возникающие предубеждения включают в себя:

Корреляции

Непредсказуемые корреляции могут возникнуть при сравнении больших наборов данных друг с другом. Например, данные, собранные о шаблонах просмотра веб-страниц, могут совпадать с сигналами, обозначающими конфиденциальные данные (такие как раса или сексуальная ориентация). При выборе в соответствии с определенным поведением или моделями просмотра конечный эффект будет почти идентичен дискриминации посредством использования прямых данных о расовой принадлежности или сексуальной ориентации. В других случаях алгоритм делает выводы на основе корреляций, не имея возможности понять эти корреляции. Например, в одной программе сортировки астматикам с пневмонией был отдан меньший приоритет, чем астматикам, у которых пневмонии не было. Алгоритм программы сделал это, потому что просто сравнивал показатели выживаемости: астматики с пневмонией находятся в группе наибольшего риска. Исторически сложилось так, что по этой же причине больницы обычно оказывают таким астматикам самую лучшую и неотложную помощь.

Непредвиденное использование

Возникающая предвзятость может возникнуть, когда алгоритм используется неожиданной аудиторией. Например, машины могут требовать, чтобы пользователи могли читать, писать или понимать числа или относиться к интерфейсу, используя метафоры, которые они не понимают. Эти исключения могут усугубляться по мере того, как предвзятые или исключающие технологии все глубже интегрируются в общество.

Помимо исключения, непредвиденное использование может возникнуть в результате того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном из примеров непредвиденная группа пользователей привела к алгоритмической предвзятости в Великобритании, когда Программа Британского национального закона была создана в качестве доказательства концепции учеными-компьютерщиками и иммиграционными юристами для оценки пригодности для получения британского гражданства . Разработчики имели доступ к юридическим знаниям помимо конечных пользователей в иммиграционных офисах, чье понимание как программного обеспечения, так и иммиграционного законодательства, вероятно, было бы неглубоким. Агенты, задававшие вопросы, полностью полагались на программное обеспечение, которое исключало альтернативные пути получения гражданства, и использовали его даже после того, как новое прецедентное право и юридические интерпретации привели к тому, что алгоритм устарел. В результате разработки алгоритма для пользователей, которые считались юридически разбирающимися в иммиграционном законодательстве, алгоритм программного обеспечения косвенно привел к смещению в пользу заявителей, которые соответствуют очень узкому набору юридических критериев, установленных алгоритмом, а не более широким критериям. британского иммиграционного законодательства.

Петли обратной связи

Возникающая предвзятость также может создать петлю обратной связи или рекурсию, если данные, собранные для алгоритма, приводят к реальным ответам, которые передаются обратно в алгоритм. Например, моделирование программного обеспечения для прогнозирования полицейской деятельности (PredPol), развернутого в Окленде, штат Калифорния, на основании данных о преступности, сообщаемых общественностью, позволило предположить увеличение присутствия полиции в черных кварталах. Моделирование показало, что общественность сообщала о преступлениях, глядя на полицейские машины, независимо от того, чем занималась полиция. Моделирование интерпретировало наблюдения полицейских машин при моделировании прогнозов преступности и, в свою очередь, предполагало еще большее увеличение присутствия полиции в этих районах. Группа анализа данных по правам человека , которая проводила моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усилить и увековечить расовую дискриминацию в работе полиции. Другим хорошо известным примером такого алгоритма, демонстрирующего такое поведение, является COMPAS , программное обеспечение, которое определяет вероятность того, что человек станет преступником. Программу часто критикуют за то, что она гораздо чаще называет чернокожих преступниками, чем других, а затем возвращает данные обратно в себя в случае, если люди становятся зарегистрированными преступниками, что еще больше усиливает предвзятость, созданную набором данных, на котором действует алгоритм.

Рекомендательные системы, например те, которые используются для рекомендации онлайн-видео или новостных статей, могут создавать петли обратной связи. Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений. Со временем это может привести к тому, что пользователи попадут в пузырек фильтров и не будут знать о важном или полезном контенте.

Влияние

Коммерческие влияния

Корпоративные алгоритмы могут быть искажены, чтобы незаметно отдавать предпочтение финансовым соглашениям или соглашениям между компаниями без ведома пользователя, который может ошибочно принять алгоритм за беспристрастность. Например, компания American Airlines создала алгоритм поиска рейсов в 1980-х годах. Программное обеспечение представляло клиентам ряд рейсов различных авиакомпаний, но взвешивало факторы, которые увеличили количество собственных рейсов, независимо от цены или удобства. Выступая перед Конгрессом США , президент авиакомпании прямо заявил, что система была создана с намерением получить конкурентное преимущество за счет преференций.

В статье 1998 года, описывающей Google , основатели компании приняли политику прозрачности результатов поиска в отношении платного размещения, утверждая, что «поисковые системы, финансируемые за счет рекламы, по своей сути будут предвзяты к рекламодателям и в сторону от потребностей потребителей». Эта предвзятость будет «невидимой» манипуляцией пользователя.

Поведение при голосовании

Серия исследований неопределившихся избирателей в США и Индии показала, что результаты поисковых систем могут изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что у кандидатов «нет средств для конкуренции», если алгоритм, намеренно или нет, увеличил количество страниц в списках конкурирующего кандидата. Пользователи Facebook, которые видели сообщения, связанные с голосованием, голосовали с большей вероятностью. пользователей Facebook в 2010 году Рандомизированное исследование показало увеличение на 20% (340 000 голосов) среди пользователей, которые видели сообщения, призывающие голосовать, а также изображения своих друзей, которые проголосовали. Ученый-правовед Джонатан Зиттрейн предупредил, что это может создать эффект «цифрового джерримандеринга» на выборах, «выборочного представления информации посредником для удовлетворения своей повестки дня, а не для обслуживания своих пользователей», если им намеренно манипулируют.

Гендерная дискриминация

В 2016 году было обнаружено, что профессиональный сетевой сайт LinkedIn рекомендует мужские варианты женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций при поиске мужских имен. Например, по запросу «Андреа» выводится подсказка с вопросом, имели ли пользователи в виду «Андрей», но запросы «Андрей» не спрашивали, собираются ли пользователи найти «Андреа». В компании заявили, что это стало результатом анализа взаимодействия пользователей с сайтом.

В 2012 году франшиза универмагов Target была упомянута за сбор данных, позволяющих сделать вывод о том, что покупатели-женщины были беременны, даже если они не объявили об этом, а затем поделилась этой информацией с маркетинговыми партнерами. Поскольку данные были предсказаны, а не наблюдались или сообщались напрямую, у компании не было юридических обязательств защищать конфиденциальность этих клиентов.

Алгоритмы веб-поиска также обвиняют в предвзятости. Результаты Google могут отдавать приоритет порнографическому контенту в поисковых запросах, связанных с сексуальностью, например «лесбиянка». Эта предвзятость распространяется и на то, что поисковая система показывает популярный, но сексуальный контент в нейтральных поисковых запросах. Например, статьи «25 самых сексуальных спортсменок» отображаются на первой странице результатов поиска по запросу «женщины-спортсменки». В 2017 году Google скорректировал эти результаты вместе с другими, которые выявили группы ненависти , расистские взгляды, жестокое обращение с детьми и порнографию, а также другой оскорбительный и оскорбительный контент. Другие примеры включают показ высокооплачиваемых вакансий соискателям-мужчинам на сайтах поиска работы. Исследователи также обнаружили, что машинный перевод демонстрирует сильную тенденцию к мужским ошибкам. В частности, это наблюдается в сферах, связанных с несбалансированным гендерным распределением, включая STEM . профессии Фактически, современные системы машинного перевода не могут воспроизвести реальное распределение работающих женщин.

В 2015 году Amazon.com отключил разработанную им систему искусственного интеллекта для проверки заявлений о приеме на работу, когда понял, что она предвзято относится к женщинам. Инструмент набора персонала исключал кандидатов, посещавших женские колледжи, и резюме, в которых содержалось слово «женские». Аналогичная проблема возникла и с сервисами потоковой передачи музыки: в 2019 году было обнаружено, что алгоритм рекомендательной системы, используемый Spotify, предвзято относится к женщинам-исполнителям. Рекомендации Spotify по песням предлагали больше исполнителей-мужчин, чем исполнителей-женщин.

Расовая и этническая дискриминация

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений. Из-за того, как в прошлом относились к определенным расам и этническим группам, данные часто могут содержать скрытую предвзятость. Например, чернокожие люди, скорее всего, получат более длительные сроки тюремного заключения, чем белые, совершившие то же преступление. Потенциально это может означать, что система усиливает первоначальные отклонения в данных.

В 2015 году Google извинилась, когда чернокожие пользователи пожаловались, что алгоритм идентификации изображений в приложении «Фото» определил их как горилл . В 2010 году камеры Nikon подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали пользователей из Азии, моргают ли они. Такие примеры являются результатом предвзятости в наборах биометрических данных . Биометрические данные собираются на основе различных аспектов тела, включая наблюдаемые или предполагаемые расовые особенности, которые затем можно перенести в точки данных. Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано отсутствием данных по обучению носителей этого акцента.

Биометрические данные о расе также можно скорее предполагать, чем наблюдать. Например, исследование 2012 года показало, что имена, обычно ассоциирующиеся с чернокожими, с большей вероятностью дают результаты поиска, подразумевающие записи об арестах, независимо от того, есть ли какие-либо полицейские записи об имени этого человека. Исследование 2015 года также показало, что у чернокожих и азиатов легкие функционируют хуже из-за того, что данные о расовом и профессиональном воздействии не включены в модель функции легких алгоритма прогнозирования.

В 2019 году исследование показало, что алгоритм здравоохранения, продаваемый Optum, отдает предпочтение белым пациентам, а не более больным чернокожим пациентам. Алгоритм предсказывает, во сколько пациенты будут стоить системе здравоохранения в будущем. Однако стоимость не является нейтральной с расовой точки зрения, поскольку чернокожие пациенты тратят примерно на 1800 долларов меньше на медицинские расходы в год, чем белые пациенты с таким же количеством хронических заболеваний, что привело к тому, что алгоритм оценил белых пациентов как одинаково подверженных риску будущих проблем со здоровьем, как и чернокожих. пациентов, которые страдали от значительно большего числа заболеваний.

Исследование, проведенное исследователями из Калифорнийского университета в Беркли в ноябре 2019 года, показало, что алгоритмы ипотеки являются дискриминационными по отношению к латиноамериканцам и афроамериканцам, дискриминируя меньшинства на основе «кредитоспособности», которая уходит корнями в закон США о справедливом кредитовании, который позволяет кредиторам использовать меры идентификации. определить, достоин ли человек получения кредита. Эти конкретные алгоритмы присутствовали в финтех-компаниях и, как было показано, дискриминировали меньшинства.

Правоохранительные и судебные разбирательства

Алгоритмы уже имеют многочисленные применения в правовых системах. Примером этого является COMPAS , коммерческая программа, широко используемая судами США для оценки вероятности того, что обвиняемый станет рецидивистом . ProPublica утверждает, что средний уровень риска рецидива, назначенный COMPAS для чернокожих обвиняемых, значительно выше, чем средний уровень риска, назначенный COMPAS для белых обвиняемых, и что чернокожим обвиняемым в два раза чаще ошибочно присваивается ярлык «высокого риска», чем белым. ответчики.

Одним из примеров является использование оценок риска при вынесении уголовных приговоров в США и слушаниях по условно-досрочному освобождению . Судьям была представлена ​​алгоритмически сгенерированная оценка, предназначенная для отражения риска того, что заключенный повторит преступление. За период времени, начиная с 1920 года и заканчивая 1970 годом, национальность отца преступника учитывалась при оценке риска. Сегодня эти оценки передаются судьям в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование, проведенное ProPublica, показало, что оценки были неточными в 80% случаев и непропорционально искажены, что позволяет предположить, что чернокожие подвержены риску рецидива, на 77% чаще, чем белые.

В одном исследовании, целью которого было изучить тему «Риск, раса и рецидивизм: прогнозируемая предвзятость и несопоставимое влияние», утверждается, что вероятность того, что чернокожие обвиняемые по сравнению с европеоидами будут ошибочно классифицированы как представляющие более высокий риск, в два раза выше (45 процентов против 23 процентов). несмотря на то, что за двухлетний период наблюдения у него объективно не было документально подтвержденного рецидива.

В контексте предварительного заключения в обзорной статье закона утверждается, что алгоритмические оценки риска нарушают по признаку расы, предусмотренные 14-й поправкой права на равную защиту , поскольку алгоритмы считаются дискриминационными по лицу, приводят к несопоставимому обращению и не являются узкоспециализированными.

Разжигание ненависти в Интернете

в 2017 году было обнаружено, что алгоритм Facebook, предназначенный для удаления разжигания ненависти в Интернете, дает преимущество белым мужчинам перед чернокожими детьми при оценке нежелательного контента. Согласно внутренним документам Facebook, Алгоритм, представляющий собой комбинацию компьютерных программ и рецензентов контента, был создан для защиты широких категорий, а не конкретных подмножеств категорий. Например, сообщения, осуждающие «мусульман», будут заблокированы, а сообщения, осуждающие «радикальных мусульман», будут разрешены. Непредвиденным результатом алгоритма является разрешение разжигания ненависти в отношении чернокожих детей, поскольку они осуждают «детскую» подгруппу чернокожих, а не «всех черных», тогда как «все белые мужчины» вызовут блокировку, поскольку белые и мужчины не являются считаются подмножествами. Также было обнаружено, что Facebook позволяет покупателям рекламы ориентироваться на «ненавистников евреев» как на категорию пользователей, что, по словам компании, является непреднамеренным результатом алгоритмов, используемых при оценке и классификации данных. Дизайн компании также позволял покупателям рекламы блокировать просмотр рекламы жилья афроамериканцами.

Хотя для отслеживания и блокировки разжигания ненависти используются алгоритмы, некоторые из них в 1,5 раза чаще отмечают информацию, опубликованную чернокожими пользователями, и в 2,2 раза чаще отмечают информацию как разжигание ненависти, если она написана на афроамериканском английском языке . Без контекста были помечены оскорбления и эпитеты, даже если они использовались сообществами, которые их повторно присвоили.

Наблюдение

Программное обеспечение камер наблюдения можно считать политическим по своей сути, поскольку оно требует алгоритмов, позволяющих отличать нормальное поведение от ненормального и определять, кто находится в определенных местах в определенное время. Было показано, что способность таких алгоритмов распознавать лица представителей расового спектра ограничена расовым разнообразием изображений в обучающей базе данных; если большинство фотографий принадлежат одной расе или полу, программа лучше распознает других представителей этой расы или пола. Однако даже аудит этих систем распознавания изображений чреват этической проблемой, и некоторые ученые предполагают, что контекст этой технологии всегда будет оказывать непропорционально большое влияние на сообщества, действия которых подвергаются чрезмерному надзору. Например, анализ программного обеспечения, используемого для идентификации людей на изображениях с камер видеонаблюдения в 2002 году , выявил несколько примеров предвзятости при сопоставлении с криминальными базами данных. Программное обеспечение было оценено как идентифицирующее мужчин чаще, чем женщин, пожилых людей чаще, чем молодых, и идентифицировало азиатов, афроамериканцев и представителей других рас чаще, чем белых. Исследование 2018 года показало, что программное обеспечение для распознавания лиц, скорее всего, точно идентифицирует светлокожих (типично европейцев) мужчин, с немного более низкими показателями точности для светлокожих женщин. Темнокожих мужчин и женщин было значительно меньше шансов точно идентифицировать с помощью программного обеспечения для распознавания лиц. Эти различия объясняются недостаточной представленностью участников с более темной кожей в наборах данных, используемых для разработки этого программного обеспечения.

Дискриминация ЛГБТ-сообщества

В 2011 году пользователи приложения для знакомств для геев Grindr сообщили, что алгоритм рекомендаций магазина Android связывает Grindr с приложениями, предназначенными для поиска сексуальных преступников, которые, по мнению критиков, неточно связывают гомосексуализм с педофилией . Писатель Майк Анэнни раскритиковал эту ассоциацию в The Atlantic , утверждая, что такие ассоциации еще больше стигматизируют геев . В 2009 году интернет-магазин Amazon исключил из списка 57 000 книг после изменения алгоритма, расширив свой черный список «контента для взрослых», включив в него любые книги, затрагивающие темы сексуальности или геев, такие как получивший признание критиков роман « Горбатая гора» .

В 2019 году выяснилось, что в Facebook поиск по запросу «фотографии моих подруг» приводил к таким предложениям, как «в бикини» или «на пляже». Напротив, поиск по запросу «фотографии моих друзей-мужчин» не дал результатов.

Было замечено, что технология распознавания лиц создает проблемы для трансгендеров. В 2018 году поступали сообщения о том, что водители Uber, которые были трансгендерами или перешли на переходный возраст, испытывали трудности с программным обеспечением для распознавания лиц, которое Uber внедряет в качестве встроенной меры безопасности. В результате некоторые учетные записи транс-водителей Uber были заблокированы, что стоило им платы за проезд и, возможно, работы, и все это из-за того, что программное обеспечение для распознавания лиц испытывало трудности с распознаванием лица транс-водителя, который переходил. Хотя решение этой проблемы, по всей видимости, заключается в включении трансгендеров в обучающие наборы для моделей машинного обучения, экземпляр трансгендерных видео на YouTube, которые были собраны для использования в обучающих данных, не получил согласия от трансгендеров, включенных в видео. , что создало проблему нарушения конфиденциальности.

В 2017 году в Стэнфордском университете также было проведено исследование, в ходе которого проверялись алгоритмы системы машинного обучения, которая, как утверждается, способна определять сексуальную ориентацию человека на основе изображений его лица. Модель в исследовании предсказала правильное различие между геями и гетеросексуальными мужчинами в 81% случаев, а также правильное различие между геями и гетеросексуальными женщинами в 74% случаев. Это исследование вызвало негативную реакцию со стороны ЛГБТКИА-сообщества, которое опасалось возможных негативных последствий, которые эта система искусственного интеллекта могла иметь для представителей ЛГБТКИА-сообщества, подвергая людей риску быть «разоблаченными» против их воли.

Дискриминация инвалидов

Хотя способы алгоритмической справедливости оцениваются на основе различных аспектов предвзятости, таких как пол, раса и социально-экономический статус, инвалидность часто не учитывается. Маргинализация людей с ограниченными возможностями, с которыми в настоящее время сталкиваются в обществе, преобразуется в системы и алгоритмы искусственного интеллекта, создавая еще большую изоляцию.

Изменяющаяся природа инвалидности и ее субъективная характеристика усложняют ее вычислительное решение. Отсутствие исторической глубины в определении инвалидности, сборе информации о ее частоте и распространенности в анкетах и ​​установлении признания усугубляет противоречия и двусмысленность в ее количественной оценке и расчетах. Определение инвалидности уже давно обсуждается, и совсем недавно произошел переход от медицинской модели к социальной модели инвалидности , которая устанавливает, что инвалидность является результатом несоответствия между взаимодействиями людей и барьерами в их среде, а не нарушениями и состоянием здоровья. Инвалидность также может быть ситуативной или временной. рассматриваться в состоянии постоянного изменения. Инвалиды невероятно разнообразны, относятся к широкому спектру и могут быть уникальными для каждого человека. Личность людей может различаться в зависимости от конкретных типов инвалидности, с которыми они сталкиваются, от того, как они используют ассистивные технологии и кого они поддерживают. Высокий уровень вариативности опыта людей в значительной степени персонализирует то, как может проявляться инвалидность. Перекрывающиеся идентичности и интерсекциональный опыт исключаются из статистики и наборов данных, следовательно, они недостаточно представлены и отсутствуют в обучающих данных. Таким образом, модели машинного обучения обучаются несправедливо, а системы искусственного интеллекта закрепляют еще большую алгоритмическую предвзятость. Например, если люди с нарушениями речи не включены в обучение функциям голосового управления и умным ИИ-помощникам – они не смогут использовать эту функцию или ответы, полученные от Google Home или Alexa, будут крайне плохими.

Учитывая стереотипы и стигмы, которые все еще существуют вокруг инвалидности, деликатный характер раскрытия этих идентифицирующих характеристик также сопряжен с огромными проблемами конфиденциальности. Поскольку раскрытие информации об инвалидности может быть табуировано и способствовать дальнейшей дискриминации этой группы населения, существует недостаток явных данных об инвалидности, с которыми могли бы взаимодействовать алгоритмические системы. Люди с ограниченными возможностями сталкиваются с дополнительным вредом и рисками в отношении социальной поддержки, стоимости медицинского страхования, дискриминации на рабочем месте и других основных потребностей после раскрытия своего статуса инвалидности. Алгоритмы еще больше усугубляют этот разрыв, воссоздавая предубеждения, которые уже существуют в социальных системах и структурах.

Поиск Google

Хотя пользователи выдают результаты, которые «завершаются» автоматически, Google не смог удалить сексистский и расистский текст автозаполнения. Например, в книге «Алгоритмы угнетения: как поисковые системы усиливают расизм» Сафия Ноубл приводит пример поиска по запросу «черные девушки», который, как сообщалось, приводил к появлению порнографических изображений. Google заявил, что не может удалить эти страницы, если только они не будут сочтены незаконными.

Препятствия для исследований

Некоторые проблемы препятствуют изучению крупномасштабной алгоритмической предвзятости, препятствуя применению академически строгих исследований и общественному пониманию.

Определение справедливости

Основная статья: Справедливость (машинное обучение)

Литература по алгоритмической предвзятости сосредоточена на устранении справедливости, но определения справедливости часто несовместимы друг с другом и реалиями оптимизации машинного обучения. Например, определение справедливости как «равенства результатов» может просто относиться к системе, обеспечивающей одинаковый результат для всех людей, тогда как справедливость, определяемая как «равенство обращения», может явно учитывать различия между людьми. В результате справедливость иногда описывается как конфликтующая с точностью модели, что указывает на врожденное противоречие между приоритетами социального обеспечения и приоритетами поставщиков, разрабатывающих эти системы. В ответ на это противоречие исследователи предложили уделять больше внимания разработке и использованию систем, основанных на потенциально предвзятых алгоритмах, с определением «справедливости» для конкретных приложений и контекстов.

Сложность

Алгоритмические процессы сложны и часто превосходят понимание людей, которые их используют. Масштабные операции могут быть непонятны даже тем, кто причастен к их созданию. Методы и процессы современных программ часто неясны из-за невозможности знать каждую перестановку ввода или вывода кода. Социолог Бруно Латур определил этот процесс как «черный ящик» — процесс, в котором «научная и техническая работа становится невидимой из-за собственного успеха. Когда машина работает эффективно, когда факт решен, нужно сосредоточиться только на ее входных данных и результатов, а не от ее внутренней сложности. Таким образом, как это ни парадоксально, чем успешнее наука и технология, тем более непрозрачными и неясными они становятся». Другие раскритиковали метафору черного ящика, предполагая, что современные алгоритмы представляют собой не один черный ящик, а сеть взаимосвязанных.

Пример этой сложности можно найти в диапазоне входных данных для настройки обратной связи. Сайт социальной сети Facebook учел не менее 100 000 точек данных, чтобы определить макет ленты пользователя в социальной сети в 2013 году. Более того, большие команды программистов могут работать в относительной изоляции друг от друга и не осознавать совокупного эффекта небольших решений в рамках связанных, сложных алгоритмов. Не весь код является оригинальным и может быть заимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки и ввода данных.

Дополнительная сложность возникает из-за машинного обучения и персонализации алгоритмов на основе взаимодействия с пользователем, такого как клики, время, проведенное на сайте, и другие показатели. Эти личные корректировки могут сбить с толку общие попытки понять алгоритмы. Один неопознанный сервис потокового радио сообщил, что он использует пять уникальных алгоритмов выбора музыки, которые он выбирает для своих пользователей на основе их поведения. Это создает разные впечатления от одних и тех же потоковых сервисов для разных пользователей, что затрудняет понимание того, что делают эти алгоритмы. Компании также часто проводят A/B-тесты для точной настройки алгоритмов на основе реакции пользователей. Например, поисковая система Bing может запускать до десяти миллионов тонких вариаций своего сервиса в день, создавая разные впечатления от сервиса для каждого использования и/или пользователя.

Отсутствие прозрачности

Коммерческие алгоритмы являются собственностью и могут рассматриваться как коммерческая тайна . Отнесение алгоритмов к коммерческой тайне защищает такие компании, как поисковые системы , где прозрачный алгоритм может раскрыть тактику манипулирования поисковыми рейтингами. Это затрудняет исследователям проведение интервью или анализ, чтобы выяснить, как работают алгоритмы. Критики предполагают, что такая секретность может также скрыть возможные неэтичные методы, используемые при производстве или обработке алгоритмических результатов. Другие критики, такие как юрист и активистка Катажина Шимелевич, предположили, что отсутствие прозрачности часто маскируется под сложностью алгоритмов, защищая компании от раскрытия или расследования собственных алгоритмических процессов.

Отсутствие данных о деликатных категориях

Существенным препятствием для понимания того, как бороться с предвзятостью на практике, является то, что такие категории, как демографические данные лиц, защищаемых антидискриминационным законодательством , часто не учитываются явным образом при сборе и обработке данных. В некоторых случаях существует мало возможностей для явного сбора этих данных, например, при снятии отпечатков пальцев устройств , повсеместных вычислениях и Интернете вещей . В других случаях контролер данных может не захотеть собирать такие данные по причинам репутации или потому, что это представляет собой повышенную ответственность и риск безопасности. Европейского Союза Также может случиться так, что, по крайней мере, в соответствии с Общим регламентом защиты данных , такие данные подпадают под положения «особой категории» (статья 9) и, следовательно, имеют больше ограничений на потенциальный сбор и обработку.

Некоторые практики пытались оценить и приписать эти недостающие чувствительные категоризации, чтобы смягчить предвзятость, например, создавая системы, позволяющие делать выводы об этнической принадлежности по именам, однако это может привести к другим формам предвзятости, если не соблюдать осторожность. Исследователи машинного обучения использовали криптографические технологии повышения конфиденциальности, такие как безопасные многосторонние вычисления , чтобы предложить методы, с помощью которых можно оценить или смягчить алгоритмическую предвзятость, при этом эти данные никогда не будут доступны разработчикам моделей в открытом виде .

Алгоритмическая предвзятость не только включает защищенные категории, но также может касаться характеристик, которые труднее наблюдать или кодифицировать, например, политических взглядов. В этих случаях редко существует легкодоступная или непротиворечивая основная истина , и устранить предвзятость в такой системе труднее. Кроме того, ложные и случайные корреляции могут возникнуть из-за непонимания защищенных категорий, например, тарифов страхования, основанных на исторических данных об автомобильных авариях, которые могут строго случайно совпадать с местами проживания этнических меньшинств.

Решения

Исследование 84 руководящих принципов этического ИИ показало, что справедливость и «смягчение нежелательной предвзятости» были общей проблемой и решались посредством сочетания технических решений, прозрачности и мониторинга, права на исправление и усиления надзора, а также разнообразия и усилия по включению.

Технический

Дополнительная информация: Справедливость (машинное обучение).

Было предпринято несколько попыток создать методы и инструменты, которые могут обнаруживать и наблюдать отклонения в алгоритме. Эти новые поля сосредоточены на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не к внутренним процессам алгоритма. Эти методы также могут анализировать выходные данные программы и ее полезность и, следовательно, могут включать анализ ее матрицы путаницы (или таблицы путаницы). Объяснимый ИИ для обнаружения предвзятости алгоритма — это предлагаемый способ обнаружить предвзятость в алгоритме или модели обучения. Использование машинного обучения для обнаружения предвзятости называется «проведением аудита ИИ», где «аудитор» — это алгоритм, который просматривает модель ИИ и данные обучения для выявления предвзятостей. Обеспечить отсутствие предвзятости в таком инструменте искусственного интеллекта, как классификатор, сложнее, чем просто удалить конфиденциальную информацию.от его входных сигналов, поскольку это обычно подразумевается в других сигналах. Например, хобби, спорт и посещаемые школы.кандидат на работу может раскрыть программному обеспечению свой пол, даже если он исключен из анализа. Решения для этогоПроблема заключается в том, чтобы гарантировать, что интеллектуальный агент не имеет никакой информации, которую можно было бы использовать для восстановления защищенногои конфиденциальную информацию о предмете, как впервые продемонстрировано в где сеть глубокого обучения одновременно обучалась изучению задачи, в то же время совершенно не обращая внимания на защищенную функцию. Более простой метод был предложен в контексте встраивания слов и предполагает удаление информации, которая коррелирует с защищенной характеристикой.

новый стандарт IEEE В настоящее время разрабатывается , целью которого является определение методологий, которые помогут создателям алгоритмов устранить проблемы предвзятости и обеспечить прозрачность (т. е. для органов власти или конечных пользователей ) функций и возможных эффектов их алгоритмов. Проект был одобрен в феврале 2017 года и спонсируется Комитетом по стандартам программного обеспечения и системной инженерии , комитетом, учрежденным Компьютерным обществом IEEE . Ожидается, что проект стандарта будет вынесен на голосование в июне 2019 года.

Прозрачность и мониторинг

Дополнительная информация: Алгоритмическая прозрачность.

Руководящие принципы по этике ИИ указывают на необходимость подотчетности и рекомендуют предпринять шаги для улучшения интерпретируемости результатов. Такие решения включают в себя учет «права на понимание» в алгоритмах машинного обучения и противодействие внедрению машинного обучения в ситуациях, когда решения невозможно объяснить или просмотреть. , уже ведется движение за « Объяснимый ИИ С этой целью в таких организациях, как DARPA » по причинам, выходящим за рамки устранения предвзятости. Price Waterhouse Coopers , например, также предполагает, что мониторинг результатов означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты.

Первоначальный подход к обеспечению прозрачности включал в себя открытый исходный код алгоритмов . Программный код можно изучить и предложить улучшения с помощью средств хостинга исходного кода . Однако этот подход не обязательно дает желаемый эффект. Компании и организации могут делиться всей возможной документацией и кодом, но это не обеспечивает прозрачности, если аудитория не понимает предоставленную информацию. Таким образом, роль заинтересованной критической аудитории стоит изучить в отношении прозрачности. Алгоритмы не могут быть привлечены к ответственности без критической аудитории.

Право на возмещение

С нормативной точки зрения Декларация Торонто призывает применять систему прав человека к вреду, причиненному алгоритмической предвзятостью. Это включает в себя законодательное закрепление ожиданий должной осмотрительности от имени разработчиков этих алгоритмов и создание ответственности, когда частные лица не могут защитить общественные интересы, отмечая, что такие права могут быть затенены сложностью определения ответственности в сети сложных, переплетающихся процессов. Другие полагают, что необходимы четкие механизмы страхования ответственности.

Разнообразие и инклюзивность

На фоне опасений, что проектирование систем искусственного интеллекта в первую очередь является прерогативой белых инженеров-мужчин, ряд ученых предположили, что алгоритмическую предвзятость можно свести к минимуму за счет расширения числа тех, кто разрабатывает системы искусственного интеллекта. Например, только 12% инженеров по машинному обучению — женщины. с чернокожими лидерами ИИ, указывающими на «кризис разнообразия» в этой области. Такие группы, как Black in AI и Queer in AI, пытаются создать более инклюзивное пространство в сообществе ИИ и работать против часто вредных желаний корпораций, которые контролируют траекторию исследований ИИ. Критика простых усилий по инклюзивности предполагает, что программы разнообразия не могут решить проблему пересекающихся форм неравенства, и призывает к более продуманному рассмотрению интерсекциональности при разработке алгоритмов. Исследователи из Кембриджского университета утверждают, что решению проблемы расового разнообразия препятствует «белизна» культуры ИИ.

Междисциплинарность и сотрудничество

Интеграция междисциплинарности и сотрудничества при разработке систем искусственного интеллекта может сыграть решающую роль в борьбе с алгоритмической предвзятостью. Интеграция идей, опыта и точек зрения из дисциплин, не относящихся к информатике, может способствовать лучшему пониманию того, какое влияние решения, основанные на данных, оказывают на общество. Примером этого в исследованиях ИИ является PACT или подход совместного участия для реализации возможностей сообществ, предлагаемая структура для облегчения сотрудничества при разработке решений на основе ИИ, связанных с социальным воздействием. Эта структура определяет руководящие принципы участия заинтересованных сторон при работе над проектами ИИ на благо общества (AI4SG). PACT пытается подчеркнуть важность усилий по деколонизации и смене власти при разработке ориентированных на человека решений искусственного интеллекта. Академической инициативой в этом отношении является Институт человекоориентированного искусственного интеллекта Стэнфордского университета, целью которого является содействие междисциплинарному сотрудничеству. Миссия института — продвигать исследования, образование, политику и практику искусственного интеллекта (ИИ) для улучшения условий жизни человека.

Сотрудничество с внешними экспертами и различными заинтересованными сторонами способствует этической, инклюзивной и подотчетной разработке интеллектуальных систем. Он учитывает этические соображения, понимает социальный и культурный контекст, продвигает дизайн, ориентированный на человека, использует технические знания и учитывает политические и юридические соображения. Сотрудничество между дисциплинами имеет важное значение для эффективного смягчения предвзятости в системах ИИ и обеспечения справедливости, прозрачности и подотчетности технологий ИИ.

Регулирование

Европа

Общий регламент по защите данных (GDPR), пересмотренный режим защиты данных Европейского Союза , который был введен в действие в 2018 году, касается «автоматизированного индивидуального принятия решений, включая профилирование » в статье 22. Эти правила запрещают «исключительно» автоматизированные решения, которые имеют «существенное» или «юридическое» воздействие на человека, если только это явно не разрешено согласием, контрактом или законодательством государства-члена . Там, где они разрешены, должны быть предусмотрены гарантии, такие как право на участие человека в процессе и необязательное право на объяснение принятых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют по всей Европе с 1995 года в статье 15 Директивы о защите данных . Оригинальные правила и гарантии автоматизированного принятия решений присутствуют во французском законодательстве с конца 1970-х годов.

GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также статистические подходы, возможные для ее устранения, непосредственно в декларативной части 71: отмечая, что

Контролер должен использовать соответствующие математические или статистические процедуры для составления профиля, применять соответствующие технические и организационные меры... которые предотвращают, среди прочего, дискриминационное воздействие на физических лиц на основе расового или этнического происхождения, политических взглядов, религии или убеждений, торговли членство в профсоюзе, генетическое состояние или состояние здоровья или сексуальная ориентация, или которые приводят к мерам, имеющим такой эффект.

Как и в случае с необязательным правом на объяснение в пункте 71 декламации, проблема заключается в необязательном характере декламации . рассматривала это как требование , Хотя Рабочая группа по статье 29 , которая давала рекомендации по осуществлению закона о защите данных, его практические аспекты неясны. Утверждалось, что оценка воздействия на защиту данных для профилирования данных с высоким риском (наряду с другими упреждающими мерами в области защиты данных) может быть лучшим способом решения проблем алгоритмической дискриминации, поскольку она ограничивает действия тех, кто применяет алгоритмы, а не требование от потребителей подавать жалобы или требовать внесения изменений.

Соединенные Штаты

В Соединенных Штатах нет общего законодательства, контролирующего алгоритмическую предвзятость, и проблема решается через различные государственные и федеральные законы, которые могут различаться в зависимости от отрасли, сектора и способа использования алгоритма. Многие политики осуществляются самостоятельно или контролируются Федеральной торговой комиссией . В 2016 году администрация Обамы опубликовала Национальный стратегический план исследований и разработок в области искусственного интеллекта . целью которого было направить политиков к критической оценке алгоритмов. Он рекомендовал исследователям «спроектировать эти системы так, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми людьми и, таким образом, могли быть проверены на предмет любой предвзятости, которую они могут содержать, а не просто изучать и повторять эти предубеждения». Отчет, предназначенный только в качестве руководства, не создал какого-либо юридического прецедента.

В 2017 году город Нью-Йорк принял первый об алгоритмической подотчетности . в США законопроект Законопроект, вступивший в силу 1 января 2018 года, требовал «создания целевой группы, которая давала бы рекомендации о том, как информация об автоматизированных системах принятия решений агентств может быть предоставлена ​​общественности, и как агентства могут реагировать на случаи, когда люди страдают от автоматизированные системы принятия решений агентств». Целевая группа должна представить выводы и рекомендации для дальнейших регулирующих мер в 2019 году.

Индия

31 июля 2018 года был представлен проект закона о персональных данных. В проекте предлагаются стандарты хранения, обработки и передачи данных. Хотя в нем не используется термин «алгоритм», в нем предусмотрены положения о «вреде, причиненном в результате любой обработки или любого вида обработки, предпринятой фидуциарием». Он определяет «любой отказ или отзыв услуги, выгоды или товара в результате оценочного решения в отношении субъекта данных» или «любое дискриминационное обращение» как источник вреда, который может возникнуть в результате ненадлежащего использования данных. Он также предусматривает специальные положения для людей с «интерсекс-статусом».

См. также

• Этика искусственного интеллекта
• Справедливость (машинное обучение)
• Галлюцинация (искусственный интеллект)
• Несогласованные цели в искусственном интеллекте
• Предиктивная полиция
• SenseTime

Дальнейшее чтение

• Баер, Тобиас (2019). Понимание, управление и предотвращение алгоритмической систематической ошибки: руководство для бизнес-пользователей и специалистов по данным . Нью-Йорк: Апресс. ISBN  9781484248843 .
• Благородный, Сафия Умоджа (2018). Алгоритмы угнетения: как поисковые системы усиливают расизм . Нью-Йорк: Издательство Нью-Йоркского университета. ISBN  9781479837243 .