Репрезентативный вред
Системы наносят репрезентативный вред , когда они искажают группу людей в негативном ключе. Репрезентативный вред включает в себя сохранение вредных стереотипов о или сведение к минимуму существования социальной группы, такой как расовая, этническая, гендерная или религиозная группа. [1] Алгоритмы машинного обучения часто наносят репрезентативный вред, когда они изучают шаблоны на основе данных, которые имеют алгоритмическую предвзятость , и это было показано в случае с большими языковыми моделями. [2] . Хотя предотвращение репрезентативного вреда в моделях имеет важное значение для предотвращения вредных предубеждений, исследователям часто не хватает точных определений репрезентативного вреда, и они смешивают его с аллокативным вредом , неравномерным распределением ресурсов между социальными группами, которое более широко изучается и легче измеряется. [1] Однако признание репрезентативного вреда растет, и его предотвращение стало активной областью исследований. Исследователи недавно разработали методы эффективной количественной оценки репрезентативного вреда в алгоритмах, добившись прогресса в предотвращении этого вреда в будущем. [3] [4]
Типы
[ редактировать ]Три известных типа репрезентативного вреда включают стереотипы, клевету и неправильное признание. [5] Эти подкатегории представляют множество опасностей для отдельных лиц и групп.
Стереотипы — это упрощенные и обычно нежелательные представления об определенной группе людей, обычно по расе и полу. Это часто приводит к отказу в образовании, трудоустройстве, жилье и других возможностях. [6] Например, модельный стереотип меньшинства об американцах азиатского происхождения как об очень умных и хорошо разбирающихся в математике людях может нанести вред как в профессиональном, так и в академическом плане. [7]
Клевета – это несправедливая критика отдельных лиц. Это часто происходит, когда происходит унижение социальных групп. [6] Например, при поиске имен, звучащих как черные, а не имен, звучащих как белые, некоторые поисковые системы усиливают ложное восприятие преступности, отображая рекламу компаний, занимающихся залогом. [8] Система может изменить представление группы в сторону более низкого социального статуса , что часто приводит к игнорированию со стороны общества. [6]
Нераспознавание или неправильное признание может проявляться во многих формах, включая, помимо прочего, стирание и отчуждение социальных групп, а также отказ людям в праве на самоидентификацию. [6] Стирание и отчуждение социальных групп предполагает неравную видимость определенных социальных групп; в частности, систематическое отсутствие права участвовать в алгоритмических системах увековечивает неравенство, способствуя недостаточной представленности социальных групп. [6] Не позволять людям самоидентифицироваться тесно связано с этим, поскольку в этих алгоритмах личность людей может быть «стерта» или «отчуждена». Непонимание причиняет людям больше, чем просто поверхностный вред: психологический вред , социальная изоляция и эмоциональная незащищенность могут возникнуть из этой подкатегории репрезентативного вреда. [6]
Количественная оценка
[ редактировать ]Поскольку опасности репрезентативного вреда стали лучше понимать, некоторые исследователи разработали методы измерения репрезентативного вреда с помощью алгоритмов.
Моделирование стереотипов — один из способов выявить репрезентативный вред. Репрезентативные стереотипы можно оценить количественно, сравнивая прогнозируемые результаты для одной социальной группы с реальными результатами для этой группы, наблюдаемыми в реальных данных. [3] Например, если люди из группы А достигают результата с вероятностью 60%, стереотипы будут наблюдаться, если они прогнозируют, что люди достигнут этого результата с вероятностью более 60%. [3] Группа смоделировала стереотипы в контексте задач классификации , регрессии и кластеризации и разработала набор правил для количественного определения, демонстрируют ли предсказания модели стереотипы в каждом из этих случаев. [ нужна ссылка ]
Другие попытки измерить репрезентативный вред были сосредоточены на применении алгоритмов в конкретных областях, таких как субтитры к изображениям , действие алгоритма, генерирующего краткое описание изображения. В исследовании подписей к изображениям исследователи измерили пять типов репрезентативного вреда. Чтобы количественно оценить стереотипы, они измерили количество неправильных слов, включенных в подпись к изображению, сгенерированную моделью, по сравнению с подписью «золотого стандарта» . [4] Они вручную просмотрели каждое из неправильно включенных слов, определяя, отражает ли неправильное слово стереотип, связанный с изображением, или это была несвязанная ошибка, что позволило им получить косвенную оценку количества стереотипов, возникающих при создании подписей. [4] Эти исследователи также попытались измерить унизительный репрезентативный вред. Чтобы измерить это, они проанализировали частоту, с которой люди на изображении упоминались в сгенерированной подписи. Была выдвинута гипотеза, что если в подписи не упоминаются личности, то это была форма дегуманизации . [4]
Примеры
[ редактировать ]Один из самых громких примеров репрезентативного вреда был совершен Google в 2015 году, когда алгоритм Google Photos классифицировал чернокожих людей как горилл. [9] Разработчики из Google заявили, что проблема возникла из-за того, что в наборе обучающих данных не было достаточно лиц чернокожих людей, чтобы алгоритм мог понять разницу между чернокожими людьми и гориллами. [10] Google принесла извинения и устранила проблему, заблокировав свои алгоритмы от классификации чего-либо как примата. [10] В 2023 году алгоритм фотографий Google все еще не мог идентифицировать горилл на фотографиях. [10]
Еще одним распространенным примером репрезентативного вреда является возможность кодирования стереотипов в встраиваниях слов , которые обучаются с использованием широкого спектра текста. Эти встраивания слов представляют собой представление слова в виде массива чисел в векторном пространстве , что позволяет человеку вычислять отношения и сходства между словами. [11] Однако недавние исследования показали, что эти встраивания слов обычно могут кодировать вредные стереотипы, такие как распространенный пример того, что фраза « программист » часто более тесно связана с «мужчиной», чем с «женщиной» в векторном пространстве. [12] Это можно было бы интерпретировать как искаженное представление о компьютерном программировании как профессии, которую лучше выполняют мужчины, что было бы примером репрезентативного вреда.
Ссылки
[ редактировать ]- ^ Jump up to: а б Блоджетт, Су Линь (6 апреля 2021 г.). Социолингвистически ориентированные подходы к обработке естественного языка . Докторские диссертации (Диссертация). дои : 10.7275/20410631 .
- ^ Ло, Ивэй; Глигорич, Кристина; Юрафски, Дэн (28 мая 2024 г.). «Другие и низкостатусные представления о кухне иммигрантов в обзорах ресторанов США и больших языковых моделях» . Материалы Международной конференции AAAI по Интернету и социальным сетям . 18 : 985–998. дои : 10.1609/icwsm.v18i1.31367 . ISSN 2334-0770 .
- ^ Jump up to: а б с Аббаси, Мохсен; Фридлер, Сорель; Шайдеггер, Карлос; Венкатасубраманиан, Суреш (28 января 2019 г.). «Справедливость в репрезентации: количественная оценка стереотипов как репрезентативного вреда». arXiv : 1901.09565 [ cs.LG ].
- ^ Jump up to: а б с д Ван, Анджелина; Барокас, Солон; Лэрд, Кристен; Уоллах, Ханна (20 июня 2022 г.). «Измерение репрезентативного вреда в подписях к изображениям» . Конференция ACM 2022 года по справедливости, подотчетности и прозрачности . ФАКТ '22. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 324–335. дои : 10.1145/3531146.3533099 . ISBN 978-1-4503-9352-2 . S2CID 249674329 .
- ^ Русанен, Анна-Мари; Нурминен, Юкка К. «Этика ИИ» . этика-ai.mooc.fi .
- ^ Jump up to: а б с д и ж Шелби, Рене; Рисмани, Шалале; Хенне, Кэтрин; Мун, А. Юнг; Ростамзаде, Негар; Николас, Пол; Йилла-Акбари, Н'Ма; Гальегос, Джесс; Умный, Эндрю; Гарсия, Эмилио; Вирк, Гурлин (29 августа 2023 г.). «Социотехнический вред алгоритмических систем: определение таксономии для снижения вреда» . Материалы конференции AAAI/ACM 2023 года по искусственному интеллекту, этике и обществу . АИС '23. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 723–741. дои : 10.1145/3600211.3604673 . ISBN 979-8-4007-0231-0 . S2CID 256697294 .
- ^ Триттен, Дебора А.; Лоу, Анна Вонг; Уолден, Сьюзен Э. (2 января 2013 г.). « Азиаты хороши в математике. Какой ужасный стереотип «Влияние образцового стереотипа меньшинства на американских студентов-инженеров азиатского происхождения» . Журнал инженерного образования . 101 (3): 439–468. дои : 10.1002/j.2168-9830.2012.tb00057.x . ISSN 1069-4730 . S2CID 144783391 .
- ^ Суини, Латанья (01 марта 2013 г.). «Дискриминация при доставке онлайн-рекламы: реклама Google, черные и белые имена, расовая дискриминация и клик-реклама» . Очередь . 11 (3): 10–29. arXiv : 1301.6822 . дои : 10.1145/2460276.2460278 . ISSN 1542-7730 . S2CID 35894627 .
- ^ «Google приносит извинения за расистскую ошибку в приложении «Фото»» . Новости Би-би-си . 01.07.2015 . Проверено 6 декабря 2023 г.
- ^ Jump up to: а б с Грант, Нико; Хилл (22 мая 2023 г.). «Приложение Google Photo до сих пор не может найти горилл. И Apple тоже » Нью-Йорк Таймс . Проверено 5 декабря 2023 г.
- ^ Майор Винсент; Суркис, Алиса; Афиньянафонгс, Индалон (2018). «Полезность общих и конкретных вложений слов для классификации этапов перевода» . AMIA ... Материалы ежегодного симпозиума. Симпозиум АМИА . 2018 : 1405–1414. ISSN 1942-597Х . ПМК 6371342 . ПМИД 30815185 .
- ^ Болукбаши, Толга; Чанг, Кай-Вэй; Цзоу, Джеймс; Салиграма, Венкатеш; Калаи, Адам (21 июля 2016 г.). «Мужчина для программиста, как женщина для домохозяйки? Устранение предвзятости встраивания слов». arXiv : 1607.06520 [ cs.CL ].