Справедливость (машинное обучение)

Справедливость в машинном обучении относится к различным попыткам исправить алгоритмическую предвзятость в автоматизированных процессах принятия решений, основанных на моделях машинного обучения. Решения, принимаемые компьютерами после процесса машинного обучения, могут считаться несправедливыми, если они основаны на переменных, считающихся конфиденциальными. Например , пол , этническая принадлежность , сексуальная ориентация или инвалидность . Как и в случае со многими этическими концепциями, определения справедливости и предвзятости всегда противоречивы. В целом, справедливость и предвзятость считаются актуальными, когда процесс принятия решений влияет на жизнь людей. В машинном обучении проблема алгоритмической предвзятости хорошо известна и хорошо изучена. Результаты могут быть искажены рядом факторов и, таким образом, могут считаться несправедливыми по отношению к определенным группам или отдельным лицам. Примером может служить то, как сайты социальных сетей доставляют потребителю персонализированные новости.

Контекст

Дискуссия о справедливости в машинном обучении — относительно недавняя тема. С 2016 года наблюдается резкий рост исследований по этой теме. Это увеличение можно частично объяснить влиятельным отчетом ProPublica , в котором утверждается, что программное обеспечение COMPAS , широко используемое в судах США для прогнозирования рецидивов , имеет расовую предвзятость. Одной из тем исследований и дискуссий является определение справедливости, поскольку универсального определения не существует, а разные определения могут противоречить друг другу, что затрудняет оценку моделей машинного обучения. Другие темы исследований включают происхождение предвзятости, типы предвзятости и методы уменьшения предвзятости.

В последние годы технологические компании разработали инструменты и руководства о том, как обнаружить и уменьшить предвзятость в машинном обучении. У IBM есть инструменты для Python и R с несколькими алгоритмами, позволяющими уменьшить предвзятость программного обеспечения и повысить его справедливость. Google опубликовал рекомендации и инструменты для изучения и борьбы с предвзятостью в машинном обучении. Facebook сообщил, что использует инструмент Fairness Flow для выявления предвзятости в своем ИИ . Однако критики утверждают, что усилия компании недостаточны, сообщая о том, что этот инструмент мало используется сотрудниками, поскольку его нельзя использовать для всех их программ, и даже если это возможно, использование инструмента не является обязательным.

Важно отметить, что дискуссия о количественных способах проверки справедливости и несправедливой дискриминации в процессе принятия решений на несколько десятилетий предшествует довольно недавним дебатам о справедливости в машинном обучении. Фактически, живое обсуждение этой темы в научном сообществе процветало в середине 1960-х и 1970-х годов , главным образом, в результате американского движения за гражданские права и, в частности, принятия в США Закона о гражданских правах 1964 года . Однако к концу 1970 -х годов дебаты в значительной степени исчезли, поскольку различные, а иногда и конкурирующие понятия справедливости оставляли мало места для ясности в отношении того, когда одно понятие справедливости может быть предпочтительнее другого.

Языковая

Языковая предвзятость — это тип статистической систематической ошибки выборки, связанной с языком запроса, которая приводит к «систематическому отклонению в выборочной информации, которое не позволяет ей точно отражать истинное освещение тем и мнений, доступных в их репозитории». Луо и др. показывают, что современные большие языковые модели, поскольку они преимущественно обучены на англоязычных данных, часто представляют англо-американские взгляды как истину, в то же время систематически преуменьшая неанглоязычные точки зрения как неуместные, неправильные или бесполезные. Когда его спрашивают о политических идеологиях, например «Что такое либерализм?», ChatGPT, поскольку он был обучен на англоориентированных данных, описывает либерализм с англо-американской точки зрения, подчеркивая аспекты прав человека и равенства, в то время как столь же важные аспекты, такие как «противостоят государству». вмешательство в личную и экономическую жизнь» с доминирующей вьетнамской точки зрения и «ограничение государственной власти» с преобладающей китайской точки зрения отсутствуют. Аналогично, в ответах ChatGPT отсутствуют другие политические взгляды, заложенные в японских, корейских, французских и немецких корпорациях. ChatGPT, позиционирующий себя как многоязычный чат-бот, на самом деле по большей части «слеп» к неанглоязычным точкам зрения.

предвзятость

Гендерная предвзятость означает тенденцию этих моделей давать результаты, которые несправедливо предвзято относятся к одному полу по сравнению с другим. Эта предвзятость обычно возникает из-за данных, на которых обучаются эти модели. Например, большие языковые модели часто назначают роли и характеристики на основе традиционных гендерных норм; оно может ассоциировать медсестер или секретарей преимущественно с женщинами, а инженеров или руководителей — с мужчинами.

предвзятость

Политическая предвзятость означает тенденцию алгоритмов систематически отдавать предпочтение определенным политическим точкам зрения, идеологиям или результатам над другими. Языковые модели могут также проявлять политическую предвзятость. Поскольку данные обучения включают в себя широкий спектр политических взглядов и охвата, модели могут генерировать ответы, склоняющиеся к конкретным политическим идеологиям или точкам зрения, в зависимости от преобладания этих взглядов в данных.

Споры

Основная статья: Алгоритмическая предвзятость § Влияние

Использование алгоритмического принятия решений в правовой системе было заметной областью применения, находящейся под пристальным вниманием. В 2014 году тогдашний генеральный прокурор США Эрик Холдер выразил обеспокоенность тем, что методы «оценки риска» могут уделять чрезмерное внимание факторам, не находящимся под контролем обвиняемого, таким как его уровень образования или социально-экономическое положение. В отчете ProPublica о COMPAS за 2016 год утверждалось, что чернокожие обвиняемые почти в два раза чаще были ошибочно отнесены к группе повышенного риска, чем белые обвиняемые, в то время как с белыми обвиняемыми они допускали противоположную ошибку. Создатель COMPAS , компания Northepointe Inc., оспорила отчет, заявив, что их инструмент является справедливым, а ProPublica допустила статистические ошибки. что впоследствии было снова опровергнуто ProPublica.

Расовая и гендерная предвзятость также была отмечена в алгоритмах распознавания изображений. Было обнаружено, что обнаружение лиц и движений в камерах игнорирует или неправильно маркирует выражения лиц небелых объектов. В 2015 году было обнаружено, что функция автоматической пометки в Flickr и Google Photos позволяет помечать чернокожих людей такими тегами, как «животное» и «горилла». Было обнаружено, что международный конкурс красоты 2016 года, оцениваемый алгоритмом искусственного интеллекта, был ориентирован на людей со светлой кожей, вероятно, из-за предвзятости в тренировочных данных. Исследование трех коммерческих алгоритмов гендерной классификации в 2018 году показало, что все три алгоритма в целом были наиболее точными при классификации светлокожих мужчин и худшими при классификации темнокожих женщин. В 2020 году было показано, что инструмент обрезки изображений из Твиттера предпочитает лица со светлой кожей. DALL-E , модель машинного обучения для преобразования текста в изображение, выпущенная в 2021 году, склонна создавать расистские и сексистские образы, которые укрепляют социальные стереотипы, что признали ее создатели.

Другие области, в которых используются алгоритмы машинного обучения, которые оказались предвзятыми, включают заявки на работу и кредит. Amazon использовал программное обеспечение для проверки заявлений о приеме на работу, содержащих сексистский характер, например, наказывая резюме, в которых содержалось слово «женщины». В 2019 году Apple алгоритм для определения лимитов кредитных карт для их новой Apple Card предоставил мужчинам значительно более высокие лимиты, чем женщинам, даже для пар, которые делили свои финансы. за 2021 год , алгоритмы одобрения ипотеки, используемые в США, с большей вероятностью отклонят заявки небелых заявителей Согласно отчету The Markup .

Ограничения

Основная статья: Алгоритмическая предвзятость § Препятствия для исследований

Недавние работы подчеркивают наличие нескольких ограничений в нынешней ситуации справедливости в машинном обучении, особенно когда речь идет о том, что реально достижимо в этом отношении в постоянно растущих реальных приложениях ИИ. Например, математический и количественный подход к формализации справедливости и связанные с ним подходы «устранения предвзятости» могут опираться на слишком упрощенные и легко упускаемые из виду предположения, такие как категоризация людей на заранее определенные социальные группы. Другими деликатными аспектами являются, например, взаимодействие нескольких чувственных характеристик, и отсутствие четкого и общепринятого философского и/или правового понятия недискриминации.

Критерии групповой справедливости

В задачах классификации алгоритм изучает функцию для прогнозирования дискретной характеристики. ${\textstyle Y}$, целевая переменная, по известным характеристикам ${\textstyle X}$. Мы моделируем ${\textstyle A}$ как дискретная случайная величина , которая кодирует некоторые характеристики, содержащиеся или неявно закодированные в ${\textstyle X}$ которые мы считаем чувствительными характеристиками (пол, этническая принадлежность, сексуальная ориентация и т. д.). Наконец, мы обозначим через ${\textstyle R}$ предсказание классификатора .Теперь давайте определим три основных критерия для оценки того, является ли данный классификатор справедливым, то есть не влияют ли на его прогнозы некоторые из этих чувствительных переменных.

Независимость

Мы говорим случайные величины ${\textstyle (R,A)}$ удовлетворяют независимости, если чувствительные характеристики ${\textstyle A}$ от статистически независимы прогноза ${\textstyle R}$, и мы пишем

$$R\bot A.$$

Мы также можем выразить это понятие следующей формулой:

$$P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A$$

Это означает, что степень классификации для каждого целевого класса одинакова для людей, принадлежащих к разным группам по чувствительным характеристикам. $A$.

Еще одно эквивалентное выражение независимости можно дать, используя концепцию взаимной информации между случайными величинами , определяемую как

$$I(X,Y)=H(X)+H(Y)-H(X,Y)$$

В этой формуле ${\textstyle H(X)}$ - энтропия величины случайной $X$. Затем ${\textstyle (R,A)}$ удовлетворить независимость, если ${\textstyle I(R,A)=0}$.

Возможное смягчение определения независимости включает введение положительного резерва ${\textstyle \epsilon >0}$ и определяется формулой:

$$P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A$$

Наконец, еще одно возможное послабление состоит в том, чтобы потребовать ${\textstyle I(R,A)\leq \epsilon }$.

Разделение

Мы говорим случайные величины ${\textstyle (R,A,Y)}$ удовлетворяют разделению, если чувствительные характеристики ${\textstyle A}$ от статистически независимы прогноза ${\textstyle R}$ с учетом целевого значения ${\textstyle Y}$, и мы пишем

$$R\bot A\ |\ Y.$$

Мы также можем выразить это понятие следующей формулой:

$$P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A$$

Это означает, что вся зависимость решения $R$ по чувствительному атрибуту $A$ должно быть обосновано фактической зависимостью истинной целевой переменной $Y$.

Другое эквивалентное выражение в случае бинарного целевого показателя заключается в том, что истинно положительный уровень и уровень ложноположительного результата равны (и, следовательно, уровень ложноотрицательного результата и истинно отрицательный уровень равны) для каждого значения чувствительных характеристик:

$$P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A$$

$$P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A$$

Возможное смягчение данных определений состоит в том, чтобы позволить значению разницы между ставками быть положительным числом ниже заданного резерва. ${\textstyle \epsilon >0}$, а не равен нулю.

В некоторых полях разделение (коэффициент разделения) в матрице путаницы является мерой расстояния (на заданном уровне оценки вероятности) между предсказанным совокупным отрицательным процентом и предсказанным совокупным положительным процентом.

Чем больше этот коэффициент разделения при заданном значении оценки, тем эффективнее модель различает набор положительных и отрицательных значений при определенном предельном значении вероятности. По словам Мэйса: «В кредитной отрасли часто наблюдается, что выбор мер проверки зависит от подхода к моделированию. Например, если процедура моделирования является параметрической или полупараметрической, часто используется двухвыборочный тест KS . Если модель получена с помощью В эвристических или итеративных методах поиска мерой эффективности модели обычно является дивергенция . Третий вариант — это коэффициент разделения... Коэффициент разделения по сравнению с двумя другими методами кажется наиболее разумным в качестве меры производительности модели, поскольку. это отражает структуру разделения модели».

Достаточность

Мы говорим случайные величины ${\textstyle (R,A,Y)}$ удовлетворяют достаточности, если чувствительные характеристики ${\textstyle A}$ от статистически независимы целевого значения ${\textstyle Y}$ учитывая прогноз ${\textstyle R}$, и мы пишем

$$Y\bot A\ |\ R.$$

Мы также можем выразить это понятие следующей формулой:

$$P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A$$

Это означает, что вероятность фактического попадания в каждую из групп одинакова для двух индивидов с разными чувствительными характеристиками при условии, что они были предсказаны как принадлежащие к одной и той же группе.

Отношения между определениями

Наконец, мы суммируем некоторые основные результаты, которые связывают три определения, данные выше:

• Предполагая ${\textstyle Y}$ является двоичным, если ${\textstyle A}$ и ${\textstyle Y}$ не являются статистически независимыми и ${\textstyle R}$ и ${\textstyle Y}$ также не являются статистически независимыми , то независимость и разделение не могут одновременно иметь место, за исключением риторических случаев.
• Если ${\textstyle (R,A,Y)}$ поскольку совместное распределение имеет положительную вероятность для всех возможных значений и ${\textstyle A}$ и ${\textstyle Y}$ не являются статистически независимыми , то разделение и достаточность не могут одновременно иметь место, за исключением риторических случаев.

Это называется полной справедливостью, когда независимость, разделение и достаточность соблюдаются одновременно. Однако полной справедливости невозможно достичь, за исключением особых риторических случаев.

формулировка определений

Предварительные определения

Основная статья: Матрица путаницы

Большинство статистических показателей справедливости основаны на различных показателях, поэтому мы начнем с их определения. При работе с бинарным классификатором как прогнозируемый, так и фактический классы могут принимать два значения: положительное и отрицательное. Теперь давайте начнем объяснять различные возможные отношения между прогнозируемым и фактическим результатом:

Матрица путаницы

• Истинно положительный результат (TP) : случай, когда и прогнозируемый, и фактический результат относятся к положительному классу.
• Истинно отрицательный (TN) : случай, когда и прогнозируемый, и фактический результат относятся к отрицательному классу.
• Ложноположительный результат (FP) : случай, который, по прогнозам, попадет в положительный класс, назначенный в фактическом исходе, относится к отрицательному.
• Ложноотрицательный (FN) : случай, который, по прогнозам, относится к отрицательному классу, а фактический результат относится к положительному.

Эти отношения можно легко представить с помощью матрицы путаницы — таблицы, описывающей точность модели классификации. В этой матрице столбцы и строки представляют собой экземпляры прогнозируемого и фактического случаев соответственно.

Используя эти отношения, мы можем определить несколько показателей, которые позже можно использовать для измерения справедливости алгоритма:

• Положительное прогнозируемое значение (PPV) : доля положительных случаев, которые были правильно предсказаны, среди всех положительных прогнозов. Обычно ее называют точностью и она представляет собой вероятность правильного положительного прогноза. Оно задается следующей формулой:
  $$PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}$$
• Уровень ложных открытий (FDR) : доля положительных прогнозов, которые на самом деле были отрицательными, среди всех положительных прогнозов. Он представляет собой вероятность ошибочного положительного прогноза и определяется следующей формулой:
  $$FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}$$
• Отрицательное прогнозируемое значение (NPV) : доля отрицательных случаев, которые были правильно предсказаны, среди всех отрицательных прогнозов. Он представляет собой вероятность правильного отрицательного прогноза и определяется следующей формулой:
  $$NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}$$
• Коэффициент ложных пропусков (FOR) : доля отрицательных прогнозов, которые на самом деле были положительными, среди всех отрицательных прогнозов. Он представляет собой вероятность ошибочного отрицательного прогноза и определяется следующей формулой:
  $$FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}$$
• Истинно положительный показатель (TPR) : доля правильно предсказанных положительных случаев среди всех положительных случаев. Обычно его называют чувствительностью или припоминанием, и он отражает вероятность того , что положительные субъекты будут правильно классифицированы как таковые. Оно задается формулой:
  $$TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}$$
• Доля ложноотрицательных результатов (FNR) : доля положительных случаев, которые были ошибочно предсказаны как отрицательные, среди всех положительных случаев. Он представляет собой вероятность того, что положительные субъекты будут ошибочно классифицированы как отрицательные, и определяется формулой:
  $$FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}$$
• Доля истинно отрицательных результатов (TNR) : доля правильно предсказанных отрицательных случаев среди всех отрицательных случаев. Он представляет собой вероятность того, что отрицательные субъекты будут правильно классифицированы как таковые, и определяется по формуле:
  $$TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}$$
• Уровень ложноположительных результатов (FPR) : доля отрицательных случаев, которые были ошибочно предсказаны как положительные, среди всех отрицательных случаев. Он представляет собой вероятность того, что отрицательные субъекты будут ошибочно классифицированы как положительные, и определяется формулой:
  $$FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}$$

Взаимосвязь между критериями справедливости, как показано в Barocas et al.

Следующие критерии можно понимать как меры трех общих определений, данных в начале этого раздела, а именно независимости , разделения и достаточности . В таблице справа мы можем видеть отношения между ними.

Чтобы конкретно определить эти меры, мы разделим их на три большие группы, как это сделано в Verma et al.: определения, основанные на прогнозируемом результате, на прогнозируемых и фактических результатах, а также определения, основанные на прогнозируемых вероятностях и фактическом результате.

Мы будем работать с двоичным классификатором и следующими обозначениями: ${\textstyle S}$ относится к баллу, присвоенному классификатором, который представляет собой вероятность того, что определенный субъект окажется в положительном или отрицательном классе. ${\textstyle R}$ представляет окончательную классификацию, предсказанную алгоритмом, и ее значение обычно получается из ${\textstyle S}$, например, будет положительным, когда ${\textstyle S}$ превышает определенный порог. ${\textstyle Y}$ представляет действительный результат, то есть реальную классификацию личности и, наконец, ${\textstyle A}$ обозначает чувствительные атрибуты субъектов.

основанные на прогнозируемом

Определения в этом разделе ориентированы на прогнозируемый результат. ${\textstyle R}$ для различных распределений предметов. Это самые простые и интуитивно понятные понятия справедливости.

• Демографический паритет , также называемый статистическим паритетом , паритетом приемлемости и бенчмаркингом . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют равную вероятность быть отнесены к положительно предсказанному классу. Это если выполняется следующая формула:
  $$P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A$$
• Условный статистический паритет . В основном состоит из приведенного выше определения, но ограничивается только подмножеством экземпляров . В математической записи это будет:
  $$P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L$$

основанные на прогнозируемых и фактических

Эти определения учитывают не только прогнозируемый результат ${\textstyle R}$ но и сравнить его с фактическим результатом ${\textstyle Y}$.

• Прогнозируемая четность , также называемая проверкой результатов . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют одинаковое PPV. Это если выполняется следующая формула:
  $$P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A$$

Математически, если классификатор имеет одинаковую PPV для обеих групп, он также будет иметь равный FDR, удовлетворяя формуле:

$$P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A$$

• Ложноположительный баланс частоты ошибок , также называемый прогнозирующим равенством . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют равный FPR. Это если выполняется следующая формула:
  $$P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A$$

Математически, если классификатор имеет одинаковое FPR для обеих групп, он также будет иметь одинаковое TNR, удовлетворяющее формуле:

$$P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A$$

• Ложноотрицательный баланс частоты ошибок , также называемый равными возможностями . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют одинаковый FNR. Это если выполняется следующая формула:
  $$P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A$$

Математически, если классификатор имеет одинаковое FNR для обеих групп, он также будет иметь одинаковое TPR, удовлетворяющее формуле:

$$P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A$$

• Уравненные шансы , также называемые условной процедурой равенства точности и несопоставимого плохого обращения . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют равные TPR и равные FPR, удовлетворяя формуле:
  $$P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$$
• Условное использование равенства точности . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют равные PPV и равные NPV, удовлетворяющие формуле:
  $$P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$$
• Общее равенство точности . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют одинаковую точность прогнозирования, то есть вероятность того, что субъект из одного класса будет отнесен к нему. Это если он удовлетворяет следующей формуле:
  $$P(R=Y\ |\ A=a)=P(R=Y\ |\ A=b)\quad \forall a,b\in A$$
• Равенство обращения . Классификатор удовлетворяет этому определению, если субъекты в защищенной и незащищенной группах имеют равное соотношение FN и FP, удовлетворяющее формуле:
  $${\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}$$

основанные на прогнозируемых вероятностях и фактическом

Эти определения основаны на фактических результатах ${\textstyle Y}$ и прогнозируемая оценка вероятности ${\textstyle S}$.

• Проверка честности , также известная как калибровка или сопоставление условных частот . Классификатор удовлетворяет этому определению, если люди с одинаковым прогнозируемым показателем вероятности ${\textstyle S}$ имеют одинаковую вероятность быть отнесены к положительному классу, когда они принадлежат как к защищенной, так и к незащищенной группе:
  $$P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A$$
• Калибровка скважины является расширением предыдущего определения. В нем говорится, что когда люди внутри или за пределами защищенной группы имеют одинаковую прогнозируемую оценку вероятности ${\textstyle S}$ они должны иметь одинаковую вероятность быть отнесенными к положительному классу, и эта вероятность должна быть равна ${\textstyle S}$:
  $$P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A$$
• Баланс для положительного класса . Классификатор удовлетворяет этому определению, если субъекты, составляющие положительный класс как из защищенных, так и из незащищенных групп, имеют одинаковый средний показатель прогнозируемой вероятности. ${\textstyle S}$. Это означает, что ожидаемое значение оценки вероятности для защищенных и незащищенных групп с положительным фактическим результатом ${\textstyle Y}$ то же самое, удовлетворяющее формуле:
  $$E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A$$
• Баланс для отрицательного класса . Классификатор удовлетворяет этому определению, если субъекты, составляющие отрицательный класс как из защищенных, так и из незащищенных групп, имеют одинаковый средний показатель прогнозируемой вероятности. ${\textstyle S}$. Это означает, что ожидаемое значение показателя вероятности для защищенных и незащищенных групп с отрицательным фактическим результатом ${\textstyle Y}$ то же самое, удовлетворяющее формуле:
  $$E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A$$

Равная

Что касается матриц неточностей , независимость, разделение и достаточность требуют, чтобы соответствующие величины, перечисленные ниже, не имели статистически значимых различий по чувствительным характеристикам.

• Независимость: (TP+FP)/(TP+FP+FN+TN) (т.е. $P({\hat {Y}}=1)$).
• Разделение: ТН/(ТН+ФП) и ТП/(ТП+ФН) (т.е. специфичность $P({\hat {Y}}=0\mid Y=0)$ и вспомнить $P({\hat {Y}}=1\mid Y=1)$).
• Достаточность: TP/(TP+FP) и TN/(TN+FN) (т.е. точность $P(Y=1\mid {\hat {Y}}=1)$ и отрицательная прогностическая ценность $P(Y=0\mid {\hat {Y}}=0)$).

Понятие равной путаницы, справедливости требует, чтобы матрица путаницы данной системы принятия решений имела одинаковое распределение при вычислении, стратифицированное по всем чувствительным характеристикам.

обеспечения

Некоторые ученые предложили определять алгоритмическую справедливость с точки зрения функции социального благосостояния . Они утверждают, что использование функции социального благосостояния позволяет разработчику алгоритма учитывать справедливость и точность прогнозирования с точки зрения их выгоды для людей, на которых влияет алгоритм. Это также позволяет дизайнеру сочетать эффективность и справедливость. принципиально Сендхил Муллайнатан заявил, что разработчики алгоритмов должны использовать функции социального обеспечения, чтобы распознавать абсолютные выгоды для обездоленных групп. Например, исследование показало, что использование алгоритма принятия решений в предварительном заключении, а не чисто человеческого суждения, снизило количество задержанных чернокожих, латиноамериканцев и расовых меньшинств в целом, даже при сохранении постоянного уровня преступности.

Индивидуальные

Важным различием между определениями справедливости является различие между групповыми и индивидуальными понятиями. Грубо говоря, в то время как групповые критерии справедливости сравнивают количества на уровне группы, обычно определяемые по чувствительным атрибутам (например, полу, этнической принадлежности, возрасту и т. д.), индивидуальные критерии сравнивают отдельных лиц. Другими словами, индивидуальная справедливость следует принципу, согласно которому «похожие люди должны получать одинаковое обращение».

Существует очень интуитивный подход к справедливости, который обычно называется « справедливость через неосведомленность» ( FTU ) или «слепота» , который предписывает не использовать явным образом чувствительные функции при принятии (автоматизированных) решений. По сути, это понятие индивидуальной справедливости, поскольку два человека, различающиеся только ценностью своих чувствительных качеств, получат одинаковый результат.

Однако в целом FTU имеет ряд недостатков, главный из которых заключается в том, что он не учитывает возможные корреляции между чувствительными и нечувствительными атрибутами, используемыми в процессе принятия решений. Например, агент с (злокачественным) намерением проводить дискриминацию по признаку пола может ввести в модель прокси-переменную для пола (т. е. переменную, сильно коррелирующую с полом) и эффективно использовать гендерную информацию, в то же время соблюдая требования рецепт ФТУ.

Вопрос о том, какие переменные, коррелирующие с конфиденциальными, могут быть достаточно использованы моделью в процессе принятия решений, является решающим и актуален для групповых концепций также : метрики независимости требуют полного удаления конфиденциальной информации, тогда как метрики, основанные на разделении допускайте корреляцию, но только в той степени, в которой помеченная целевая переменная «оправдывает» их.

Наиболее общая концепция индивидуальной справедливости была представлена ​​в новаторской работе Синтии Дворк и ее соавторов в 2012 году. и его можно рассматривать как математический перевод принципа, согласно которому карта решений, принимающая характеристики в качестве входных данных, должна быть построена таким образом, чтобы она могла «аналогично отображать сходных людей», что выражается как условие Липшица на карте модели. Они называют этот подход «справедливостью через осведомленность » ( FTA ) именно в качестве противовеса FTU, поскольку они подчеркивают важность выбора подходящего показателя расстояния, связанного с целью, чтобы оценить, какие люди похожи в конкретных ситуациях. Опять же, эта проблема во многом связана с поднятым выше вопросом о том, какие переменные можно считать «законными» в определенных контекстах.

Метрики, основанные на причинно-следственной связи

Причинная справедливость измеряет частоту, с которой два почти идентичных пользователя или приложения, различающиеся только набором характеристик, в отношении которых распределение ресурсов должно быть справедливым, получают одинаковое обращение.

Целая отрасль академических исследований показателей справедливости посвящена использованию причинно-следственных моделей для оценки предвзятости в моделях машинного обучения . Этот подход обычно оправдывается тем фактом, что одно и то же распределение данных наблюдений может скрывать различные причинно-следственные связи между действующими переменными, возможно, с разными интерпретациями того, влияет ли на результат какая-либо форма систематической ошибки или нет.

Куснер и др. предложить использовать контрфактические ситуации и определить процесс принятия решений как контрфактически справедливый , если для любого человека результат не меняется в контрфактическом сценарии, в котором изменяются чувствительные атрибуты. Математическая формулировка гласит:

$P(R_{A\leftarrow a}=1\mid A=a,X=x)=P(R_{A\leftarrow b}=1\mid A=a,X=x),\quad \forall a,b;$

то есть: взят случайный человек с чувствительным атрибутом $A=a$ и другие особенности $X=x$ и тот же человек, если бы она имела $A=b$, они должны иметь одинаковые шансы быть принятыми.Символ ${\hat {R}}_{A\leftarrow a}$ представляет собой контрфактическую случайную величину $R$ в сценарии, где конфиденциальный атрибут $A$ фиксируется на $A=a$. Кондиционирование включено $A=a,X=x$ означает, что это требование действует на индивидуальном уровне, поскольку мы обуславливаем все переменные, определяющие одно наблюдение.

Модели машинного обучения часто обучаются на данных, результат которых зависит от решения, принятого в тот момент. Например, если модель машинного обучения должна определить, произойдет ли рецидив у заключенного, и определить, следует ли его освободить досрочно, результат может зависеть от того, был ли заключенный освобожден досрочно или нет. Мишлер и др. предложить формулу для контрфактического уравнивания шансов:

$P(R=1\mid Y^{0}=0,A=a)=P(R=1\mid Y^{0}=0,A=b)\wedge P(R=0\mid Y^{1}=1,A=a)=P(R=0\mid Y^{1}=1,A=b),\quad \forall a,b;$

где $R$ является случайной величиной, $Y^{x}$ обозначает результат при условии, что решение $x$ был взят, и $A$ это чувствительная функция.

Плечко и Барейнбойм предложить единую структуру для проведения причинно-следственного анализа справедливости. Они предлагают использовать Стандартную модель справедливости , состоящую из причинно-следственного графа с 4 типами переменных:

• конфиденциальные атрибуты ( $A$),
• целевая переменная ( $Y$),
• посредники ( $W$) между $A$ и $Y$, представляющий возможное косвенное влияние чувствительных атрибутов на результат,
• переменные, возможно, имеющие общую причину с $A$ ( $Z$), представляющий возможные ложные (т. е. не причинные) эффекты чувствительных атрибутов на результат.

В этой связи Плечко и Барейнбойм Таким образом, они могут классифицировать возможные эффекты, которые чувствительные атрибуты могут оказать на результат. Более того, степень детализации, с которой измеряются эти эффекты, а именно, обусловливающие переменные, используемые для усреднения эффекта, напрямую связана с аспектом оценки справедливости «индивидуальный и групповой».

Стратегии

Справедливость можно применять к алгоритмам машинного обучения тремя различными способами: предварительная обработка данных , оптимизация во время обучения программного обеспечения или результаты постобработки алгоритма.

Предварительная обработка

Обычно классификатор — не единственная проблема; набор данных также является предвзятым. Дискриминация набора данных ${\textstyle D}$ по отношению к группе ${\textstyle A=a}$ можно определить следующим образом:

$$disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}$$

То есть аппроксимация разницы между вероятностями принадлежности к положительному классу при условии, что субъект имеет защищенную характеристику, отличную от ${\textstyle a}$ и равен ${\textstyle a}$.

Алгоритмы, исправляющие предвзятость при предварительной обработке, удаляют информацию о переменных набора данных, которая может привести к несправедливым решениям, пытаясь при этом изменить как можно меньше. Это не так просто, как просто удалить конфиденциальную переменную, поскольку с защищенной можно сопоставить другие атрибуты.

Способ сделать это — сопоставить каждого человека в исходном наборе данных с промежуточным представлением, в котором невозможно определить, принадлежит ли он к определенной защищенной группе, сохраняя при этом как можно больше информации. Затем новое представление данных корректируется для достижения максимальной точности алгоритма.

Таким образом, отдельные лица отображаются в новом многопараметрическом представлении, где вероятность того, что любой член защищенной группы будет сопоставлен с определенным значением в новом представлении, такая же, как вероятность того, что человек не принадлежит к защищенной группе. . Затем это представление используется для получения прогноза для человека вместо исходных данных. Поскольку промежуточное представление построено так, что дает одинаковую вероятность лицам внутри и за пределами защищенной группы, этот атрибут скрыт для классификатора.

Пример поясняется Zemel et al. где полиномиальная случайная величина в качестве промежуточного представления используется . При этом системе рекомендуется сохранять всю информацию, кроме той, которая может привести к необъективным решениям, и получать максимально точный прогноз.

С одной стороны, эта процедура имеет то преимущество, что предварительно обработанные данные можно использовать для любой задачи машинного обучения. Более того, классификатор не нужно модифицировать, поскольку коррекция применяется к набору данных перед обработкой. С другой стороны, другие методы дают лучшие результаты в плане точности и справедливости.

Повторное взвешивание

Повторное взвешивание является примером алгоритма предварительной обработки. Идея состоит в том, чтобы присвоить вес каждой точке набора данных так, чтобы взвешенная дискриминация была равна 0 по отношению к назначенной группе.

Если набор данных ${\textstyle D}$ была несмещенной чувствительная переменная ${\textstyle A}$ и целевая переменная ${\textstyle Y}$ будет статистически независимым , а вероятность совместного распределения будет произведением следующих вероятностей:

$$P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}$$

В действительности, однако, набор данных не является объективным, а переменные не являются статистически независимыми , поэтому наблюдаемая вероятность равна:

$$P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}$$

Чтобы компенсировать смещение, программа добавляет вес : меньший для предпочтительных объектов и более высокий для неблагоприятных объектов. Для каждого ${\textstyle X\in D}$ мы получаем:

$$W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}$$

Когда у нас есть для каждого ${\textstyle X}$ вес, связанный ${\textstyle W(X)}$ мы вычисляем взвешенную дискриминацию по отношению к группе ${\textstyle A=a}$ следующее:

$$disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}$$

Можно показать, что после повторного взвешивания эта взвешенная дискриминация равна 0.

В обработке

Другой подход заключается в исправлении систематической ошибки во время обучения. Это можно сделать, добавив ограничения к цели оптимизации алгоритма. Эти ограничения вынуждают алгоритм повышать справедливость, сохраняя одинаковые показатели определенных мер для защищенной группы и остальных лиц. Например, мы можем добавить к цели алгоритма условие , что уровень ложных срабатываний одинаков для лиц, входящих в защищенную группу, и лиц, находящихся за ее пределами.

Основными показателями, используемыми в этом подходе, являются уровень ложноположительных результатов, уровень ложноотрицательных результатов и общий уровень ошибочной классификации. К цели алгоритма можно добавить только одно или несколько таких ограничений. Обратите внимание, что равенство ложноотрицательных показателей подразумевает равенство истинно положительных показателей, а это означает равенство возможностей. После добавления ограничений к проблеме она может стать неразрешимой, поэтому может потребоваться их послабление.

Состязательное искажение

Мы обучаем два классификатора одновременно с помощью некоторого метода, основанного на градиенте (например: градиентный спуск ). Во-первых, предиктор пытается выполнить задачу прогнозирования. ${\textstyle Y}$, целевая переменная, заданная ${\textstyle X}$, входные данные, изменяя его веса ${\textstyle W}$ минимизировать некоторую функцию потерь ${\textstyle L_{P}({\hat {y}},y)}$. Во втором случае противник пытается выполнить задачу прогнозирования ${\textstyle A}$, чувствительная переменная, заданная ${\textstyle {\hat {Y}}}$ путем изменения его весов ${\textstyle U}$ минимизировать некоторую функцию потерь ${\textstyle L_{A}({\hat {a}},a)}$. Важным моментом здесь является то, что для правильного размножения необходимо ${\textstyle {\hat {Y}}}$ вышеизложенное должно относиться к необработанным выводам классификатора, а не к дискретному прогнозу; например, с искусственной нейронной сетью и задачей классификации, ${\textstyle {\hat {Y}}}$ может относиться к выходным данным слоя softmax .

Затем мы обновляем ${\textstyle U}$ минимизировать ${\textstyle L_{A}}$ на каждом этапе обучения в соответствии с градиентом ${\textstyle \nabla _{U}L_{A}}$ и мы модифицируем ${\textstyle W}$ по выражению:

$$\nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}$$

где $\alpha$ — это настраиваемый гиперпараметр , который может меняться на каждом временном шаге.

Графическое представление векторов, используемых при состязательном снижении предвзятости, как показано в Zhang et al.

Интуитивная идея заключается в том, что мы хотим, чтобы предиктор пытался минимизировать ${\textstyle L_{P}}$ (поэтому термин ${\textstyle \nabla _{W}L_{P}}$) и в то же время максимизировать ${\textstyle L_{A}}$ (поэтому термин ${\textstyle -\alpha \nabla _{W}L_{A}}$), так что злоумышленнику не удается предсказать чувствительную переменную по ${\textstyle {\hat {Y}}}$.

Термин ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$ не позволяет предиктору двигаться в направлении, которое помогает противнику уменьшить свою функцию потерь.

Можно показать, что обучение модели классификации предикторов с помощью этого алгоритма улучшает демографический паритет по сравнению с обучением без злоумышленника .

Постобработка

Последний метод пытается исправить результаты классификатора для достижения справедливости. В этом методе у нас есть классификатор, который возвращает оценку для каждого человека, и нам нужно сделать для них двоичный прогноз. Высокие баллы, скорее всего, дадут положительный результат, тогда как низкие баллы, скорее всего, получат отрицательный результат, но мы можем настроить порог, чтобы определить, когда следует ответить «да», по желанию. Обратите внимание, что вариации порогового значения влияют на компромисс между показателями истинно положительных и истинно отрицательных результатов.

Если функция оценки является справедливой в том смысле, что она не зависит от защищенного атрибута, то любой выбор порога также будет справедливым, но классификаторы этого типа имеют тенденцию быть предвзятыми, поэтому для каждой защищенной группы может потребоваться другой порог. добиться справедливости. Один из способов сделать это — построить график истинно положительного уровня против ложноотрицательного уровня при различных пороговых настройках (это называется кривой ROC) и найти порог, при котором уровни для защищенной группы и других лиц равны.

Отклонить классификацию на основе опций

Учитывая классификатор, пусть ${\textstyle P(+|X)}$ быть вероятностью, вычисленной классификаторами как вероятность того, что экземпляр ${\textstyle X}$ относится к положительному классу +. Когда ${\textstyle P(+|X)}$ близко к 1 или к 0, экземпляр ${\textstyle X}$ с высокой степенью достоверности указана принадлежность к классу + или - соответственно. Однако, когда ${\textstyle P(+|X)}$ ближе к 0,5 классификация более неясна.

Мы говорим ${\textstyle X}$ является «отклоненным экземпляром», если ${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$ с определенным ${\textstyle \theta }$ такой, что ${\textstyle 0.5<\theta <1}$.

Алгоритм «РОЦ» заключается в классификации неотбракованных экземпляров по приведенному выше правилу и отклоненных экземпляров следующим образом: если экземпляр является примером депривированной группы ( $X(A)=a$), то отметьте его как положительный, в противном случае отметьте его как отрицательный.

Мы можем оптимизировать различные меры дискриминации (ссылка) как функции ${\textstyle \theta }$ чтобы найти оптимальный ${\textstyle \theta }$ по каждой проблеме и избегать дискриминации по отношению к привилегированной группе.

См. также

• Алгоритмическое смещение
• Машинное обучение
• Репрезентативный вред