Монокультура (информатика)

В информатике монокультура — это сообщество компьютеров , на которых установлено одинаковое программное обеспечение. Таким образом, все компьютерные системы в сообществе имеют одинаковые уязвимости и, как и сельскохозяйственные монокультуры , подвержены катастрофическому сбою в случае успешной атаки. ^[1]

Обзор

В связи с глобальной тенденцией увеличения использования и зависимости от компьютеризированных систем некоторые поставщики поставляют решения, которые используются во всей отрасли (например, Microsoft Windows ) — это формирует алгоритмические монокультуры. Монокультуры формируются естественным путем, поскольку они используют эффект масштаба , дешевле производить и распространять одно решение. Кроме того, благодаря использованию большим сообществом ошибки относительности обнаруживаются быстро.

Как и сельскохозяйственные монокультуры , алгоритмические монокультуры не разнообразны и поэтому подвержены коррелирующим сбоям - сбоям многих частей, участвующих в монокультуре. В полных немонокультурах, где результаты всех компонентов взаимно независимы и, следовательно, не коррелированы, вероятность катастрофического события (отказа всех частей в монокультуре) представляет собой умножение вероятности отказа каждого компонента (экспоненциально убывающее).

С другой стороны, совершенные монокультуры полностью коррелированы и поэтому имеют единую точку отказа. Это означает, что вероятность катастрофического события постоянна – возможно, выход из строя одного компонента.

Примеры

Поскольку операционные системы используются почти на каждой рабочей станции, они образуют монокультуры. Например, Дэн Гир утверждал, что Microsoft является монокультурой, поскольку на большинстве рабочих станций, подключенных к Интернету, установлены версии операционной системы Microsoft Windows , многие из которых уязвимы для одних и тех же атак.

Крупные монокультуры также могут возникать из программных библиотек , например, эксплойт Log4Shell в популярной библиотеке Log4j, который, по оценкам, затрагивает сотни миллионов устройств. ^[2]

Проблемы индивидуального уровня

Эта концепция важна при обсуждении компьютерной безопасности и вирусов , поскольку основной угрозой является подверженность уязвимостям безопасности. Поскольку монокультуры не разнообразны, любая обнаруженная уязвимость существует у всех отдельных членов монокультуры, что увеличивает риск эксплуатации. ^[3] Примером тому является эксплойт-среда , в которой после выпуска обновлений безопасности Windows увеличивается количество случаев эксплойта на необновленных машинах.

Клиффорд Столл написал в 1989 году после борьбы с червем Морриса : ^[4]

Компьютерный вирус является специализированным: вирус, работающий на IBM PC, не может ничего сделать с компьютером Macintosh или Unix . Точно так же вирус Arpanet мог поразить только системы, работающие под управлением Berkeley Unix . Компьютеры под управлением других операционных систем, таких как AT&T Unix , VMS или DOS , были полностью защищены.
Таким образом, разнообразие работает против вирусов. Если бы все системы Arpanet работали под управлением Berkeley Unix, вирус вывел бы из строя все пятьдесят тысяч из них. Вместо этого он заразил всего пару тысяч. Биологические вирусы столь же специализированы: мы не можем заразиться гриппом от собак.
Бюрократы и менеджеры всегда будут призывать нас к стандартизации на одном типе систем: «Давайте использовать только рабочие станции Sun» или «Покупать только системы IBM». Тем не менее, каким-то образом наши сообщества компьютеров представляют собой разнообразное население: машины Data General расположены рядом с цифровыми ваксами ; IBM, подключенные к Sonys . Как и наши районы, электронные сообщества процветают благодаря разнообразию.

Еще одной серьезной проблемой является растущее распространение алгоритмической предвзятости . В свете более широкого использования машинного обучения растет осознание предвзятости, вносимой алгоритмами. Природа монокультур усугубляет эту проблему, поскольку она делает предвзятость системной и приводит к распространению несправедливых решений.

Проблемы социального уровня

Монокультуры могут привести к парадоксам Брасса , в которых введение «лучшего варианта» (например, более точного алгоритма) приводит к неоптимальной монокультурной конвергенции - монокультуре, коррелированная природа которой приводит к снижению общего качества решений. Поскольку монокультуры формируются в областях принятия важных решений, таких как кредитный скоринг и автоматизированный найм, важно добиться оптимального принятия решений.

Этот сценарий можно изучить через призму проектирования механизмов , в котором агенты выбирают между набором алгоритмов, некоторые из которых возвращают коррелированные выходные данные. Общий эффект от принятия решений измеряется социальным благосостоянием .

Субоптимальная конвергенция монокультур при автоматизированном найме

В этом разделе демонстрируется проблема неоптимальной конвергенции монокультур на примере автоматического найма персонала. Найм — это процесс ранжирования группы кандидатов и найма наиболее ценных. В последние годы стал популярным автоматизированный найм (автоматическое ранжирование кандидатов на основе их взаимодействия с системой на базе искусственного интеллекта).

Как показал Клейнберг , ^[5] при некоторых предположениях естественным образом формируются субоптимальные монокультуры автоматизированного найма, а именно, выбор коррелированного алгоритма является доминирующей стратегией , что приводит к сближению с монокультурой, которая приводит к субоптимальному общественному благосостоянию.

Рамки

В этом сценарии мы рассмотрим две фирмы и группу. $S$ из $n$ кандидат со скрытыми полезностями $x_{i}$ . Для процесса найма: каждая фирма составляет шумный рейтинг кандидатов, затем каждая фирма (в случайном порядке) нанимает первого доступного кандидата в своем рейтинге. Каждая фирма может выбрать либо использование независимых специалистов по ранжированию, либо использование общего алгоритмического ранжирования.

Алгоритм ранжирования ${\mathcal {F}}_{\theta }$ моделируется как зашумленное распределение перестановками над $S$ параметризуется параметром точности $\theta >0$ .

Для того, чтобы ${\mathcal {F}}_{\theta }$ чтобы иметь смысл, он должен удовлетворять этим условиям:

Дифференцируемость: вероятность каждой перестановки. $\pi$ является непрерывным и дифференцируемым в $\theta$
Асимптотическая оптимальность: для истинного ранжирования $\pi ^{*}$ : $\lim _{\theta \to \infty }Pr[\pi ^{*}]=1$
Монотонность: ожидаемая полезность кандидата с самым высоким рейтингом увеличивается по мере того, как $\theta$ увеличивается, даже если какое-либо подмножество $S$ удаляется.

Эти условия гласят, что фирма всегда должна отдавать предпочтение более высоким значениям $\theta$ , даже если он не первый в порядке выбора.

И алгоритмические, и человеческие методы ранжирования имеют форму ${\mathcal {F}}_{\theta }$ и различаются параметрами точности $\theta _{A},\theta _{H}$ . Вывод алгоритмического ранжирования скоординирован — он всегда выводит одну и ту же перестановку. Напротив, ранжированная премутация человека взята из ${\mathcal {F}}_{\theta _{H}}$ независимо для каждой из фирм.

Для $s_{1},s_{2}\in \{A,H\}$ стратегии первой и второй фирмы, Социальное обеспечение $W_{s_{1},s_{2}}$ определяется как сумма полезностей нанятых кандидатов.

Условия субоптимальной сходимости

Парадокс Браеса в этой системе заключается в том, что субоптимальные монокультуры сходятся. То есть использование алгоритмического ранжирования является доминирующей стратегией, которая, таким образом, приближается к монокультуре, но приводит к неоптимальному благосостоянию. $W_{A,A}<W_{H,H}$ (благосостояние в мире без алгоритмического ранжирования выше).

Основная теорема, доказанная Клейнбергом ^[5] этой модели заключается в том, что для любого $\theta _{H}$ и любая шумная высокопоставленная семья ${\mathcal {F}}_{\theta }$ которые удовлетворяют этим условиям:

Предпочтение первой позиции: Для всех $\theta >0$ если $\pi ,\sigma \sim {\mathcal {F}}_{\theta }$ затем $\mathbb {E} [\pi _{1}-\pi _{2}|\pi _{1}\neq \sigma _{1}]>0$ .
Предпочтение более слабой конкуренции: для всех $\theta _{1}>\theta _{2},\sigma \sim {\mathcal {F}}_{\theta _{1}}and\ \pi ,\tau \sim {\mathcal {F}}_{\theta _{2}}:\mathbb {E} [\pi _{1}^{(-\sigma _{1})}]<\mathbb {E} [\pi _{1}^{(-\tau _{1})}]$ .

существует $\theta _{A}>\theta _{H}$ так, что обе фирмы предпочитают использовать алгоритмическое ранжирование, даже несмотря на то, что социальное благосостояние выше, когда обе фирмы используют оценщиков-людей. Другими словами - независимо от точности человеческих ранжировщиков существует более точный алгоритм, введение которого приводит к субоптимальной сходимости монокультуры.

Следствием этой теоремы является то, что в этих условиях фирмы предпочтут использовать алгоритмическое ранжирование, даже несмотря на то, что коррелированная природа алгоритмических монокультур ухудшает общее социальное благосостояние. Хотя алгоритмические рейтинги более точны.

Первое условие на ${\mathcal {F}}_{\theta }$ (Предпочтение первой позиции) эквивалентно предпочтению фирм иметь независимый рейтинг (в наших условиях – неалгоритмический). Это означает, что фирма должна отдавать предпочтение независимым методам ранжирования при прочих равных условиях.

Интуиция, лежащая в основе предпочтения более слабой конкуренции, заключается в том, что, когда кандидата увольняют (нанимают в другую фирму), лучший оставшийся кандидат ожидаемо лучше, когда удаленный кандидат выбирается на основе менее точного рейтинга. Таким образом, фирма всегда должна предпочитать, чтобы ее конкуренты были менее точными.

Эти условия выполняются для ${\mathcal {F}}_{\theta }$ это распределения модели Маллоуза и некоторые типы случайных моделей полезности (гауссовский или лапласовский шум).

См. также

Ссылки

^ Гот, Г. (2003). «Решение монокультуры». Безопасность и конфиденциальность IEEE . 1 (6): 8–10. дои : 10.1109/msecp.2003.1253561 . ISSN 1540-7993 . S2CID 16965084 .
^ Мерфи, Ханна (14 декабря 2021 г.). «Хакеры осуществили более 1,2 миллиона атак через уязвимость Log4J» . Файнэншл Таймс . Проверено 17 декабря 2021 г.
^ Штамп, Марк (2004). «Риски монокультуры» . Коммуникации АКМ . 47 (3): 120. дои : 10.1145/971617.971650 . ISSN 0001-0782 . S2CID 16746625 .
^ Столл, Клиффорд (1989). Яйцо кукушки . Даблдэй. стр. 320–321 . ISBN 978-0-307-81942-0 .
^ Jump up to: ^а ^б Кляйнберг, Джон (2021). «Алгоритмическая монокультура и социальное обеспечение» . Труды Национальной академии наук . 118 (22). arXiv : 2101.05853 . дои : 10.1073/pnas.2018340118 . ПМЦ 8179131 . ПМИД 34035166 .

[1] Гот, Г. (2003). «Решение монокультуры». Безопасность и конфиденциальность IEEE . 1 (6): 8–10. дои : 10.1109/msecp.2003.1253561 . ISSN 1540-7993 . S2CID 16965084 .

[2] Мерфи, Ханна (14 декабря 2021 г.). «Хакеры осуществили более 1,2 миллиона атак через уязвимость Log4J» . Файнэншл Таймс . Проверено 17 декабря 2021 г.

[3] Штамп, Марк (2004). «Риски монокультуры» . Коммуникации АКМ . 47 (3): 120. дои : 10.1145/971617.971650 . ISSN 0001-0782 . S2CID 16746625 .

[stoll1989-4] Столл, Клиффорд (1989). Яйцо кукушки . Даблдэй. стр. 320–321 . ISBN 978-0-307-81942-0 .

[:0-5] Jump up to: ^а ^б Кляйнберг, Джон (2021). «Алгоритмическая монокультура и социальное обеспечение» . Труды Национальной академии наук . 118 (22). arXiv : 2101.05853 . дои : 10.1073/pnas.2018340118 . ПМЦ 8179131 . ПМИД 34035166 .

[1]

[2]

[3]

[4]

[5]