Состязательное машинное обучение

Не путать с генеративно-состязательной сетью .

Состязательное машинное обучение — это изучение атак на алгоритмы машинного обучения и средств защиты от таких атак. Опрос, проведенный в мае 2020 года, выявил тот факт, что специалисты-практики сообщают об острой необходимости в улучшении защиты систем машинного обучения в промышленных приложениях.

Большинство методов машинного обучения в основном предназначены для работы с конкретными наборами задач при условии, что данные обучения и тестирования генерируются из одного и того же статистического распределения ( IID ). Однако это предположение часто опасно нарушается в практических приложениях с высокими ставками, где пользователи могут намеренно предоставлять сфабрикованные данные, нарушающие статистическое предположение.

Наиболее распространенные атаки в состязательном машинном обучении включают атаки уклонения , атаки по отравлению данных , Византийские атаки и извлечение модели.

История

На спам-конференции Массачусетского технологического института в январе 2004 года Джон Грэм-Камминг продемонстрировал, что спам-фильтр с машинным обучением можно использовать для борьбы с другим спам-фильтром с машинным обучением, автоматически узнавая, какие слова следует добавить в спам-сообщение, чтобы оно было классифицировано как нежелательное. спам.

В 2004 году Нилеш Далви и другие отметили, что линейные классификаторы, используемые в спам-фильтрах, можно победить с помощью простых « атак уклонения », когда спамеры вставляют «хорошие слова» в свои спам-сообщения. (Примерно в 2007 году некоторые спамеры добавляли случайный шум к нечетким словам в «спаме изображениями», чтобы обойти фильтры на основе оптического распознавания символов .) В 2006 году Марко Баррено и другие опубликовали статью «Может ли машинное обучение быть безопасным?», в которой изложена широкая классификация атак. . Еще в 2013 году многие исследователи продолжали надеяться, что нелинейные классификаторы (такие как машины опорных векторов и нейронные сети ) могут быть устойчивы к злоумышленникам, пока Баттиста Биджио и другие не продемонстрировали первые атаки на основе градиента на такие модели машинного обучения (2012). –2013 ). В 2012 году глубокие нейронные сети стали доминировать в проблемах компьютерного зрения; начиная с 2014 года Кристиан Сегеди и другие продемонстрировали, что злоумышленники могут обмануть глубокие нейронные сети, снова используя атаку на основе градиента для создания состязательных возмущений.

Недавно было замечено, что на практике состязательные атаки сложнее осуществить из-за различных ограничений окружающей среды, которые нивелируют эффект шума. Например, любое небольшое вращение или небольшое освещение состязательного изображения может разрушить состязательность. Кроме того, такие исследователи, как Николас Фросст из Google Brain, отмечают, что создавать беспилотные автомобили гораздо проще. пропускать знаки остановки, физически удаляя сам знак, а не создавая состязательные примеры. Фросст также считает, что сообщество состязательного машинного обучения ошибочно полагает, что модели, обученные на одном распределении данных, также будут хорошо работать и на совершенно другом распределении данных. Он предлагает изучить новый подход к машинному обучению и в настоящее время работает над уникальной нейронной сетью, характеристики которой больше похожи на человеческое восприятие, чем на современные подходы.

В то время как состязательное машинное обучение по-прежнему прочно укоренилось в академических кругах, крупные технологические компании, такие как Google, Microsoft и IBM, начали курировать документацию и базы с открытым исходным кодом, чтобы позволить другим конкретно оценить надежность моделей машинного обучения и минимизировать риск состязательных действий. атаки.

Примеры

Примеры включают атаки на фильтрацию спама , когда спам-сообщения запутываются за счет неправильного написания «плохих» слов или вставки «хороших» слов; атаки на компьютерную безопасность , такие как запутывание кода вредоносного ПО в сетевых пакетах или изменение характеристик сетевого потока с целью ввести в заблуждение обнаружение вторжений; атаки на биометрическое распознавание, когда фальшивые биометрические характеристики могут быть использованы для выдачи себя за законного пользователя; или скомпрометировать галереи шаблонов пользователей, которые со временем адаптируются к обновляемым характеристикам.

Исследователи показали, что, изменив всего лишь один пиксель, можно обмануть алгоритмы глубокого обучения. Другие напечатали в 3D игрушечную черепаху с текстурой, разработанной таким образом, чтобы ИИ обнаружения объектов Google классифицировал ее как винтовку независимо от угла, под которым черепаха рассматривалась. Для создания черепахи потребовалась только недорогая коммерчески доступная технология 3D-печати.

Было показано, что обработанное машиной изображение собаки выглядит как кошка как для компьютеров, так и для людей. Исследование 2019 года показало, что люди могут догадываться, как машины будут классифицировать состязательные изображения. Исследователи обнаружили методы изменения внешнего вида знака остановки, так что беспилотное транспортное средство классифицировало его как знак слияния или ограничения скорости.

McAfee атаковал систему Tesla бывшую Mobileye , обманом заставив ее ехать на 50 миль в час сверх установленной скорости, просто добавив двухдюймовую полоску черной ленты к знаку ограничения скорости.

Состязательные узоры на очках или одежде, предназначенные для обмана систем распознавания лиц или считывателей номерных знаков, привели к появлению нишевой индустрии «скрытой уличной одежды».

Состязательная атака на нейронную сеть может позволить злоумышленнику внедрить алгоритмы в целевую систему. Исследователи также могут создавать состязательные аудиовходы, чтобы замаскировать команды для интеллектуальных помощников в безобидном звуке; параллельная литература исследует человеческое восприятие таких стимулов.

Алгоритмы кластеризации используются в приложениях безопасности. Анализ вредоносных программ и компьютерных вирусов направлен на выявление семейств вредоносных программ и создание конкретных сигнатур обнаружения.

Способы атаки

Таксономия

Атаки на алгоритмы (контролируемого) машинного обучения подразделяются на три основные оси: влияние на классификатор, нарушение безопасности и их специфику.

• Влияние классификатора. Атака может повлиять на классификатор, нарушив этап классификации. Этому может предшествовать этап исследования для выявления уязвимостей. Возможности злоумышленника могут быть ограничены наличием ограничений на манипулирование данными.
• Нарушение безопасности. Атака может предоставить вредоносные данные, которые классифицируются как законные. Вредоносные данные, предоставленные во время обучения, могут привести к отклонению законных данных после обучения.
• Специфичность: целенаправленная атака пытается допустить конкретное вторжение/нарушение. Альтернативно, неизбирательное нападение создаст всеобщий хаос.

Эта таксономия была расширена до более полной модели угроз, которая позволяет делать явные предположения о целях злоумышленника, знании атакуемой системы, возможности манипулирования входными данными/компонентами системы и стратегии атаки. Эта таксономия была расширена и теперь включает измерения стратегий защиты от состязательных атак.

Стратегии

Ниже приведены некоторые из наиболее часто встречающихся сценариев атак.

Отравление данных

Отравление заключается в загрязнении набора обучающих данных данными, предназначенными для увеличения ошибок в выходных данных. Учитывая, что алгоритмы обучения формируются на основе наборов обучающих данных, отравление может эффективно перепрограммировать алгоритмы с потенциально злонамеренными намерениями. Особую обеспокоенность вызывали данные обучения, генерируемые пользователями, например, рекомендации по содержанию или модели естественного языка. Повсеместное распространение фейковых аккаунтов открывает множество возможностей для отравления. Сообщается, что Facebook удаляет около 7 миллиардов фейковых аккаунтов в год. Сообщается, что отравление является основной проблемой промышленного применения.

в социальных сетях Кампании по дезинформации пытаются исказить рекомендации и алгоритмы модерации, чтобы продвинуть один контент выше другого.

Частным случаем заражения данных является бэкдор- атака. целью которого является обучение определенному поведению входных данных с заданным триггером, например, небольшому дефекту изображений, звуков, видео или текста.

Например, системы обнаружения вторжений часто обучаются с использованием собранных данных. Злоумышленник может отравить эти данные, внедрив вредоносные образцы во время работы, что впоследствии нарушит переобучение.

Методы искажения данных также можно применять к моделям преобразования текста в изображение, чтобы изменить их выходные данные.

Отравление данных также может произойти непреднамеренно из-за коллапса модели , когда модели обучаются на синтетических данных.

Византийские атаки

Поскольку машинное обучение масштабируется, оно часто опирается на несколько вычислительных машин. при федеративном обучении Например, периферийные устройства взаимодействуют с центральным сервером, обычно отправляя градиенты или параметры модели. Однако поведение некоторых из этих устройств может отклоняться от ожидаемого, например, наносить ущерб модели центрального сервера. или смещать алгоритмы в сторону определенного поведения (например, усиливая рекомендации дезинформационного содержания). С другой стороны, если обучение выполняется на одной машине, то модель очень уязвима к сбою машины или атаке на машину; машина является единственной точкой отказа . Фактически, владелец машины может сам установить доказуемо необнаружимые бэкдоры .

Современные ведущие решения, позволяющие сделать алгоритмы (распределенного) обучения доказуемо устойчивыми к меньшинству злонамеренных (так называемых « византийских» ) участников, основаны на надежных правилах агрегирования градиентов. Надежные правила агрегирования не всегда работают, особенно когда данные между участниками имеют распределение, отличное от iid. Тем не менее, в контексте гетерогенных честных участников, таких как пользователи с разными привычками потребления рекомендательных алгоритмов или стилями написания языковых моделей, существуют доказуемые теоремы невозможности того, что может гарантировать любой надежный алгоритм обучения.

Уклонение

Уклонение от атак заключаются в эксплуатации несовершенства обученной модели. Например, спамеры и хакеры часто пытаются избежать обнаружения, скрывая содержимое спам-сообщений и вредоносных программ . Образцы модифицируются, чтобы избежать обнаружения; то есть быть классифицированным как законное. Это не предполагает влияния на данные обучения. Ярким примером уклонения является спам на основе изображений , в котором спам-контент встраивается в прикрепленное изображение, чтобы избежать текстового анализа антиспамовыми фильтрами. Другим примером уклонения являются спуфинговые атаки на системы биометрической верификации.

Атаки уклонения можно разделить на две категории: атаки «черного ящика» и атаки «белого ящика» .

Извлечение модели

Извлечение модели предполагает, что злоумышленник исследует систему машинного обучения «черный ящик», чтобы извлечь данные, на которых она обучалась. Это может вызвать проблемы, если данные обучения или сама модель являются конфиденциальными. Например, извлечение модели может использоваться для извлечения собственной модели торговли акциями, которую злоумышленник затем может использовать для своей финансовой выгоды.

В крайнем случае извлечение модели может привести к краже модели , что соответствует извлечению достаточного объема данных из модели, чтобы обеспечить полную реконструкцию модели.

С другой стороны, вывод о членстве — это целенаправленная атака с извлечением модели, которая позволяет определить владельца точки данных, часто используя переобучение, возникающее в результате плохой практики машинного обучения. К сожалению, иногда это достижимо даже без знания или доступа к параметрам целевой модели, что вызывает проблемы безопасности для моделей, обученных на конфиденциальных данных, включая, помимо прочего, медицинские записи и/или личную информацию. С появлением трансферного обучения и публичной доступности многих современных моделей машинного обучения технологические компании все чаще склоняются к созданию моделей на основе общедоступных моделей, предоставляя злоумышленникам свободно доступную информацию о структуре и типе используемой модели.

Категории

Состязательное обучение с глубоким подкреплением

Состязательное глубокое обучение с подкреплением — это активная область исследований в области обучения с подкреплением, в которой основное внимание уделяется уязвимостям изученных политик. Некоторые исследования в этой области исследований изначально показали, что политика обучения с подкреплением подвержена незаметным состязательным манипуляциям. Хотя были предложены некоторые методы для преодоления этой уязвимости, в самых последних исследованиях было показано, что эти предлагаемые решения далеки от точного представления текущих уязвимостей политики глубокого обучения с подкреплением.

Состязательная обработка естественного языка

Состязательные атаки на распознавание речи были введены для приложений преобразования речи в текст, в частности для реализации DeepSpeech в Mozilla.

Состязательные атаки и обучение на линейных моделях

Растет количество литературы о состязательных атаках в линейные модели. Действительно, поскольку плодотворная работа Goodfellow et al. изучение этих моделей в линейных моделях стало важным инструментом для понимания того, как состязательные атаки влияют на модели машинного обучения. Анализ этих моделей упрощается, поскольку расчет состязательных атак можно упростить с помощью задач линейной регрессии и классификации. Более того, в этом случае состязательное обучение является выпуклым.

Линейные модели позволяют проводить аналитический анализ, воспроизводя при этом явления, наблюдаемые в современных моделях.Ярким примером этого является то, как эту модель можно использовать для объяснения компромисса между надежностью и точностью. Разнообразная работа действительно обеспечивает анализ состязательных атак в линейных моделях, включая асимптотический анализ для классификации. и для линейной регрессии. И анализ конечной выборки, основанный на сложности Радемахера.

Конкретные типы атак

Существует большое количество различных состязательных атак, которые можно использовать против систем машинного обучения. Многие из них работают как с системами глубокого обучения , так и с традиционными моделями машинного обучения, такими как SVM. и линейная регрессия . Примеры этих типов атак высокого уровня включают в себя:

• Состязательные примеры
• Троянские атаки/бэкдор-атаки
• Инверсия модели
• Вывод о членстве

Состязательные примеры

Состязательный пример относится к специально созданным входным данным, которые выглядят «нормальными» для людей, но приводят к неправильной классификации в модели машинного обучения. Часто для выявления неправильных классификаций используется форма специально разработанного «шума». Ниже приведены некоторые современные методы создания состязательных примеров в литературе (ни в коем случае не исчерпывающий список).

• Градиентная атака уклонения
• Метод быстрого знака градиента (FGSM)
• Прогнозируемый градиентный спуск (ПГД)
• Карлини и Вагнер (C&W) атакуют
• Состязательная патч-атака

Атаки черного ящика

Атаки «черного ящика» в состязательном машинном обучении предполагают, что злоумышленник может получать только выходные данные для предоставленных входных данных и не имеет знаний о структуре или параметрах модели. В этом случае состязательный пример генерируется либо с использованием модели, созданной с нуля, либо вообще без какой-либо модели (исключая возможность запроса исходной модели). В любом случае целью этих атак является создание состязательных примеров, которые можно перенести на рассматриваемую модель черного ящика.

Квадратная атака

Square Attack была представлена ​​в 2020 году как состязательная атака с целью уклонения от черного ящика, основанная на запросе классификационных оценок без необходимости использования информации о градиенте. Этот состязательный подход, основанный на атаке черного ящика на основе оценок, позволяет запрашивать распределения вероятностей по выходным классам модели, но не имеет другого доступа к самой модели. По словам авторов статьи, предложенная Square Attack требовала меньшего количества запросов, чем по сравнению с современными атаками черного ящика на основе оценок на тот момент.

Чтобы описать цель функции, атака определяет классификатор как ${\textstyle f:[0,1]^{d}\rightarrow \mathbb {R} ^{K}}$, с ${\textstyle d}$ представляющие размеры ввода и ${\textstyle K}$ как общее количество выходных классов. ${\textstyle f_{k}(x)}$ возвращает оценку (или вероятность от 0 до 1) того, что входные данные ${\textstyle x}$ принадлежит к классу ${\textstyle k}$, что позволяет классификатору выводить класс для любого ввода ${\textstyle x}$ быть определен как ${\textstyle {\text{argmax}}_{k=1,...,K}f_{k}(x)}$. Цель этой атаки следующая:

$${\text{argmax}}_{k=1,...,K}f_{k}({\hat {x}})\neq y,||{\hat {x}}-x||_{p}\leq \epsilon {\text{ and }}{\hat {x}}\in [0,1]^{d}$$

Другими словами, нахождение какого-то возмущенного состязательного примера ${\textstyle {\hat {x}}}$ так что классификатор неправильно относит его к какому-либо другому классу при условии, что ${\textstyle {\hat {x}}}$ и ${\textstyle x}$ похожи. Затем в документе определяются потери ${\textstyle L}$ как ${\textstyle L(f({\hat {x}}),y)=f_{y}({\hat {x}})-\max _{k\neq y}f_{k}({\hat {x}})}$ и предлагает решение для поиска состязательного примера ${\textstyle {\hat {x}}}$ как решение следующей задачи ограниченной оптимизации :

$$\min _{{\hat {x}}\in [0,1]^{d}}L(f({\hat {x}}),y),{\text{ s.t. }}||{\hat {x}}-x||_{p}\leq \epsilon$$

Теоретически результатом является состязательный пример, который очень уверен в неправильном классе, но при этом очень похож на исходное изображение. Чтобы найти такой пример, Square Attack использует технику итерационного случайного поиска , чтобы случайным образом исказить изображение в надежде улучшить целевую функцию. На каждом этапе алгоритм возмущает только небольшую квадратную часть пикселей, отсюда и название Square Attack, которая прекращается, как только обнаруживается состязательный пример, чтобы повысить эффективность запроса. Наконец, поскольку алгоритм атаки использует оценки, а не информацию о градиенте, авторы статьи указывают, что на этот подход не влияет градиентная маскировка — распространенный метод, ранее использовавшийся для предотвращения атак уклонения.

ХопПропуститьАтака в прыжке

Эта атака «черного ящика» также была предложена как атака, эффективная для запросов, но она основана исключительно на доступе к прогнозируемому выходному классу любого входного сигнала. Другими словами, атака HopSkipJump не требует возможности расчета градиентов или доступа к значениям оценок, как, например, Square Attack, и потребует только выходных данных прогнозирования класса модели (для любого заданного входного сигнала). Предлагаемая атака разделена на две разные настройки: целевую и нецелевую, но обе построены на общей идее добавления минимальных возмущений, которые приводят к различным результатам модели. В целевой настройке цель состоит в том, чтобы заставить модель ошибочно классифицировать искаженное изображение по определенной целевой метке (которая не является исходной меткой). В нецелевых настройках цель состоит в том, чтобы заставить модель неправильно классифицировать искаженное изображение по любой метке, которая не является исходной меткой. Цели атаки для обоих заключаются в следующем: ${\textstyle x}$ это исходное изображение, ${\textstyle x^{\prime }}$ это враждебный образ, ${\textstyle d}$ — функция расстояния между изображениями, ${\textstyle c^{*}}$ является целевой меткой, и ${\textstyle C}$ — это функция метки класса классификации модели:

$${\textbf {Targeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })=c^{*}$$

$${\textbf {Untargeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })\neq C(x)$$

Для решения этой проблемы атака предлагает следующую граничную функцию ${\textstyle S}$ как для нецелевой, так и для целевой настройки:

$$S(x^{\prime }):={\begin{cases}\max _{c\neq C(x)}{F(x^{\prime })_{c}}-F(x^{\prime })_{C(x)},&{\text{(Untargeted)}}\\F(x^{\prime })_{c^{*}}-\max _{c\neq c^{*}}{F(x^{\prime })_{c}},&{\text{(Targeted)}}\end{cases}}$$

Это можно еще больше упростить, чтобы лучше визуализировать границу между различными потенциально состязательными примерами:

$$S(x^{\prime })>0\iff {\begin{cases}argmax_{c}F(x^{\prime })\neq C(x),&{\text{(Untargeted)}}\\argmax_{c}F(x^{\prime })=c^{*},&{\text{(Targeted)}}\end{cases}}$$

Используя эту граничную функцию, атака затем следует итерационному алгоритму для поиска состязательных примеров. ${\textstyle x^{\prime }}$ для данного изображения ${\textstyle x}$ который удовлетворяет целям атаки.

1. Инициализировать ${\textstyle x}$ в какой-то момент, где ${\textstyle S(x)>0}$
2. Повторите ниже
   1. Граничный поиск
   2. Обновление градиента
      • Вычислить градиент
      • Найдите размер шага

Поиск границы использует модифицированный двоичный поиск , чтобы найти точку, в которой находится граница (как определено ${\textstyle S}$) пересекается с линией между ${\textstyle x}$ и ${\textstyle x^{\prime }}$. Следующий шаг включает в себя расчет градиента для ${\textstyle x}$и обновите исходный ${\textstyle x}$ используя этот градиент и заранее выбранный размер шага. Авторы HopSkipJump доказывают, что этот итеративный алгоритм сходится, что приводит к ${\textstyle x}$ в точку прямо вдоль границы, которая очень близка по расстоянию к исходному изображению.

Однако, поскольку HopSkipJump — это предлагаемая атака «черного ящика», а приведенный выше итерационный алгоритм требует расчета градиента на втором итерационном шаге (к которому атаки «черного ящика» не имеют доступа), авторы предлагают решение для расчета градиента, которое требует только только выходные прогнозы модели. Генерируя множество случайных векторов во всех направлениях, обозначаемых как ${\textstyle u_{b}}$аппроксимацию градиента можно рассчитать, используя среднее значение этих случайных векторов, взвешенных по знаку граничной функции на изображении ${\textstyle x^{\prime }+\delta _{u_{b}}}$, где ${\textstyle \delta _{u_{b}}}$ — размер случайного векторного возмущения:

$$\nabla S(x^{\prime },\delta )\approx {\frac {1}{B}}\sum _{b=1}^{B}\phi (x^{\prime }+\delta _{u_{b}})u_{b}$$

Результат приведенного выше уравнения дает близкое приближение к градиенту, необходимому на этапе 2 итеративного алгоритма, завершая HopSkipJump как атаку черного ящика.

Атаки белого ящика

Атаки «белого ящика» предполагают, что злоумышленник имеет доступ к параметрам модели, а также возможность получать метки для предоставленных входных данных.

Метод быстрого градиентного знака

Одну из первых предложенных атак для генерации состязательных примеров предложили исследователи Google Ян Дж. Гудфеллоу , Джонатон Шленс и Кристиан Сегеди. Атака получила название метода быстрых градиентных знаков (FGSM) и заключается в добавлении к изображению линейного количества незаметного шума, что заставляет модель неправильно классифицировать его. Этот шум вычисляется путем умножения знака градиента изображения, которое мы хотим исказить, на небольшое постоянное эпсилон. По мере увеличения эпсилона вероятность того, что модель будет обманута, возрастает, но и возмущения становится легче выявлять. Ниже показано уравнение для создания состязательного примера, где ${\textstyle x}$ это исходное изображение, ${\textstyle \epsilon }$ это очень небольшое число, ${\textstyle \Delta _{x}}$ — функция градиента, ${\textstyle J}$ – функция потерь, ${\textstyle \theta }$ - вес модели, и ${\textstyle y}$ это настоящая этикетка.

$$adv_{x}=x+\epsilon \cdot sign(\Delta _{x}J(\theta ,x,y))$$

Одним из важных свойств этого уравнения является то, что градиент рассчитывается относительно входного изображения, поскольку цель состоит в том, чтобы создать изображение, которое максимизирует потери для исходного изображения истинной метки. ${\textstyle y}$. При традиционном градиентном спуске (для обучения модели) градиент используется для обновления весов модели, поскольку цель состоит в том, чтобы минимизировать потери модели в базовом наборе данных. Метод быстрого знака градиента был предложен как быстрый способ создания состязательных примеров для обхода модели, основанный на гипотезе о том, что нейронные сети не могут противостоять даже линейным возмущениям входных данных. FGSM доказал свою эффективность при состязательных атаках на классификацию изображений и распознавание скелетных действий.

Карлини и Вагнер (C&W)

Стремясь проанализировать существующие состязательные атаки и средства защиты, исследователи из Калифорнийского университета в Беркли Николас Карлини и Дэвид Вагнер в 2016 году предложили более быстрый и надежный метод создания состязательных примеров.

Атака, предложенная Карлини и Вагнером, начинается с попытки решить сложное уравнение нелинейной оптимизации:

$$\min(||\delta ||_{p}){\text{ subject to }}C(x+\delta )=t,x+\delta \in [0,1]^{n}$$

Здесь цель состоит в том, чтобы минимизировать шум ( ${\textstyle \delta }$), добавленный к исходному вводу ${\textstyle x}$, такой, что алгоритм машинного обучения ( ${\textstyle C}$) прогнозирует исходный ввод с дельтой (или ${\textstyle x+\delta }$) как какой-то другой класс ${\textstyle t}$. Однако вместо непосредственно приведенного выше уравнения Карлини и Вагнер предлагают использовать новую функцию ${\textstyle f}$ такой, что:

$$C(x+\delta )=t\iff f(x+\delta )\leq 0$$

Это сводит первое уравнение к следующей задаче:

$$\min(||\delta ||_{p}){\text{ subject to }}f(x+\delta )\leq 0,x+\delta \in [0,1]^{n}$$

и даже больше к уравнению ниже:

$$\min(||\delta ||_{p}+c\cdot f(x+\delta )),x+\delta \in [0,1]^{n}$$

Затем Карлини и Вагнер предлагают использовать приведенную ниже функцию вместо ${\textstyle f}$ с использованием ${\textstyle Z}$, функция, которая определяет вероятности классов для заданных входных данных ${\textstyle x}$. При подстановке это уравнение можно рассматривать как поиск целевого класса, который более уверен, чем следующий наиболее вероятный класс, на некоторую постоянную величину:

$$f(x)=([\max _{i\neq t}Z(x)_{i}]-Z(x)_{t})^{+}$$

При решении с использованием градиентного спуска это уравнение способно генерировать более сильные состязательные примеры по сравнению с методом быстрого знака градиента, который также способен обойти защитную дистилляцию - защиту, которая когда-то считалась эффективной против состязательных примеров.

Защита

Концептуальное представление активной гонки вооружений

Исследователи предложили многоэтапный подход к защите машинного обучения.

• Моделирование угроз. Формализуйте цели и возможности злоумышленников в отношении целевой системы.
• Моделирование атаки. Формализуйте задачу оптимизации, которую пытается решить злоумышленник, в соответствии с возможными стратегиями атаки.
• Оценка воздействия атаки
• Дизайн противодействия
• Обнаружение шума (для атаки, основанной на уклонении)
• Отмывание информации – изменение информации, полученной злоумышленниками (для атак с кражей модели).

Механизмы

Был предложен ряд защитных механизмов против уклонения, отравления и атак на конфиденциальность, в том числе:

• Алгоритмы безопасного обучения
• Византийско-устойчивые алгоритмы
• Множественные системы классификаторов
• Алгоритмы, написанные ИИ.
• ИИ, которые исследуют среду обучения; например, при распознавании изображений — активное перемещение по 3D-среде, а не пассивное сканирование фиксированного набора 2D-изображений.
• Обучение с сохранением конфиденциальности
• Лестничный алгоритм для Kaggle соревнований в стиле
• Теоретико-игровые модели
• Очистка данных обучения
• Состязательное обучение
• Алгоритмы обнаружения бэкдоров
• Методы маскировки/запутывания градиента: предотвращение использования злоумышленником градиента в атаках методом «белого ящика». Это семейство средств защиты считается ненадежным, поскольку эти модели по-прежнему уязвимы для атак «черного ящика» или их можно обойти другими способами.
• ансамбли моделей, но следует проявлять осторожность, полагаясь на них: обычно объединение слабых классификаторов приводит к более точной модели, но, похоже, не применимо в состязательном контексте. В литературе предлагались

См. также

• Распознавание образов
• Fawkes (программное обеспечение для маскировки изображений)
• Генеративно-состязательная сеть

Внешние ссылки

• MITRE ATLAS: ландшафт враждебных угроз для систем искусственного интеллекта
• Проект NIST 8269: Таксономия и терминология состязательного машинного обучения
• Семинар NIPS 2007 по машинному обучению в состязательных средах для компьютерной безопасности
• AlfaSVMLib. Архивировано 24 сентября 2020 г. на Wayback Machine . Состязательные атаки с переворотом меток на машины опорных векторов.
• Ласков, Павел; Липпманн, Ричард (2010). «Машинное обучение в состязательных средах». Машинное обучение . 81 (2): 115–119. дои : 10.1007/s10994-010-5207-6 . S2CID   12567278 .
• Семинар Dagstuhl Perspectives на тему « Методы машинного обучения для компьютерной безопасности »
• Семинар по искусственному интеллекту и безопасности , серия (AISec)