Байесовское отравление

Байесовское отравление — это метод, используемый спамерами электронной почты , чтобы попытаться снизить эффективность спам-фильтров , основанных на байесовской фильтрации спама . Байесовская фильтрация опирается на байесовскую вероятность , чтобы определить, является ли входящее письмо спамом или нет. Спамер надеется, что добавление случайных (или даже тщательно отобранных) слов, которые вряд ли появятся в спам-сообщении, заставит спам-фильтр поверить в достоверность сообщения — статистическая ошибка II рода .

Спаммеры также надеются повысить уровень ложных срабатываний спам-фильтра, превращая ранее невинные слова в спам-слова в байесовской базе данных (статистические ошибки типа I ), поскольку пользователь, обучающий свой спам-фильтр на отравленном сообщении, будет указывать на фильтр, что слова, добавленные спамером, являются хорошим признаком спама.

Эмпирические результаты

Грэм-Камминг

На конференции по спаму, проходившей в Массачусетском технологическом институте в 2004 году, Джон Грэм-Камминг представил две возможные атаки на . байесовский механизм POPFile ^[1] Один оказался неудачным, а другой работал, но оказался непрактичным. При этом они определили два типа атак-отравителей: пассивный (когда слова добавляются без какой-либо обратной связи со спамером) и активный (когда спамер получает обратную связь после получения спама).

Пассивный метод добавления случайных слов в небольшой спам оказался неэффективным как метод атаки: было доставлено только 0,04% модифицированных спам-сообщений. Активная атака заключалась в добавлении случайных слов в небольшой спам и использовании веб-жука для определения того, был ли получен спам. Если бы это было так, то другая байесовская система была обучена с использованием тех же ядовитых слов. Отправив 10 000 спам-сообщений одному пользователю, он определил небольшой набор слов, которые можно было использовать для передачи спама.

Простая мера по отключению удаленных изображений ( веб-ошибок ) в электронных письмах устраняет эту проблему.

Виттель и Ву

На конференции по электронной почте и борьбе со спамом в 2004 году Виттель и Ву представили доклад. ^[2] в котором они показали, что пассивное добавление случайных слов в спам было неэффективно против CRM114 , но эффективно против SpamBayes , когда на спам добавлялось 100 слов.

Они также показали, что более умная пассивная атака с добавлением общеупотребительных английских слов по-прежнему неэффективна против CRM114, но еще более эффективна против SpamBayes. Чтобы пройти спам через SpamBayes, им нужно было добавить всего 50 слов в спам.

Однако тестирование Виттеля и Ву подверглось критике из-за минимальной информации в заголовках, которая присутствовала в электронных письмах, которые они использовали; большинство байесовских спам-фильтров широко используют информацию заголовка и другие метаданные сообщения для определения вероятности того, что сообщение является спамом. Обсуждение результатов SpamBayes и некоторые контрдоказательства можно найти в архиве списка рассылки SpamBayes. ^[3]

Все эти атаки относятся к атакам типа II: атакам, направленным на доставку спама. Атака типа I пытается вызвать ложные срабатывания, превращая ранее невинные слова в спам-слова в байесовской базе данных.

Стерн, Мейсон и Шепард

Также в 2004 году Стерн, Мейсон и Шепард написали технический отчет в Университете Далхаузи . ^[4] в котором они подробно описали пассивную атаку типа II. Они добавили общие английские слова в спам-сообщения, используемые для обучения и тестирования спам-фильтра.

В двух тестах они показали, что эти общие слова снижают точность спам-фильтра (процент сообщений, классифицированных как спам, которые на самом деле являются спамом) с 84% до 67% и с 94% до 84%. Изучение их данных показывает, что отравленный фильтр был склонен полагать, что сообщения скорее были спамом, чем «хамством» (хорошим электронным письмом), что увеличивало уровень ложных срабатываний.

Они предложили две контрмеры: игнорирование общих слов при классификации и сглаживание вероятностей на основе достоверности слова. Слово имеет достоверную вероятность, если злоумышленник вряд ли сможет догадаться, является ли оно частью словарного запаса человека. Таким образом, общие слова не заслуживают доверия, и их вероятность будет сглажена до 0,5 (что сделает их нейтральными).

Лоуд и Мик

На конференции 2005 года по электронной почте и борьбе со спамом Лоуд и Мик представили доклад. ^[5] в котором они продемонстрировали, что пассивные атаки, добавляющие в спам случайные или общие слова, неэффективны против наивного байесовского фильтра. (Фактически они показали, как продемонстрировал Джон Грэм-Камминг еще в 2004 году, что добавление случайных слов повышает точность фильтрации спама.)

Они продемонстрировали, что добавление неуместных слов — слов, которые с большей вероятностью появятся в неспам-содержимом электронной почты, чем в спаме, — эффективно против наивного байесовского фильтра и позволяет спаму проскользнуть. Далее они подробно описали две активные атаки (атаки, требующие обратной связи со спамером), которые были очень эффективны против спам-фильтров. Конечно, предотвращение любой обратной связи со спамерами (например, отчетов о недоставке, ошибок уровня SMTP или веб-ошибок) тривиально побеждает активную атаку.

Они также показали, что переобучение фильтра эффективно предотвращает все типы атак, даже если данные переобучения были искажены.

Опубликованные исследования показывают, что добавление случайных слов в спам-сообщения неэффективно как форма атаки, но активные атаки очень эффективны и что добавление тщательно выбранных слов может сработать в некоторых случаях. Для защиты от этих атак крайне важно, чтобы спамеры не получали никакой обратной связи и чтобы статистические фильтры регулярно переобучались.

Исследование также показывает, что стоит продолжать расследование атак на статистические фильтры. Были продемонстрированы работающие атаки, и необходимы контрмеры для обеспечения точности статистических фильтров.

См. также

Ссылки

^ «Архивная копия» . Архивировано из оригинала 12 октября 2006 г. Проверено 24 ноября 2006 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )
^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 29 апреля 2013 г. Проверено 13 февраля 2012 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )
^ «The spambayes-dev, сентябрь 2004 г. Архив по теме» .
^ «Технические отчеты – Факультет компьютерных наук» .
^ «Архивная копия» (PDF) . www.ceas.cc. Архивировано из оригинала (PDF) 20 марта 2022 года . Проверено 30 июня 2022 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )

Внешние ссылки

Существует ли байесовское отравление? (требуется регистрация)

[1] «Архивная копия» . Архивировано из оригинала 12 октября 2006 г. Проверено 24 ноября 2006 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )

[2] «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 29 апреля 2013 г. Проверено 13 февраля 2012 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )

[3] «The spambayes-dev, сентябрь 2004 г. Архив по теме» .

[4] «Технические отчеты – Факультет компьютерных наук» .

[5] «Архивная копия» (PDF) . www.ceas.cc. Архивировано из оригинала (PDF) 20 марта 2022 года . Проверено 30 июня 2022 г. {{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка )

[1]

[2]

[3]

[4]

[5]