Предотвращение ботов

Предотвращение ботов — это методы, используемые веб-службами для предотвращения доступа автоматизированных процессов .

Виды ботов

Исследования показывают, что более половины интернет-трафика приходится на активность ботов, из которых более половины классифицируется как «плохие боты». ^[1]

Боты используются в Интернете для различных целей. Некоторые боты пассивно используются для парсинга веб-страниц , например, для сбора информации от авиакомпаний о ценах на авиабилеты и направлениях. Другие боты, такие как боты для кроссовок , помогают оператору бота приобретать предметы роскоши, пользующиеся высоким спросом; иногда их перепродают на вторичном рынке по более высоким ценам, что широко известно как «скальпинг». ^[2]^[3]^[4]

Методы обнаружения и предотвращения

различные методы снятия отпечатков пальцев используются Для определения того, является ли клиент пользователем-человеком или ботом, и поведенческие методы. В свою очередь, боты используют ряд методов, чтобы избежать обнаружения и выглядеть для сервера как человек. ^[2]

Методы снятия отпечатков пальцев браузера являются наиболее распространенным компонентом систем защиты от ботов. Данные обычно собираются с помощью клиентского JavaScript , который затем передается в службу защиты от ботов для анализа. Собранные данные включают результаты API JavaScript (проверка реализации данного API и возврат результатов, ожидаемых от обычного браузера), рендеринг сложных сцен WebGL и использование Canvas API . ^[1]^[5] Методы снятия отпечатков пальцев TLS классифицируют клиента путем анализа поддерживаемых наборов шифров во время установления связи SSL . ^[6] Эти отпечатки пальцев можно использовать для создания белых / черных списков, содержащих отпечатки известных стеков браузеров. ^[7] В 2017 году Salesforce открыла исходный код своей библиотеки отпечатков пальцев TLS (JA3). ^[8] В период с августа по сентябрь 2018 года Akamai заметила значительное увеличение случаев взлома TLS в своей сети с целью избежать обнаружения. ^[9]^[7]

Также используются методы, основанные на поведении, хотя и реже, чем методы снятия отпечатков пальцев, и основаны на идее о том, что боты ведут себя иначе, чем посетители-люди. клиента Распространенный поведенческий подход заключается в анализе движений мыши и определении, типичны ли они для человека. ^[1]^[10]

Часто используются и более традиционные методы, такие как CAPTCHA , однако они обычно считаются неэффективными, но в то же время навязчивыми для посетителей. ^[11]

Использование JavaScript может помешать работе некоторых ботов, которые полагаются на базовые запросы (например, через cURL ), поскольку они не будут загружать сценарий обнаружения и, следовательно, не смогут продолжить работу. ^[1] Распространенным методом обхода многих методов является использование автономного браузера для имитации реального веб-браузера и выполнения сценариев обнаружения JavaScript на стороне клиента. ^[2]^[1] Существует множество безголовых браузеров; некоторые из них являются пользовательскими (например, PhantomJS также можно работать с обычными браузерами, такими как Google Chrome, ), но с помощью драйвера в автономном режиме. Selenium — это распространенная среда веб-автоматизации, которая упрощает управление безголовым браузером. ^[5]^[1] Системы обнаружения ботов пытаются выявить реализацию методов, специфичных для этих автономных браузеров, или отсутствие надлежащей реализации API-интерфейсов, которые были бы реализованы в обычных веб-браузерах. ^[1]

Исходный код этих файлов JavaScript обычно запутан , чтобы затруднить обратный инжиниринг работы обнаружения. ^[5] Общие методы включают в себя: ^[12]

Минимизация
Строковые массивы
потока управления Сглаживание
мертвого кода Внедрение
debugger операторы, чтобы предотвратить использование отладчиков, таких как DevTools

Услуги защиты от ботов предлагают различные интернет-компании, такие как Cloudflare. ^[13] и Акамай . ^[14]^[15]

Закон

В США в 2016 году был принят Закон об улучшении продаж онлайн-билетов (широко известный как Закон о ботах), призванный предотвратить использование ботов в коммерции в некоторых случаях. ^[16] Год спустя Великобритания приняла аналогичные правила в Законе о цифровой экономике 2017 года . ^[17]^[18] Эффективность этих мер оспаривается. ^[19]

Ссылки

^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г Амин Азад, Бабак; Старов, Алексей; Лапердрикс, Пьер; Никифоракис, Ник (2020). «Web Runner 2049: оценка сторонних служб защиты от ботов». У Мориса Клементина; Бильге, Лейла; Стрингини, Джанлука; Невес, Нуно (ред.). Обнаружение вторжений и вредоносных программ, а также оценка уязвимостей . Конспекты лекций по информатике. Том. 12223. Чам: Springer International Publishing. стр. 135–159. дои : 10.1007/978-3-030-52683-2_7 . ISBN 978-3-030-52683-2 . ПМЦ 7338186 .
^ Jump up to: ^а ^б ^с Кьяппони, Элиза; Дасье, Марк; Тодиско, Массимилиано; Чатакоглу, Онур; Тоннар, Оливье (2021). «Размеры ботнетов: когда математика встречается с мифами». Сервис-ориентированные вычисления – семинары ICSOC 2020 . Конспекты лекций по информатике. Том. 12632. стр. 596–611. дои : 10.1007/978-3-030-76352-7_52 . ISBN 978-3-030-76351-0 . S2CID 232203240 .
^ Маркс, Тод. «Почему цены на билеты зашкаливают» . Отчеты потребителей .
^ «Отчет о плохих ботах 2021» (PDF) . Имперва . Проверено 23 августа 2021 г.
^ Jump up to: ^а ^б ^с Джонкер, Хьюго; Крумнов, Бенджамин; Влот, Габри (2019). «Обнаружение детекторов веб-ботов по отпечаткам пальцев» . В Сако, Казуэ; Шнайдер, Стив; Райан, Питер Ю.А. (ред.). Компьютерная безопасность – ESORICS 2019 . Конспекты лекций по информатике. Том. 11736. Чам: Springer International Publishing. стр. 586–605. дои : 10.1007/978-3-030-29962-0_28 . ISBN 978-3-030-29962-0 . S2CID 202579603 .
^ «Qualys SSL Labs — Проекты / Отпечатки пальцев HTTP-клиента с использованием анализа SSL-квитирования» . www.ssllabs.com .
^ Jump up to: ^а ^б «Боты все чаще вмешиваются в TLS, чтобы обмануть фильтры» . Ежедневный глоток | Новости и мнения о кибербезопасности . 17 мая 2019 г.
^ Альтхаус, Джон (5 февраля 2019 г.). «Открытый исходный код JA3» . Середина .
^ «Боты вмешиваются в TLS, чтобы избежать обнаружения — блог Akamai по вопросам безопасности и исследования угроз» . blogs.akamai.com .
^ Вэй, Анг; Чжао, Юйсюань; Цай, Чжунминь (2019). «Подход глубокого обучения к обнаружению веб-ботов с использованием поведенческой биометрии мыши». Биометрическое распознавание . Конспекты лекций по информатике. Том. 11818. стр. 388–395. дои : 10.1007/978-3-030-31456-9_43 . ISBN 978-3-030-31455-2 . S2CID 203847308 .
^ Чу, Цзы; Джанвеккьо, Стивен; Ван, Хайнин (2018). «Бот или человек? Онлайн-система обнаружения ботов, основанная на поведении». От базы данных к кибербезопасности . Конспекты лекций по информатике. Том. 11170. стр. 432–449. дои : 10.1007/978-3-030-04834-1_21 . ISBN 978-3-030-04833-4 .
^ «Инструмент обфускатора JavaScript» . обфускатор.io .
^ «Управление ботами Cloudflare» . Облачная вспышка .
^ «Бот-менеджер» . Акамай Технологии . Проверено 23 августа 2021 г.
^ «Бот-менеджер Akamai» . Акамай Технологии .
^ Сисарио, Бен (9 декабря 2016 г.). «Конгресс пытается ограничить скальпирование билетов и запретить использование ботов в Интернете» . Нью-Йорк Таймс .
^ Кипфер, DLA Пайпер-Фрэнсис (10 января 2018 г.). «Правительство Великобритании криминализует использование ботов по продаже билетов» . Лексология .
^ «Новый закон запретит использование ботов для массовой покупки билетов» . Который? Новости . 23 апреля 2018 г.
^ Элефант, Сэмми (2018). «За пределами ботов: галочка из-за цен на билеты, или Вечное мошенничество» . Обзор законодательства Калифорнийского университета в Лос-Анджелесе . 25 (1). дои : 10.5070/LR8251039716 . ISSN 1073-2896 .

[DIMVAEvaluation-1] Jump up to: ^а ^б ^с ^д ^и ^ж ^г Амин Азад, Бабак; Старов, Алексей; Лапердрикс, Пьер; Никифоракис, Ник (2020). «Web Runner 2049: оценка сторонних служб защиты от ботов». У Мориса Клементина; Бильге, Лейла; Стрингини, Джанлука; Невес, Нуно (ред.). Обнаружение вторжений и вредоносных программ, а также оценка уязвимостей . Конспекты лекций по информатике. Том. 12223. Чам: Springer International Publishing. стр. 135–159. дои : 10.1007/978-3-030-52683-2_7 . ISBN 978-3-030-52683-2 . ПМЦ 7338186 .

[IPStudy-2] Jump up to: ^а ^б ^с Кьяппони, Элиза; Дасье, Марк; Тодиско, Массимилиано; Чатакоглу, Онур; Тоннар, Оливье (2021). «Размеры ботнетов: когда математика встречается с мифами». Сервис-ориентированные вычисления – семинары ICSOC 2020 . Конспекты лекций по информатике. Том. 12632. стр. 596–611. дои : 10.1007/978-3-030-76352-7_52 . ISBN 978-3-030-76351-0 . S2CID 232203240 .

[3] Маркс, Тод. «Почему цены на билеты зашкаливают» . Отчеты потребителей .

[Imperva2021-4] «Отчет о плохих ботах 2021» (PDF) . Имперва . Проверено 23 августа 2021 г.

[FingerprintingESORICS-5] Jump up to: ^а ^б ^с Джонкер, Хьюго; Крумнов, Бенджамин; Влот, Габри (2019). «Обнаружение детекторов веб-ботов по отпечаткам пальцев» . В Сако, Казуэ; Шнайдер, Стив; Райан, Питер Ю.А. (ред.). Компьютерная безопасность – ESORICS 2019 . Конспекты лекций по информатике. Том. 11736. Чам: Springer International Publishing. стр. 586–605. дои : 10.1007/978-3-030-29962-0_28 . ISBN 978-3-030-29962-0 . S2CID 202579603 .

[6] «Qualys SSL Labs — Проекты / Отпечатки пальцев HTTP-клиента с использованием анализа SSL-квитирования» . www.ssllabs.com .

[PortSwiggerTLS-7] Jump up to: ^а ^б «Боты все чаще вмешиваются в TLS, чтобы обмануть фильтры» . Ежедневный глоток | Новости и мнения о кибербезопасности . 17 мая 2019 г.

[8] Альтхаус, Джон (5 февраля 2019 г.). «Открытый исходный код JA3» . Середина .

[9] «Боты вмешиваются в TLS, чтобы избежать обнаружения — блог Akamai по вопросам безопасности и исследования угроз» . blogs.akamai.com .

[10] Вэй, Анг; Чжао, Юйсюань; Цай, Чжунминь (2019). «Подход глубокого обучения к обнаружению веб-ботов с использованием поведенческой биометрии мыши». Биометрическое распознавание . Конспекты лекций по информатике. Том. 11818. стр. 388–395. дои : 10.1007/978-3-030-31456-9_43 . ISBN 978-3-030-31455-2 . S2CID 203847308 .

[11] Чу, Цзы; Джанвеккьо, Стивен; Ван, Хайнин (2018). «Бот или человек? Онлайн-система обнаружения ботов, основанная на поведении». От базы данных к кибербезопасности . Конспекты лекций по информатике. Том. 11170. стр. 432–449. дои : 10.1007/978-3-030-04834-1_21 . ISBN 978-3-030-04833-4 .

[12] «Инструмент обфускатора JavaScript» . обфускатор.io .

[13] «Управление ботами Cloudflare» . Облачная вспышка .

[14] «Бот-менеджер» . Акамай Технологии . Проверено 23 августа 2021 г.

[15] «Бот-менеджер Akamai» . Акамай Технологии .

[16] Сисарио, Бен (9 декабря 2016 г.). «Конгресс пытается ограничить скальпирование билетов и запретить использование ботов в Интернете» . Нью-Йорк Таймс .

[17] Кипфер, DLA Пайпер-Фрэнсис (10 января 2018 г.). «Правительство Великобритании криминализует использование ботов по продаже билетов» . Лексология .

[18] «Новый закон запретит использование ботов для массовой покупки билетов» . Который? Новости . 23 апреля 2018 г.

[19] Элефант, Сэмми (2018). «За пределами ботов: галочка из-за цен на билеты, или Вечное мошенничество» . Обзор законодательства Калифорнийского университета в Лос-Анджелесе . 25 (1). дои : 10.5070/LR8251039716 . ISSN 1073-2896 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]