Сбор адресов электронной почты
Сбор или парсинг электронной почты — это процесс получения списков адресов электронной почты различными методами. Обычно они затем используются для массовой рассылки электронной почты или спама .
Методы
[ редактировать ]Самый простой метод заключается в том, что спамеры покупают или обменивают списки адресов электронной почты у других спамеров .
Другим распространенным методом является использование специального программного обеспечения, известного как « боты -сборщики » или «сборщики», которое использует пауков веб-страницы , публикации в Usenet , архивы списков рассылки , интернет-форумы и другие онлайн-источники для получения адресов электронной почты из общедоступных данных.
Спамеры могут также использовать форму атаки по словарю для сбора адресов электронной почты, известную как атака сбора каталогов , когда действительные адреса электронной почты в определенном домене находятся путем угадывания адреса электронной почты с использованием общих имен пользователей в адресах электронной почты в этом домене. Например, попробуйте [email protected] , [ email protected] , [email protected] и т. д. и любые другие, которые принимаются к доставке почтовым сервером получателя, а не отклоняются, добавляются в список теоретически допустимых адресов электронной почты. адреса для этого домена.
Другой метод сбора адресов электронной почты — предлагать продукт или услугу бесплатно при условии, что пользователь предоставляет действующий адрес электронной почты, а затем использовать адреса, полученные от пользователей, в качестве целей для спама. Обычно предлагаемые продукты и услуги — это шутки дня, ежедневные цитаты из Библии, новости или биржевые оповещения, бесплатные товары или даже оповещения о зарегистрированных сексуальных преступниках в вашем районе. Другой метод был использован в конце 2007 года компанией iDate, которая использовала сбор электронной почты, направленной на подписчиков веб-сайта Quechup , для рассылки спама друзьям и контактам жертвы. [1]
Источники добычи
[ редактировать ]Спамеры могут собирать адреса электронной почты из разных источников. Популярный метод использует адреса электронной почты, которые их владельцы опубликовали для других целей. Сообщения Usenet , особенно те, которые находятся в архивах, таких как Группы Google , часто содержат адреса. Простой поиск в Интернете страниц с адресами — например, в корпоративных каталогах сотрудников или списках членов профессиональных обществ — с помощью спам-ботов может дать тысячи адресов, большинство из которых можно доставить. Спамеры также подписались на списки рассылки для обсуждения с целью сбора адресов авторов. Системы DNS и WHOIS требуют публикации технической контактной информации для всех доменов Интернета; спамеры незаконно просматривали эти ресурсы в поисках адресов электронной почты. Спамеры также пришли к выводу, что в целом для доменных имен компаний все адреса электронной почты будут следовать одному и тому же базовому шаблону и, таким образом, смогут точно угадать адреса электронной почты сотрудников, чьи адреса они не собрали. Многие спамеры используют программы под названием веб-пауки для поиска адресов электронной почты на веб-страницах. Идентификаторы сообщений статей Usenet часто выглядят как адреса электронной почты, поэтому их тоже собирают. Спамеры также собирают адреса электронной почты непосредственно из результатов поиска Google , фактически не просматривая веб-сайты, найденные в результате поиска. [ оригинальное исследование? ]
Вирусы-спамеры могут включать в себя функцию, которая сканирует диски зараженного компьютера (и, возможно, его сетевые интерфейсы) на предмет адресов электронной почты. Эти сканеры обнаруживают адреса электронной почты, которые никогда не были доступны в Интернете или Whois. Скомпрометированный компьютер, расположенный в общем сегменте сети, может перехватывать адреса электронной почты из трафика, адресованного его соседям по сети. Собранные адреса затем возвращаются спамеру через созданную вирусом бот-сеть. Кроме того, иногда к адресам может быть добавлена другая информация и перекрестные ссылки для извлечения финансовых и личных данных. [ оригинальное исследование? ]
Недавняя спорная тактика, получившая название « электронное ожидание » , предполагает добавление адресов электронной почты в базы данных прямого маркетинга. Специалисты по прямому маркетингу обычно получают списки потенциальных клиентов из таких источников, как подписка на журналы и списки клиентов. Выполняя поиск в Интернете и других ресурсах адресов электронной почты, соответствующих именам и почтовым адресам в их записях, специалисты по прямому маркетингу могут рассылать целевой спам. Однако, как и в случае с большинством «таргетинговых» спамеров, это неточно; пользователи сообщали, например, о получении предложений заложить их дом по определенному адресу, причем адрес явно является служебным, включая почтовую остановку и номер офиса. [ оригинальное исследование? ]
Спамеры иногда используют различные способы для подтверждения доставки адресов. Например, включение скрытой веб-ошибки в спам-сообщение, написанное на языке HTML, может привести к тому, что почтовый клиент получателя передаст адрес получателя или любой другой уникальный ключ на веб-сайт спамера. [2] Пользователи могут защититься от таких злоупотреблений, отключив в своей почтовой программе возможность отображать изображения или прочитав электронную почту в виде обычного текста, а не в формате. [ оригинальное исследование? ]
Аналогично, спамеры иногда используют веб-страницы, целью которых является удаление отправленных адресов из списков спама. В нескольких случаях было обнаружено, что они подписались на введенные адреса для получения большего количества спама. [3]
Когда люди заполняют форму, она часто продается спамеру, использующему веб-сервис или http-пост для передачи данных. Это произойдет немедленно и приведет к попаданию письма в различные базы данных спамеров. Доход, полученный от спамера, делится с источником. Например, если кто-то подает онлайн-заявку на ипотеку, владелец этого сайта, возможно, заключил сделку со спамером о продаже адреса. Спамеры считают эти электронные письма лучшими, поскольку они свежие и пользователь только что подписался на продукт или услугу, которые часто продаются через спам.
Законность
[ редактировать ]Во многих юрисдикциях действуют законы о борьбе со спамом , которые ограничивают сбор или использование адресов электронной почты. [ оригинальное исследование? ]
В Австралии создание или использование программ сбора адресов электронной почты (программное обеспечение для сбора адресов) является незаконным в соответствии с законодательством о борьбе со спамом 2003 года только в том случае, если оно предназначено для использования программ сбора адресов электронной почты для отправки нежелательной коммерческой электронной почты. [4] [5] Законодательство призвано запретить электронную почту, имеющую «связь с Австралией» — спам, исходящий из Австралии, рассылаемый в другие места, а также спам, отправляемый на австралийский адрес.
В Новой Зеландии действуют аналогичные ограничения, содержащиеся в Законе о нежелательных электронных сообщениях 2007 года. [6] В Соединенных Штатах Америки действует Закон о CAN-SPAM 2003 г. [7] сделало незаконным отправку коммерческих писем получателю, если адрес электронной почты получателя был получен:
- Использование автоматизированных средств, которые генерируют возможные адреса электронной почты путем объединения имен, букв или цифр в многочисленные комбинации.
- Использование автоматизированных средств для извлечения адресов электронной почты с веб-сайта в Интернете или собственной онлайн-службы, управляемой другим лицом, и такой веб-сайт или онлайн-служба включали в момент получения адреса уведомление о том, что оператор такого веб-сайта или онлайн-службы содержал не будет передавать, продавать или иным образом передавать адреса, поддерживаемые таким веб-сайтом или онлайн-сервисом, любой другой стороне в целях инициирования или предоставления возможности другим инициировать сообщения электронной почты.
Кроме того, операторы веб-сайтов не могут распространять свои законно собранные списки. Закон о CAN-SPAM 2003 года требует, чтобы операторы веб-сайтов и онлайн-сервисов включали уведомление о том, что сайт или служба не будут предоставлять, продавать или иным образом передавать адреса, поддерживаемые таким веб-сайтом или онлайн-службой, любой другой стороне для целях инициирования или предоставления возможности другим инициировать сообщения электронной почты.
Контрмеры
[ редактировать ]- Перебор адресов
- Изменение адресов — например, замена « [email protected] » на «bob at example dot com» — распространенный метод, усложняющий сбор адресов электронной почты. Хотя эту проблему относительно легко преодолеть (см., например, поиск в Google ), она все же эффективна. [8] [9] Это несколько неудобно для пользователей, которым приходится проверять адрес и исправлять его вручную.
- Изображения
- Использование изображений для отображения части или всего адреса электронной почты является очень эффективной мерой противодействия сбору данных. Обработка, необходимая для автоматического извлечения текста из изображений, экономически невыгодна для спамеров. Это очень неудобно для пользователей, которые вводят адрес вручную.
- Контактные формы
- Контактные формы по электронной почте , которые отправляют электронное письмо, но не раскрывают адрес получателя, вообще не публикуют адрес электронной почты. Однако этот метод не позволяет пользователям создавать сообщения в предпочитаемом ими почтовом клиенте, ограничивает содержимое сообщения обычным текстом и не оставляет пользователю автоматически запись о том, что он сказал, в папке «Отправленные».
- Обфускация JavaScript
- JavaScript электронной почты Обфускация создает для пользователей обычную интерактивную ссылку на электронную почту, скрывая при этом адрес от пауков. В исходном коде, который видят сборщики, адрес электронной почты зашифрован, закодирован или иным образом запутан. [8] Хотя это очень удобно для большинства пользователей, оно снижает доступность , например, для текстовых браузеров и программ чтения с экрана или для тех, кто не использует браузер с поддержкой JavaScript. [10]
- HTML-обфускация
- В HTML адреса электронной почты могут быть запутаны разными способами, например, путем вставки скрытых элементов в адрес или перечисления частей в неправильном порядке и использования CSS для восстановления правильного порядка. Преимущество каждого из них состоит в том, что они прозрачны для большинства пользователей, но ни один из них не поддерживает кликабельные ссылки электронной почты и не доступен для текстовых браузеров и программ чтения с экрана.
- КАПЧА
- Требование от пользователей пройти CAPTCHA перед предоставлением адреса электронной почты является эффективной мерой противодействия сбору данных. Популярное решение — сервис reCAPTCHA Mailhide. (Примечание: 12.9.18: Mailhide больше не поддерживается.) [11]
- Уведомление о CAN-СПАМе
- Чтобы обеспечить судебное преследование спамеров в соответствии с Законом о CAN-SPAM от 2003 года, оператор веб-сайта должен разместить уведомление о том, что «сайт или служба не будет предоставлять, продавать или иным образом передавать адреса, поддерживаемые таким веб-сайтом или онлайн-службой, любой другой стороне для целях инициирования или предоставления возможности другим инициировать сообщения электронной почты». [12]
- Мониторинг почтового сервера
- Почтовые серверы используют различные методы борьбы с атаками со сбором каталогов, в том числе отказываются связываться с удаленными отправителями, которые указали более одного недействительного адреса получателя в течение короткого времени, но большинство таких мер несут в себе риск нарушения работы законной электронной почты.
- Ловушки для пауков
- Ловушка для пауков — это часть веб-сайта, которая представляет собой приманку , предназначенную для борьбы с пауками, собирающими электронную почту. [13] Пауки с хорошим поведением не пострадают, поскольку файл robots.txt веб-сайта будет предупреждать пауков держаться подальше от этой области — предупреждение, на которое злоумышленники не обращают внимания. Некоторые ловушки блокируют доступ с IP-адреса клиента сразу после обращения к ловушке. [14] [15] [16] Другие, такие как сетевые тарпиты , предназначены для того, чтобы тратить время и ресурсы злонамеренных пауков, медленно и бесконечно передавая пауку бесполезную информацию. [17] Контент-приманка может содержать большое количество поддельных адресов — метод, известный как отравление списков ; хотя некоторые считают эту практику вредной. [18] [19] [20] [21]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Артур, Чарльз (13 сентября 2007 г.). «Действительно ли сайты социальных сетей заботятся о конфиденциальности?» . опекун. Архивировано из оригинала 22 декабря 2016 г. Проверено 30 октября 2007 г.
- ^ Хизер Харрелд (5 декабря 2000 г.). «Ошибки встроенного HTML представляют собой потенциальную угрозу безопасности» . ИнфоМир. Архивировано из оригинала 10 декабря 2006 г. Проверено 6 января 2007 г.
- ^ «Услуги по отмене спама» . The Spamhaus Project Ltd. 29 сентября 2005 г. Архивировано из оригинала 9 марта 2009 г. Проверено 6 января 2007 г.
- ^ «Анализ EFA австралийских законопроектов о спаме 2003 г.» . efa.org.au. Электронные границы Австралии . 01.11.2003. Программное обеспечение и списки адресов для сбора адресов. Архивировано из оригинала 04 мая 2021 г.
- ^ «Австралия захлопывает дверь перед спамом» . 18 августа 2003 г. Архивировано из оригинала 3 февраля 2007 г. Проверено 4 июля 2021 г.
- ^ «Закон о нежелательных электронных сообщениях № 7 2007 г., Публичный закон, подраздел 2 — Программное обеспечение для сбора адресов и списки собранных адресов» . www.legal.govt.nz . Архивировано из оригинала 17 февраля 2021 г. Проверено 4 июля 2021 г.
- ^ «Публичное право 108–187» (PDF) . Архивировано (PDF) из оригинала 4 января 2006 г. Проверено 28 мая 2007 г.
- ^ Jump up to: а б Сильван Мюлеманн, 20 июля 2008 г., Сравнение девяти способов запутать адреса электронной почты
- ^ Холфельд, Оливер; Граф, Томас; Чуку, Флорин (2012). Длительное поведение ботов, собирающих спам (PDF) . Интернет-конференция по измерениям ACM. Архивировано (PDF) из оригинала 25 июля 2014 г. Проверено 18 июля 2014 г.
- ↑ Роэл Ван Гилс, A List Apart , 6 ноября 2007 г., Изящное запутывание электронной почты. Архивировано 22 февраля 2011 г. на Wayback Machine.
- ^ «Mailhide: бесплатная защита от спама» . Проверено 18 марта 2023 г.
- ^ «15 Кодекса США § 7704 — Другие меры защиты пользователей коммерческой электронной почты». Архивировано 19 сентября 2016 г. в Wayback Machine , раздел a.4.b.1.Ai.
- ^ Глоссарий SEO. Архивировано 28 декабря 2010 г. на Wayback Machine : «Ловушка для пауков относится либо к непрерывному циклу, в котором пауки запрашивают страницы, а сервер запрашивает данные для отображения страницы, либо к преднамеренной схеме, разработанной для идентификации (и «запрета» страниц). ") пауки, которые не уважают robots.txt."
- ^ [1] Архивировано 17 мая 2008 г. в Wayback Machine. Ловушка для пауков, которая блокирует доступ клиентов к ней.
- ^ Томас Зейтамль, Ловушка для пауков: как это работает. Архивировано 11 апреля 2018 г. в Wayback Machine.
- ^ Ральф Д. Клот, Ловите плохих ботов в ловушку для ботов. Архивировано 17 января 2006 г. в Wayback Machine.
- ^ «Как сохранить плохих роботов» . Fleiner.com . Архивировано из оригинала 18 марта 2023 года . Проверено 18 марта 2023 г.
- ^ Ральф Д. Клот, Борьба со СПАМом, ловля плохих ботов. Архивировано 1 июня 2006 г. в Wayback Machine : «Создание веб-страниц с длинными списками поддельных адресов с целью испортить базу данных адресов спам-бота не поощряется, поскольку неизвестно, спамерам это действительно важно, и, с другой стороны, использование этих адресов спамерами приведет к дополнительной нагрузке на сетевые каналы и задействованные невиновные сторонние серверы».
- ^ Harvester Killer. Архивировано 11 апреля 2008 г. в Wayback Machine : генерирует фальшивые электронные письма и ловит пауков в бесконечный цикл.
- ^ «Поддержка переносимости: блокировка пауков => Ловушка для пауков — обнаруживает и блокирует плохих ботов» . Архивировано из оригинала 6 июля 2011 г. Проверено 12 февраля 2011 г. Ловушка для пауков, которая генерирует 5000 поддельных адресов электронной почты и блокирует дальнейший доступ клиента.
- ^ robotcop.org. Архивировано 20 октября 2019 г. на Wayback Machine : «Веб-мастера могут реагировать на плохо себя ведущих пауков, ловя их в ловушку, отравляя свои базы данных собранных адресов электронной почты или просто блокируя их».