80 ног
 | |
Тип сайта | Служба веб-сканирования |
|---|---|
| Доступно в | Английский |
| Владелец | Датафинити, ООО |
| Создано | Шион Дейсаркар |
| URL-адрес | www |
| Запущен | сентябрь 2009 г. |
80legs — это служба веб-сканирования , которая позволяет пользователям создавать и запускать веб-сканирование с помощью своего программного обеспечения в качестве сервисной платформы.
История
[ редактировать ]80legs был создан компанией Computational Crawling из Хьюстона, штат Техас . Компания запустила частную бета-версию 80legs в апреле 2009 года и публично представила услугу на конференции DEMOfall 09. На момент публичного запуска 80legs предлагал индивидуальные услуги по сканированию и парсингу веб-страниц. С тех пор компания добавила планы подписки и другие предложения продуктов. [1] [2]
Технология
[ редактировать ]80legs построен на основе распределенной вычислительной сети. [3] Эта сеть состоит примерно из 50 000 отдельных компьютеров, распределенных по всему миру, и использует технологию мониторинга пропускной способности для предотвращения превышения ограничения пропускной способности. [4]
80legs подвергся критике со стороны многих владельцев сайтов за то, что его технология эффективно действует как распределенная атака типа «отказ в обслуживании» и не подчиняется robots.txt . [5] [6] [7] [8] Поскольку среднестатистический веб-мастер не знает о существовании 80legs, заблокировать доступ к его сканеру можно только тогда, когда уже слишком поздно, сервер подвергся DDoS-атаке, а виновник обнаружен после трудоемкого углубленного анализа лог-файлов. .
Некоторые наборы правил для modsecurity (например, от Atomicorp [9] ) заблокируйте весь доступ к веб-серверу с 80legs, чтобы предотвратить DDOS. WebKnight также по умолчанию блокирует 80legs. Поскольку это распределенный сканер, его невозможно заблокировать по IP. Лучший способ заблокировать 80legs — это использовать UserAgent «008». [10] место крушения По умолчанию блокирует 80 ног.
Ссылки
[ редактировать ]- ^ https://venturebeat.com/2009/12/21/80legs-web-crawler-free/ 80legs бесплатно предоставляет свой веб-сканер
- ^ http://www.readwriteweb.com/archives/bulk_social_data_80legs.php . Архивировано 22 июля 2010 г. в Wayback Machine. Мысли человека, который хорошо продал бы мир.
- ^ http://gigaom.com/2009/09/22/80legs-is-where-setihome-meets-google/ 80legs – это место, где SETI@home встречается с Google.
- ^ http://gigaom.com/2009/05/14/80legs-cares-about-your-bandwidth-cap/ 80legs заботится об ограничении пропускной способности
- ^ http://www.datamadness.com/2012/01/ddosed-by-80legs/. Архивировано 16 января 2012 г. на Wayback Machine. Подделано DDOS 80legs.
- ^ http://news.ycombinator.com/item?id=1056960 Ветка HackerNews.
- ^ http://www.webmasterworld.com/search_engine_spiders/4457359.htm ветка Webmasterworld.
- ^ https://twitter.com/openstreetmap/status/221188821721681920 Жалоба от OpenStreetMap.
- ^ «Атомикорп» . Проверено 5 февраля 2013 г. [ постоянная мертвая ссылка ]
- ^ «80legs — самый мощный веб-сканер всех времен» . Архивировано из оригинала 31 октября 2013 г. Проверено 6 ноября 2013 г.