Кости болят
BotSeer представлял собой веб-информационную систему и инструмент поиска, используемый для исследования веб-роботов и тенденций в развертывании и соблюдении протокола исключения роботов . Его создал и спроектировал Ян Сунь. [1] Исаак Г. Каунсилл, [2] Цзымин Чжуан [3] и К. Ли Джайлз . BotSeer работал примерно с 2007 по 2010 год.
История [ править ]
BotSeer служил ресурсом для изучения регулирования и поведения веб-роботов, а также информации о создании эффективных файлов robots.txt и реализациях сканеров. Он был общедоступен во Всемирной паутине в Колледже информационных наук и технологий Пенсильванского государственного университета .
BotSeer предоставляет такие услуги, как поиск в robots.txt, анализ предвзятости роботов, [4] [5] и анализ журналов, созданных роботом. Прототип BotSeer также позволял пользователям выполнять поиск по 6000 файлам документации и исходным кодам из 18 проектов сканеров с открытым исходным кодом.
BotSeer проиндексировал и проанализировал 2,2 миллиона файлов robots.txt, полученных с 13,2 миллиона веб-сайтов, а также большой журнал веб-сервера о реальном поведении роботов и связанный с ним анализ. Целью BotSeer было оказание помощи исследователям, веб-мастерам, разработчикам веб-сканеров и другим лицам с исследовательскими и информационными потребностями, связанными с веб-роботами. Однако некоторые люди восприняли BotSeer негативно, утверждая, что это противоречит целям соглашения robots.txt. [6]
BotSeer также установил приманку [7] для проверки этики, производительности и поведения веб-сканеров .
Ссылки [ править ]
- «Веб-мастера могут влиять на результаты поиска» . Новостная лоза. Ассошиэйтед Пресс. 28 ноября 2007 года . Проверено 11 декабря 2011 г.
- «Google предпочитают веб-администраторы» . Сетевой мир. 15 ноября 2007 года. Архивировано из оригинала 18 декабря 2007 года . Проверено 19 декабря 2007 г.
Примечания [ править ]
- ^ «Ян Сунь» . Архивировано из оригинала 4 января 2014 г. Проверено 13 июня 2019 г.
- ↑ Исаак Г. Советл. Архивировано 17 мая 2014 г., в Wayback Machine.
- ↑ Цзымин Чжуан. Архивировано 28 декабря 2007 г., в Wayback Machine.
- ^ Ян Сунь, З. Чжуан, И. Каунсилл, К. Л. Джайлз, Определение предвзятости к поисковым системам из файла Robots.txt. Архивировано 2 апреля 2015 г. в Wayback Machine , Труды Международной конференции IEEE / WIC / ACM по веб-аналитике (WI, 2007 г.). ) , 149-155, 2007.
- ^ «Zoom Web Media предлагает доступные услуги веб-дизайна, разработки и SEO» . www.zoomwebmedia.com . Архивировано из оригинала 30 ноября 2012 г.
- ^ БотСир? - Форумы поисковых систем по лучшим практикам SEO
- ^ Тест поведения и производительности веб-роботов на Wayback Machine (архивировано 22 декабря 2008 г.) (вместо несвязанного текущего сайта )
Внешние ссылки [ править ]
- «BotSeer: Robots.txt и поисковая система веб-сканера» . Архивировано из оригинала 8 февраля 2010 г. Проверено 11 декабря 2011 г.