Распределенная поисковая система
Распределенная поисковая система — это поисковая система , в которой нет центрального сервера. В отличие от традиционных централизованных поисковых систем, такие работы, как сканирование , интеллектуальный анализ данных , индексирование и запросов обработка , распределяются между несколькими узлами децентрализованным образом, где нет единой точки контроля.
История
[ редактировать ]Поиск
[ редактировать ]Presearch, запущенная в 2017 году, представляет собой поисковую систему на базе стандарта ERC20 (PRE), работающую на основе распределенной сети узлов, управляемых сообществом, которые агрегируют результаты из различных источников. Это обеспечивает поиск на presearch.com/. Планируется, что это станет предшественником, в котором каждый узел будет сотрудничать в глобальном децентрализованном индексе. [1] В среднем Presearch выполняет 5 миллионов поисковых запросов в день и имеет 2,2 миллиона зарегистрированных пользователей. 1 сентября 2021 г. Presearch был добавлен в качестве опции по умолчанию в список поисковых систем Android для ЕС. [2] 27 мая 2022 года Presearch официально перешла со своей тестовой сети на основную. Это означает, что весь поисковый трафик через службу теперь проходит через децентрализованную сеть узлов Presearch, управляемых добровольцами. [3]
ЯСи
[ редактировать ]15 декабря 2003 года Майкл Кристен объявил о разработке поисковой системы на основе P2P , получившей впоследствии название YaCy на онлайн-форумах Heise . [4] [5]
Ищет
[ редактировать ]Seeks представлял собой прокси-сервер веб-поиска с открытым исходным кодом и распределенный инструмент для совместной работы для веб-поиска. В 2016 году он перестал быть пригодным для использования выпуском.
ИнфраПоиск
[ редактировать ]В апреле 2000 года несколько программистов (в том числе Джин Кан и Стив Уотерхаус ) создали прототип веб-поисковой системы P2P на основе Gnutella под названием InfraSearch . Позже технология была приобретена Sun Microsystems и включена в проект JXTA . [6] Он должен был работать в базах данных участвующих веб-сайтов, создавая P2P -сеть, доступ к которой можно было получить через веб-сайт InfraSearch. [7] [8] [9]
Опенкола
[ редактировать ]31 мая 2000 года компания Steelbridge Inc. объявила о разработке OpenCOLA — совместной дистрибутивной поисковой системы с открытым исходным кодом. [10] Он запускается на компьютере пользователя, сканирует веб-страницы и ссылки, которые пользователь помещает в свою папку opencola, и делится полученным индексом по своей P2P- сети. [11]
фараон
[ редактировать ]В феврале 2001 года Вольф Гарбе опубликовал идею одноранговой поисковой системы. [12] запустил прототип Faroo в 2004 году, [13] и выпустил его в 2005 году. [14] [15]
Цели
[ редактировать ]Цели создания распределенной поисковой системы включают в себя:
1. создать независимую поисковую систему, поддерживаемую сообществом;
2. сделать операцию поиска открытой и прозрачной, используя программное обеспечение с открытым исходным кодом;
3. распределить доходы от рекламы между обслуживающими узлами, что может помочь создать более надежную веб-инфраструктуру;
4. позволить исследователям вносить вклад в разработку общедоступных алгоритмов ранжирования с открытым исходным кодом и контролировать обучение параметров алгоритма.
Проблемы
[ редактировать ]1. Объем данных, подлежащих обработке, огромен. Размер видимой сети оценивается в 5 ПБ и включает около 10 миллиардов страниц.
2. Задержка распределенной операции должна быть конкурентоспособной с задержкой коммерческих поисковых систем.
3. Необходимо разработать механизм, который не позволит злоумышленникам повредить распределенные структуры данных или ранг.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ «Presearch — это децентрализованная поисковая система» .
- ^ 297 акций; 4.3креда (01.09.2021). «Google добавляет Presearch в качестве опции по умолчанию на устройствах Android в ЕС» . Журнал поисковых систем . Проверено 10 ноября 2021 г.
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Кан, Майкл (26 мая 2022 г.). «Следующий Google? Децентрализованная поисковая система Presearch выходит из фазы тестирования» . Журнал ПК .
- ^ «ЯСи: Новости» . Архивировано из оригинала 24 ноября 2005 г.
- ^ Майкл Кристианс. «Я разрабатываю поисковую систему на основе P2P. Кто участвует?» . Хайз онлайн .
- ^ Джастин Хиббард. «Могут ли одноранговые вырасти?» . Красная селедка . [ постоянная мертвая ссылка ]
- ^ Саймон Фауст. «Подвиньтесь Yahoo, вот и InfraSearch» . Дмузыка . Архивировано из оригинала 13 октября 2000 г.
- ^ Шон М. Дуган. «Одноранговые сети снова произведут революцию в Интернете» . Инфомир . Архивировано из оригинала 18 октября 2000 г.
- ^ Джон Борланд. «Технология, подобная Napster, выводит веб-поиск на новый уровень» . Cnet .
- ^ Дэвид Эйкин . «Программное обеспечение запущено с небольшим треском» . Финансовый пост . [ мертвая ссылка ]
- ^ Пол Хельцель. «OpenCola — немного кода и улыбка» . Обзор технологий .
- ^ Волчий сноп. «BINGOOO – Превращение Всемирной паутины в виртуальную базу данных» (на немецком языке). Бизнес-информатика . Архивировано из оригинала 2 февраля 2014 г. Проверено 21 декабря 2010 г.
... Мы выступаем против концепции распределенной одноранговой поисковой системы...
- ^ Бернард Ланн. «Технические вопросы и ответы с основателем FAROO» . ЧитатьWriteWeb . Архивировано из оригинала 14 февраля 2011 г.
...Когда я начал работать над первым прототипом в 2004 году...
- ^ «ФАРУ: История» . Архивировано из оригинала 22 марта 2008 г.
- ^ «Пересмотр: определение стартовых точек сканера на основе посещенных страниц путем мониторинга HTTP-трафика» . Фару.