лоскутный
 | |
| Разработчик(и) | Zyte (ранее Scrapinghub) |
|---|---|
| Первоначальный выпуск | 26 июня 2008 г. |
| Стабильная версия | 2.11.2 [ 1 ] 
/ 14 мая 2024 г |
| Репозиторий | |
| Написано в | Питон |
| Операционная система | Windows , MacOS , Linux |
| Тип | Веб-сканер |
| Лицензия | Лицензия БСД |
| Веб-сайт | царапающий |
Scrapy ( / ˈ sk r eɪ p aɪ / [ 2 ] SKRAY -peye ) — это с открытым исходным кодом, для веб-сканирования бесплатная платформа написанная на Python. Первоначально разработанный для парсинга веб-страниц , он также может использоваться для извлечения данных с помощью API или в качестве веб-сканера общего назначения. [ 3 ] В настоящее время его поддерживает Zyte (ранее Scrapinghub ), компания, занимающаяся разработкой и услугами веб-скрапинга.
Архитектура проекта Scrapy построена на «пауках», которые представляют собой автономные сканеры, которым дается набор инструкций. Следуя духу других фреймворков, не повторяйте себя , таких как Django , [ 4 ] это упрощает создание и масштабирование крупных проектов сканирования, позволяя разработчикам повторно использовать свой код.
Некоторые известные компании и продукты, использующие Scrapy: Lyst, [ 5 ] [ 6 ] Parse.ly , [ 7 ] Сайон Технологии , [ 8 ] Sciences Po Medialab, [ 9 ] Data.gov.uk. Сайт данных мирового правительства [ 10 ]
История
[ редактировать ]Scrapy родился в лондонской компании Mydeco, занимающейся веб-агрегацией и электронной коммерцией, где его разрабатывали и поддерживали сотрудники Mydeco и Insophia (веб-консалтинговая компания, базирующаяся в Монтевидео , Уругвай). Первый публичный выпуск состоялся в августе 2008 года под лицензией BSD , а выпуск версии 1.0 состоялся в июне 2015 года. [ 11 ] В 2011 году новым официальным сопровождающим стал Zyte (ранее Scrapinghub). [ 12 ] [ 13 ]
Ссылки
[ редактировать ]- ^ «Выпуск 2.11.2» . 14 мая 2024 г. Проверено 17 мая 2024 г.
- ^ Коммит 975f150
- ^ Краткий обзор Scrapy .
- ^ «Часто задаваемые вопросы» . Часто задаваемые вопросы, документация Scrapy 2.8.0 . Проверено 28 июля 2015 г.
- ^ Белл, Эдди; Хойссер, Джонатан. «Масштабируемый парсинг с использованием машинного обучения» . Архивировано из оригинала 4 июня 2016 года . Проверено 28 июля 2015 г.
- ^ Скрэпи | Компании, использующие Scrapy
- ^ Монталенти, Эндрю (27 октября 2012 г.). «Веб-сканирование и извлечение метаданных в Python» . Веб-сканирование и извлечение метаданных в Python — Доклад докладчика . Проверено 11 мая 2015 г.
- ^ «Недобросовестные компании» . Скрэпи | Компании, использующие Scrapy .
- ^ Hyphe v0.0.0: вышла первая версия нашего нового веб-сканера!
- ^ Бен Фиршман [@bfirsh] (21 января 2010 г.). «На сайте World Govt Data используются Django, Solr, Haystack, Scrapy и другие интересные модные словечки http://bit.ly/5jU3La #opendata #datastore» ( твит ) – через Twitter .
- ^ Медина, Джулия (19 июня 2015 г.). «Вышел официальный релиз Scrapy 1.0!» . Scrapy-users (список рассылки).
- ^ Хоффман, Пабло (2013). Список основных авторов и участников . Проверено 18 ноября 2013 г.
- ^ Центр очистки интервью .