WARC (формат файла)
Расширение имени файла | .warc |
---|---|
Тип интернет-СМИ | приложение/варк [1] |
Расширено с | АРК [2] |
Стандартный | ИСО 28500:2017 [3] |
Открытый формат ? | Да |
Веб-сайт | ПК |
WARC архивный (Web ARChive) Формат архива определяет метод объединения нескольких цифровых ресурсов в единый файл вместе со связанной информацией. Формат WARC представляет собой версию Интернет-архива . формата файла ARC_IA [4] который традиционно использовался для хранения « интернет-сканирований » в виде последовательностей блоков контента, собранных из Всемирной паутины . Формат WARC обобщает старый формат для лучшей поддержки потребностей архивных организаций в сборе, доступе и обмене. Помимо основного контента, записанного в данный момент, редакция включает в себя связанный вторичный контент, такой как назначенные метаданные , сокращенные события обнаружения дубликатов (см. §7.6 «повторное посещение») и более поздние преобразования. [5] Формат WARC создан на основе потоков HTTP/1.0 с аналогичным заголовком и использованием CRLF в качестве разделителей, что делает его очень удобным для реализации сканеров.
Впервые указано в 2008 году, [6] В настоящее время WARC признан большинством национальных библиотечных систем в качестве стандарта веб-архивирования. [7]
Программное обеспечение
[ редактировать ]- Веб-архиватор Heritrix на Java
- wget (начиная с версии 1.14) [8]
- Conifer, ранее Webrecorder
- StormCrawler
- Апач Натч
- лиархив
Ссылки
[ редактировать ]- ^ "приложение/варк" . Проверено 17 марта 2018 г.
- ^ "Введение" . СоурсФордж . Проверено 5 марта 2015 г.
- ^ «Информация и документация — формат файла WARC» . Проверено 16 марта 2018 г.
- ^ «ARC_IA, формат файла ARC Интернет-архива» . www.digitalpreservation.gov . 14 февраля 2008 года . Проверено 9 мая 2015 г.
- ^ «WARC, формат файла Web ARChive» . www.digitalpreservation.gov . 31 августа 2009 года . Проверено 9 мая 2015 г.
- ^ Арвидсон, Аллан; Кунце, Джон; Мор, Гордон; Стек, Майкл (5 июля 2008 г.). «Формат файла WARC» . IETF . Проверено 29 апреля 2021 г.
- ^ Аллегрецца, Стефано (21 апреля 2016 г.). «Новые перспективы веб-архивирования: стандарты ISO 28500 (формат WARC) и ISO/TR 14873, касающиеся качества веб-архивирования» . Дигилия . 2015 : 49–61.
- ^ Скривано, Джузеппе (6 августа 2012 г.). «Выпущен GNU wget 1.14» . Выпущена GNU wget 1.14 . Фонд свободного программного обеспечения, Inc. Проверено 25 февраля 2016 г.