Корпус Хамшахри
Корпус Хамшахри ( персидский : پیکره همشهری ) — это значительный персидский корпус, основанный на иранской газете «Хамшахри» , одной из первых онлайн-газет на персидском языке в Иране. Первоначально он был собран и составлен Эхсаном Дарруди из DBRG Group. [1] университета Тегеранского . Позже команду возглавил Абольфазл Але-Ахмад. [2] построен на этом корпусе и создал первую коллекцию персидских текстов, подходящую для задач оценки поиска информации .
Этот корпус был создан путем сканирования новостных статей с веб-сайта Хамшахри и обработки HTML-страниц для создания стандартного текстового корпуса для современных экспериментов по поиску информации.
Версия 1.0
[ редактировать ]Сборник содержит более 160 000 статей по следующим тематическим категориям: политика, городские новости, экономика, репортажи, редакционные статьи, литература, наука, общество, зарубежные новости, спорт и т. д. Размер документов варьируется от коротких новостей (до 1 КБ). ) до довольно длинных статей (например, 140 КБ) со средним размером 1,8 КБ.
Корпус доступен для скачивания в нескольких форматах: [2]
- Текст с тегами: 560 МБ
- В таблицах SQL Server 2000: 712 МБ.
Версия 2.0
[ редактировать ]Вторая версия Hamshahri Corpus была выпущена 20 октября 2008 года. Она предлагает несколько новых функций и улучшений:
- Дополнительные новости: 323 616 текстовых историй в 3206 XML-файлах (по одному файлу на каждый день)
- Увеличенный временной интервал: с 22 июня 1996 г. по 13 мая 2007 г.
- Больше по размеру: 1,42 ГБ без сжатия.
- Стандартный контейнер: Unicode XML
- Включенные изображения: изображения были извлечены из новостей и сохранены (доступны в дополнительном пакете), что делает их пригодными для задач поиска изображений.
- Новости по категориям: новости распределяются по категориям полуавтоматически (подходит для задач категоризации и классификации текста ).
Корпус доступен для скачивания в формате XML.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Новости DBRG. Архивировано 15 мая 2017 г. в Wayback Machine. исследовательской группе базы данных
- ^ Jump up to: а б Хамшахри. Архивировано 14 мая 2017 г. в Wayback Machine. исследовательской группе базы данных
Внешние ссылки
[ редактировать ]- Домашняя страница Корпуса Хамшахри. Архивировано 14 мая 2017 г. на Wayback Machine.
- Домашняя страница коллекции irBlogs