Конференция и лаборатории Оценочного форума
| Конференция и лаборатории Оценочного форума | |
|---|---|
 Разблокирование доступа к информации | |
| Аббревиатура | КЛЮЧ |
| Дисциплина | поиск информации |
| Подробности публикации | |
| Издатель | Springer и CEUR Материалы семинара |
| История | 2000 ; ранее известный как Форум межъязыковой оценки с 2000 по 2009 год. |
| Частота | ежегодный |
| Веб-сайт | www |
Конференция и лаборатории Evaluation Forum (ранее Cross-Language Evaluation Forum ), или CLEF , — это организация, продвигающая исследования в области многоязычного доступа к информации (в настоящее время с упором на европейские языки ). Его конкретные функции заключаются в поддержании базовой структуры для тестирования систем поиска информации и создании хранилищ данных, которые исследователи могут использовать при разработке сопоставимых стандартов . [1] Организация проводит конференцию каждый сентябрь в Европе, начиная с первого учредительного семинара в 2000 году. С 1997 по 1999 год TREC , аналогичная конференция по оценке, организуемая ежегодно в США, включала трек по оценке межъязыкового IR для европейских языков. Этот трек координировался совместно NIST и группой европейских волонтеров, которая росла с годами. В конце 1999 года некоторыми участниками было принято решение перенести деятельность в Европу и организовать ее самостоятельно. Цель состояла в том, чтобы расширить охват большего числа языков и сосредоточить внимание на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС. [2]
CLEF 2019 ознаменовал 20-летие конференции и отметил его публикацией книги [3] об уроках, извлеченных за 20 лет оценочной деятельности.
Структура CLEF
[ редактировать ]До 2010 года [4] CLEF был организован как семинар, совмещенный с Европейской конференцией по цифровым библиотекам , состоящий из ряда оценочных лабораторий или направлений, аналогично TREC. В 2010 году CLEF превратился в самостоятельную конференцию с оценочными лабораториями, лабораторными семинарами и основным направлением конференции. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, ранее ежегодно организуемый в Schloß Dagstuhl , объединился с CLEF и стал одной из его оценочных лабораторий.
Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных заданий. Задания предназначены для тестирования различных аспектов информационно-поисковых систем и стимулирования их развития. Группы исследователей предлагают и организуют кампании для решения этих задач, а результаты используются в качестве эталонов современного состояния в конкретных областях. [5] [6]
Вначале CLEF сосредоточился в основном на довольно типичных задачах поиска информации, но затем перешел к более конкретным задачам. Например, задача интерактивного поиска изображений 2005 года работала с иллюстрацией научно-популярных текстов с использованием изображений с Flickr. [7] а задача медицинского поиска 2010 года была сосредоточена на поиске компьютерной томографии, МРТ и рентгенографических изображений. [8] В 2017 году CLEF выполнил ряд задач, например, по идентификации биологических видов по фотографиям или видеоклипам, по стилистическому анализу авторства и по доступу к информации, связанной со здоровьем.
Список семинаров и конференций CLEF
[ редактировать ]| Год | Расположение | Примечание | Слушания | Редакторы | |
|---|---|---|---|---|---|
| 2000 | Лиссабон | Учредительный цех | Межъязыковый поиск и оценка информации: семинар Форума межъязыковой оценки (CLEF 2000) | Кэрол Энн Питерс | |
| 2001 | Дармштадт | Оценка межъязыковых систем поиска информации: второй семинар Форума межъязыковой оценки (CLEF 2001) Пересмотренные документы | Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк | ||
| 2002 | Рим | Достижения в межъязыковом поиске информации: третий семинар Форума межъязыковой оценки (CLEF 2002) Пересмотренные статьи | Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк | ||
| 2003 | Тронхейм | Сравнительная оценка многоязычных систем доступа к информации: Четвертый семинар Форума по межъязыковой оценке (CLEF 2003) Пересмотренные избранные статьи | Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк | ||
| 2004 | Ванна | Многоязычный доступ к информации для текста, речи и изображений: Пятый семинар Форума по перекрестной языковой оценке (CLEF 2004) Пересмотренные избранные статьи | Кэрол Энн Питерс, Пол Клаф, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клак и Бернардо Маньини. | ||
| 2005 | Вена | Доступ к многоязычным информационным хранилищам: шестой семинар Форума межъязыковой оценки (CLEF 2005). Пересмотренные избранные статьи | Кэрол Энн Питерс, Фред Си Гей, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клак, Бернардо Маньини, Хеннинг Мюллер и Маартен де Рийке | ||
| 2006 | Аликанте | Оценка многоязычного и мультимодального поиска информации: седьмой семинар Форума по межъязыковой оценке (CLEF, 2006). Пересмотренные избранные статьи | Кэрол Энн Питерс и Клаф, П. и Фред К. Гей, и Юсси Карлгрен, и Бернардо Маньини, и Дуг Оард, и Маартен де Рийке , и М. Стемпфхубер | ||
| 2007 | Будапешт | Достижения в области многоязычного и мультимодального поиска информации: восьмой семинар Форума по межъязыковой оценке (CLEF, 2007). Пересмотренные избранные статьи | Кэрол Энн Питерс и Джиджкун В. и Мандл Т. и Хеннинг Мюллер и Оард Д.В. и Пеньяс А. и Петрас В. и Сантос Д. | ||
| 2008 | Орхус | Оценочные системы для многоязычного и мультимодального доступа к информации: девятый семинар Форума по межъязыковой оценке (CLEF 2008). Пересмотренные избранные статьи | Кэрол Энн Питерс и Деселерс Т. и Никола Ферро и Хулио Гонсало и Гарет Дж. Ф. Джонс и Куримо М. и Мандл Т. и Пеньяс А. | ||
| 2009 | Корфу | Оценка многоязычного доступа к информации, том. I Эксперименты по поиску текста — десятый семинар Форума по межъязыковой оценке (CLEF, 2009). Пересмотренные избранные статьи | Кэрол Энн Питерс и Ди Нунцио, ГМ, и Куримо, М. и Мандл, Т. и Мостефа, Д. и Пеньяс, А. и Рода, Г. | ||
| 2010 | Падуя | Первая конференция | Оценка многоязычного и мультимодального доступа к информации. Материалы Международной конференции Форума межъязыковой оценки (CLEF 2010). | Маристелла Агости , Никола Ферро, Кэрол Энн Питерс, Маартен де Рийке и Алан Смитон | |
| 2011 | Амстердам | Оценка многоязычного и мультимодального доступа к информации. Материалы Второй Международной конференции Форума межъязыковой оценки (CLEF 2011) | Форнер П. и Хулио Гонсало, Кекяляйнен Дж. и Лалмас М. и Маартен де Рийке | ||
| 2012 | Рим | Оценка доступа к информации. Многоязычие, мультимодальность и визуальная аналитика. Материалы Третьей Международной конференции Инициативы CLEF (CLEF 2012) | Катарчи Т., Форнер П., Химстра Д., Пеньяс А. и Сантуччи Г. | ||
| 2013 | Валенсия | Оценка доступа к информации сочетается с многоязычностью, мультимодальностью и визуализацией. Материалы Четвертой Международной конференции Инициативы CLEF (CLEF 2013) | Форнер П., Хеннинг Мюллер, Паредес Р., Россо П. и Штейн Б. | ||
| 2014 | Шеффилд | Оценка доступа к информации: многоязычие, мультимодальность и взаимодействие. Материалы Пятой Международной конференции Инициативы CLEF (CLEF 2014) | Канулас Э. и Лупу М. и Клаф П. и Сандерсон М. и Холл М. и Хэнбери А. и Томс Э. | ||
| 2015 | Тулуза | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Шестой Международной конференции Ассоциации CLEF (CLEF 2015) | Мот Дж. и Савой Дж. и Яап Кампс и Пинель-Совагнат К. и Гарет Дж. Ф. Джонс и СанХуан Э. и Каппеллато Л. и Никола Ферро | ||
| 2016 | Эвора | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Седьмой Международной конференции Ассоциации CLEF (CLEF 2016) | Фур Н. и Куарежма П. и Гонсалвес Т. и Ларсен Б. и Балог К. и Макдональд К. и Каппеллато Л. и Никола Ферро | ||
| 2017 | Дублин | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Восьмой Международной конференции Ассоциации CLEF (CLEF 2017) | Гарет Дж. Ф. Джонс и Лоулесс С. и Хулио Гонсало и Келли Л. и Лорейн Гурио и Томас Мандл и Каппеллато Л. и Никола Ферро | ||
| 2018 | Авиньон | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Девятой Международной конференции Ассоциации CLEF (CLEF 2018) | Патрис Белло, Шираз Трабелси, Жозиан Мот, Фионн Мурта, Цзян-Юн Ни, Лор Сулье, Эрик СанХуан, Линда Каппеллато и Никола Ферро | ||
| 2019 | Лугано | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Десятой Международной конференции Ассоциации CLEF (CLEF 2019) | Фабио Крестани, Мартин Брашлер, Жак Савой, Андреас Раубер, Хеннинг Мюллер, Давид Лосада, Гундула Хейнац, Линда Каппеллато и Никола Ферро | ||
| 2020 | Салоники (виртуально из-за COVID-19) | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Одиннадцатой Международной конференции Ассоциации CLEF (CLEF 2020) | Ави Арампацис, Евангелос Канулас, Теодора Цикрика, Стефанос Врочидис, Хидео Джохо, Кристина Лиома, Карстен Эйкхофф, Орели Невеоль, А., Линда Каппеллато и Никола Ферро | ||
| 2021 | Бухарест (виртуальный из-за COVID-19) | Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Двенадцатой Международной конференции Ассоциации CLEF (CLEF 2021) | К. Сельчук Кандан, Богдан Ионеску, Лоррейн Гурио, Биргер Ларсен, Хеннинг Мюллер, Алексис Жоли, Мария Майстро, Флорина Пирой, Гульельмо Фаджиоли и Никола Ферро |
Ссылки
[ редактировать ]- ^ Питерс, Кэрол; Брашлер, Мартин; Шукри, Халид; Гонсало, Хулио; Клюк, Майкл. Будущее оценки межъязыковых систем поиска информации . Второй семинар Форума межъязыковой оценки, CLEF 2001. CiteSeerX 10.1.1.109.7647 .
- ^ Питерс, Кэрол и Мартин Брашлер. «Европейское исследовательское письмо: Межъязыковая оценка системы: кампании CLEF». Журнал Ассоциации информационных наук и технологий 52.12 (2001): 1067-1072.
- ^ Ферро, Никола; Питерс, Кэрол (2019). Оценка информационного поиска в меняющемся мире – уроки, извлеченные за 20 лет существования CLEF . том 41 серии «Информационный поиск». Международное издательство Springer, Германия. дои : 10.1007/978-3-030-22948-1 .
- ^ История CLEF до 2010 г.
- ^ «Специальный выпуск CLEF». Информационный поиск . 7 (1–2). 2004. doi : 10.1023/B:INRT.0000009472.59294.f6 .
- ^ Фредрик К. Гей, Норико Кандо и Кэрол Питерс «Межъязыковой поиск информации: путь вперед» в книге « Обработка информации и управление» том. 41, нет. 3, с.415-431 Май 2005 г., дои : 10.1016/j.ipm.2004.06.006
- ^ Карлгрен, Юсси ; Гонсало, Хулио; Клаф, Пол (2006). Обзор iclef 2006: Поиск в репозитории для обмена фотографиями flickr www . Седьмой семинар Форума межъязыковой оценки CLEF 2006. .
- ^ Мюллер, Хеннинг (20 мая 2010 г.). «Медицинская поисковая задача» . ImageCLEF — межъязыковые оценки поиска изображений . Проверено 27 мая 2010 г.
Внешние ссылки
[ редактировать ]| Международный | |
|---|---|
| Национальный | |
