Конференция и лаборатории Оценочного форума

Конференция и лаборатории Оценочного форума
Разблокирование доступа к информации
Аббревиатура	КЛЮЧ
Дисциплина	поиск информации
Подробности публикации
Издатель	Springer и CEUR Материалы семинара
История	2000 ( 2000 ) (ранее известный как Форум межъязыковой оценки с 2000 по 2009 год)
Частота	ежегодный
Веб-сайт	www .clef-инициатива .Евросоюз

Конференция и лаборатории Evaluation Forum (ранее Cross-Language Evaluation Forum ), или CLEF , — это организация, продвигающая исследования в области многоязычного доступа к информации (в настоящее время с упором на европейские языки ). Его конкретные функции заключаются в поддержании базовой структуры для тестирования систем поиска информации и создании хранилищ данных, которые исследователи могут использовать при разработке сопоставимых стандартов . Организация проводит конференцию каждый сентябрь в Европе, начиная с первого учредительного семинара в 2000 году. С 1997 по 1999 год TREC , аналогичная конференция по оценке, организуемая ежегодно в США, включала трек по оценке межъязыкового IR для европейских языков. Этот трек координировался совместно NIST и группой европейских волонтеров, которая росла с годами. В конце 1999 года некоторыми участниками было принято решение перенести деятельность в Европу и организовать ее самостоятельно. Цель состояла в том, чтобы расширить охват большего числа языков и сосредоточить внимание на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС.

CLEF 2019 ознаменовал 20-летие конференции и отметил его публикацией книги об уроках, извлеченных за 20 лет оценочной деятельности.

Структура CLEF

До 2010 года CLEF был организован как семинар, совмещенный с Европейской конференцией по цифровым библиотекам , состоящий из ряда оценочных лабораторий или направлений, аналогично TREC. В 2010 году CLEF превратился в самостоятельную конференцию с оценочными лабораториями, лабораторными семинарами и основным направлением конференции. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, ранее ежегодно организуемый в Schloß Dagstuhl , объединился с CLEF и стал одной из его оценочных лабораторий.

Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных заданий. Задания предназначены для тестирования различных аспектов информационно-поисковых систем и стимулирования их развития. Группы исследователей предлагают и организуют кампании для решения этих задач, а результаты используются в качестве эталонов современного состояния в конкретных областях.

Вначале CLEF сосредоточился в основном на довольно типичных задачах поиска информации, но затем перешел к более конкретным задачам. Например, задача интерактивного поиска изображений 2005 года работала с иллюстрацией научно-популярных текстов с использованием изображений с Flickr. а задача медицинского поиска 2010 года была сосредоточена на поиске компьютерной томографии, МРТ и рентгенографических изображений. В 2017 году CLEF выполнил ряд задач, например, по идентификации биологических видов по фотографиям или видеоклипам, по стилистическому анализу авторства и по доступу к информации, связанной со здоровьем.

Список семинаров и конференций CLEF

Год	Расположение	Примечание	Слушания	Редакторы
2000	Лиссабон	Учредительный цех	Межъязыковый поиск и оценка информации: семинар Форума межъязыковой оценки (CLEF 2000)	Кэрол Энн Питерс
2001	Дармштадт		Оценка межъязыковых систем поиска информации: второй семинар Форума межъязыковой оценки (CLEF 2001) Пересмотренные документы	Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк
2002	Рим		Достижения в межъязыковом поиске информации: третий семинар Форума межъязыковой оценки (CLEF 2002) Пересмотренные статьи	Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк
2003	Тронхейм		Сравнительная оценка многоязычных систем доступа к информации: Четвертый семинар Форума по межъязыковой оценке (CLEF 2003) Пересмотренные избранные статьи	Кэрол Энн Питерс, Мартин Брашлер, Хулио Гонсало и Мартин Клюк
2004	Ванна		Многоязычный доступ к информации для текста, речи и изображений: Пятый семинар Форума по перекрестной языковой оценке (CLEF 2004) Пересмотренные избранные статьи	Кэрол Энн Питерс, Пол Клаф, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клак и Бернардо Маньини.
2005	Вена		Доступ к многоязычным информационным хранилищам: шестой семинар Форума по межъязыковой оценке (CLEF, 2005). Пересмотренные избранные статьи	Кэрол Энн Питерс, Фред Си Гей, Хулио Гонсало, Гарет Дж. Ф. Джонс, Мартин Клак, Бернардо Маньини, Хеннинг Мюллер и Маартен де Рийке
2006	Аликанте		Оценка многоязычного и мультимодального поиска информации: седьмой семинар Форума по межъязыковой оценке (CLEF, 2006). Пересмотренные избранные статьи	Кэрол Энн Питерс и Клаф, П. и Фред К. Гей, Юсси Карлгрен , Бернардо Маньини, Дуг Оард, Маартен де Рийке и М. Стемпфхубер
2007	Будапешт		Достижения в области многоязычного и мультимодального поиска информации: восьмой семинар Форума по межъязыковой оценке (CLEF, 2007). Пересмотренные избранные статьи	Кэрол Энн Питерс и Джиджкун В. и Мандл Т. и Хеннинг Мюллер и Оард Д.В. и Пеньяс А. и Петрас В. и Сантос Д.
2008	Орхус		Оценочные системы для многоязычного и мультимодального доступа к информации: девятый семинар Форума по межъязыковой оценке (CLEF 2008). Пересмотренные избранные статьи	Кэрол Энн Питерс и Деселерс Т. и Никола Ферро и Хулио Гонсало и Гарет Дж. Ф. Джонс и Куримо М. и Мандл Т. и Пеньяс А.
2009	Корфу		Оценка многоязычного доступа к информации, том. I Эксперименты по поиску текста — десятый семинар Форума по межъязыковой оценке (CLEF, 2009). Пересмотренные избранные статьи	Кэрол Энн Питерс и Ди Нунцио, ГМ, и Куримо, М. и Мандл, Т. и Мостефа, Д. и Пеньяс, А. и Рода, Г.
2010	Падуя	Первая конференция	Оценка многоязычного и мультимодального доступа к информации. Материалы Международной конференции Форума межъязыковой оценки (CLEF 2010).	Маристелла Агости , Никола Ферро, Кэрол Энн Питерс, Маартен де Рийке и Алан Смитон
2011	Амстердам		Оценка многоязычного и мультимодального доступа к информации. Материалы Второй Международной конференции Форума межъязыковой оценки (CLEF 2011)	Форнер П. и Хулио Гонсало, Кекяляйнен Дж. и Лалмас М. и Маартен де Рийке
2012	Рим		Оценка доступа к информации. Многоязычие, мультимодальность и визуальная аналитика. Материалы Третьей Международной конференции Инициативы CLEF (CLEF 2012)	Катарчи Т., Форнер П., Химстра Д., Пеньяс А. и Сантуччи Г.
2013	Валенсия		Оценка доступа к информации сочетается с многоязычностью, мультимодальностью и визуализацией. Материалы Четвертой Международной конференции Инициативы CLEF (CLEF 2013)	Форнер П., Хеннинг Мюллер, Паредес Р., Россо П. и Штейн Б.
2014	Шеффилд		Оценка доступа к информации: многоязычие, мультимодальность и взаимодействие. Материалы Пятой Международной конференции Инициативы CLEF (CLEF 2014)	Канулас Э. и Лупу М. и Клаф П. и Сандерсон М. и Холл М. и Хэнбери А. и Томс Э.
2015	Тулуза		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Шестой Международной конференции Ассоциации CLEF (CLEF 2015)	Мот Дж. и Савой Дж. и Яап Кампс и Пинель-Совагнат К. и Гарет Дж. Ф. Джонс и СанХуан Э. и Каппеллато Л. и Никола Ферро
2016	Эвора		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Седьмой Международной конференции Ассоциации CLEF (CLEF 2016)	Фур Н. и Куарежма П. и Гонсалвес Т. и Ларсен Б. и Балог К. и Макдональд К. и Каппеллато Л. и Никола Ферро
2017	Дублин		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Восьмой Международной конференции Ассоциации CLEF (CLEF 2017)	Гарет Дж. Ф. Джонс и Лоулесс С. и Хулио Гонсало и Келли Л. и Лорейн Гурио и Томас Мандл и Каппеллато Л. и Никола Ферро
2018	Авиньон		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Девятой Международной конференции Ассоциации CLEF (CLEF 2018)	Патрис Белло, Шираз Трабелси, Жозиан Мот, Фионн Мурта, Цзян-Юн Ни, Лор Сулье, Эрик СанХуан, Линда Каппеллато и Никола Ферро
2019	Лугано		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Десятой Международной конференции Ассоциации CLEF (CLEF 2019)	Фабио Крестани, Мартин Брашлер, Жак Савой, Андреас Раубер, Хеннинг Мюллер, Давид Лосада, Гундула Хейнац, Линда Каппеллато и Никола Ферро
2020	Салоники (виртуально из-за COVID-19)		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Одиннадцатой Международной конференции Ассоциации CLEF (CLEF 2020)	Ави Арампацис, Евангелос Канулас, Теодора Цикрика, Стефанос Врочидис, Хидео Джохо, Кристина Лиома, Карстен Эйкхофф, Орели Невеоль, А., Линда Каппелато и Никола Ферро
2021	Бухарест (виртуальный из-за COVID-19)		Экспериментальный МО сочетает многоязычие, мультимодальность и взаимодействие. Материалы Двенадцатой Международной конференции Ассоциации CLEF (CLEF 2021)	К. Сельчук Кандан, Богдан Ионеску, Лоррейн Гурио, Биргер Ларсен, Хеннинг Мюллер, Алексис Жоли, Мария Майстро, Флорина Пирой, Гульельмо Фаджиоли и Никола Ферро

Внешние ссылки

• Домашняя страница CLEF
• История CLEF до 2010 года