СемЭвал
| академики | |
|---|---|
| Дисциплины: | Обработка естественного языка Компьютерная лингвистика Семантика |
| Зонтик Организация: | ACL-SIGLEX hhdgdhc |
| Обзор мастерской | |
| Основан: | 1998 ( Сенсеваль ) |
| Последний: | СемЭвал-2015 NAACL @ Денвер, США |
| Предстоящие: | СемЭвал-2018 |
| История | |
| Сенсеваль-1 | 1998 @ Сассекс |
| Сенсеваль-2 | 2001 @ Тулуза |
| Сенсеваль-3 | 2004 @ Барселона |
| СемЭвал-2007 | 2007 @ Прага |
| СемЭвал-2010 | 2010 @ Уппсала |
| СемЭвал-2012 | 2012 @ Монреаль |
| СемЭвал-2013 | 2013 @ Атланта |
| СемЭвал-2014 | 2014 @ Дублин |
| СемЭвал-2015 | 2015 @ Денвер |
| СемЭвал-2016 | 2016 @ Сан-Диего |
SemEval ( Semantic Evaluation ) — это непрерывная серия оценок систем вычислительного семантического анализа ; он произошел от Senseval серии оценок смысла слов . Оценки предназначены для изучения природы значения в языке. Хотя смысл интуитивно понятен людям, перенести эту интуицию в компьютерный анализ оказалось неуловимо.
Эта серия оценок обеспечивает механизм для более точной характеристики того, что именно необходимо вычислить по смыслу. Таким образом, оценки обеспечивают новый механизм для выявления проблем и решений для вычислений, имеющих смысл. Эти упражнения были разработаны для того, чтобы сформулировать больше аспектов, связанных с нашим использованием языка. Они начали с, казалось бы, простых попыток определить смысл слов с помощью вычислений. Они были разработаны для исследования взаимосвязей между элементами предложения (например, маркировка семантических ролей ), отношений между предложениями (например, кореференция ) и природы того, что мы говорим ( семантические отношения и анализ настроений ).
Целью упражнений SemEval и Senseval является оценка систем семантического анализа. « Семантический анализ » относится к формальному анализу значения, а «вычислительный» относится к подходам, которые в принципе поддерживают эффективную реализацию. [ 1 ]
Первые три оценки, от Senseval-1 до Senseval-3, были сосредоточены на устранении смысловой неоднозначности слов (WSD), причем с каждым разом количество языков, предлагаемых в заданиях, и количество участвующих команд увеличивалось. Начиная с четвертого семинара SemEval-2007 (SemEval-1), характер задач изменился и включил в себя задачи семантического анализа, выходящие за рамки устранения неоднозначности смысла слов. [ 2 ]
Вдохновленное концепцией конференции *SEM , сообщество SemEval решило проводить семинары по оценке ежегодно в рамках конференции *SEM. Также было принято решение, что не все задачи по оценке будут выполняться каждый год, например, ни одна из задач WSD не была включена в семинар SemEval-2012.
История
[ редактировать ]Ранняя оценка алгоритмов устранения неоднозначности смысла слов
[ редактировать ]С самых первых дней оценка качества алгоритмов устранения неоднозначности смысла слов была в первую очередь вопросом внутренней оценки , и «практически не предпринималось попыток оценить встроенные компоненты WSD». [ 3 ] Только совсем недавно (2006) внешние оценки начали предоставлять некоторые доказательства ценности WSD в приложениях для конечных пользователей. [ 4 ] Примерно до 1990 года обсуждения задачи устранения смысловой неоднозначности были сосредоточены в основном на иллюстративных примерах, а не на всесторонней оценке. В начале 1990-х годов начались более систематические и строгие внутренние оценки, включая более формальные эксперименты с небольшими наборами неоднозначных слов. [ 5 ]
От Сенсеваля до СемЭвала
[ редактировать ]В апреле 1997 года Марта Палмер и Марк Лайт организовали семинар под названием « Теги с помощью лексической семантики: почему, что и как?». совместно с Конференцией по прикладной обработке естественного языка. [ 6 ] В то время было четкое понимание того, что аннотированные вручную корпуса произвели революцию в других областях НЛП, таких как маркировка частей речи и синтаксический анализ , и что подходы, основанные на корпусе, также могут революционизировать автоматический семантический анализ. [ 7 ] Килгаррифф напомнил, что существовала «высокая степень согласия в том, что эта область нуждается в оценке», а несколько практических предложений Резника и Яровского положили начало дискуссии, которая привела к созданию оценочных упражнений Senseval. [ 8 ] [ 9 ] [ 10 ]
3-, 2- или 1-летний цикл SemEval
[ редактировать ]После SemEval-2010 многие участники считают, что трехлетний цикл – это долгое ожидание. Многие другие общие задачи, такие как конференция по изучению естественного языка (CoNLL) и распознавание текстовых последствий (RTE), проводятся ежегодно. По этой причине координаторы SemEval предоставили организаторам задач возможность выбирать между двухлетним или трехлетним циклом. [ 11 ] Сообщество SemEval поддержало трехлетний цикл.
Хотя голоса внутри сообщества SemEval были в пользу трехлетнего цикла, организаторы и координаторы решили разделить задачу SemEval на два семинара по оценке. Это было вызвано введением новой конференции *SEM . Организаторы SemEval посчитали целесообразным связать наше мероприятие с конференцией *SEM и совместить семинар SemEval с конференцией *SEM. Организаторы получили очень положительные отзывы (от координаторов задач/организаторов и участников) об ассоциации с ежегодным *SEM, а 8 задач были готовы перейти на 2012 год. Так родились SemEval-2012 и SemEval-2013. Текущий план состоит в том, чтобы перейти на ежегодное расписание SemEval, чтобы связать его с конференцией *SEM, но не все задачи необходимо выполнять каждый год. [ 12 ]
Список семинаров Senseval и SemEval
[ редактировать ]- Senseval-1 проходил летом 1998 года для английского, французского и итальянского языков, кульминацией которого стал семинар, проходивший в замке Херстмонсо, Сассекс, Англия, 2–4 сентября.
- Senseval-2 состоялся летом 2001 года, за ним последовал семинар, проведенный в июле 2001 года в Тулузе, в связи с ACL 2001. Senseval-2 включал задания на баскский , китайский , чешский , датский , голландский , английский , эстонский , Итальянский , японский , корейский , испанский и шведский .
- Senseval-3 проходил в марте-апреле 2004 г., за ним последовал семинар, проведенный в июле 2004 г. в Барселоне совместно с ACL 2004. Senseval-3 включал 14 различных заданий на устранение неоднозначности основного смысла слов, а также определение семантических ролей, многоязычных аннотации, логические формы, приобретение подкатегорий.
- SemEval-2007 (Senseval-4) состоялся в 2007 году, после чего последовал семинар, проведенный совместно с ACL в Праге. SemEval-2007 включал 18 различных задач по оценке систем семантического анализа текста. специальный выпуск Language Resources and Evaluation . Результату посвящен [ 13 ]
- SemEval-2010 состоялся в 2010 году, после чего состоялся семинар, проведенный совместно с ACL в Уппсале. SemEval-2010 включал 18 различных задач по оценке систем семантического анализа.
- SemEval-2012 состоялся в 2012 году; он был связан с новой *SEM, Первой совместной конференцией по лексической и вычислительной семантике, и проводился совместно с NAACL, Монреаль, Канада. SemEval-2012 включал в себя 8 различных задач, направленных на оценку вычислительных семантических систем. Однако в SemEval-2012 не было задачи WSD, задачи, связанные с WSD, были запланированы на предстоящий SemEval-2013.
- SemEval-2013 был связан с NAACL 2013, Североамериканской ассоциацией компьютерной лингвистики, Джорджия, США, и проходил в 2013 году. Он включал в себя 13 различных задач, направленных на оценку вычислительных семантических систем.
- SemEval-2014 состоялся в 2014 году. Он был совмещен с COLING 2014, 25-й Международной конференцией по компьютерной лингвистике, и *SEM 2014, Второй совместной конференцией по лексической и вычислительной семантике, Дублин, Ирландия. В SemEval-2014 было 10 различных задач по оценке различных вычислительных семантических систем.
- SemEval-2015 состоялся в 2015 году. Он был совмещен с NAACL-HLT 2015, 2015 Конференцией Североамериканского отделения Ассоциации компьютерной лингвистики – Человеческие языковые технологии и *SEM 2015, Третьей совместной конференцией по лексической и вычислительной семантике, Денвер, США. В SemEval-2015 было 17 различных задач по оценке различных вычислительных семантических систем.
Структура семинара SemEval
[ редактировать ]Структура семинаров по оценке SemEval/Senseval имитирует конференции по анализу сообщений (MUC) и другие семинары по оценке, проводимые ARPA (Агентством перспективных исследовательских проектов, переименованным в Агентство перспективных исследовательских проектов Министерства обороны (DARPA) ).
Этапы оценочных семинаров SemEval/Senseval [ 14 ]
- Во-первых, всем вероятным участникам было предложено выразить свою заинтересованность и принять участие в планировании учений.
- Был составлен график проведения заключительного семинара.
- Согласован план отбора оценочных материалов.
- Были приобретены «золотые стандарты» для отдельных задач, часто люди-аннотаторы считались золотым стандартом для измерения точности и полноты памяти компьютерных систем. Эти «золотые стандарты» — то, к чему стремятся вычислительные системы. В задачах WSD перед аннотаторами-людьми была поставлена задача создать набор правильных ответов WSD (т. е. правильный смысл данного слова в данном контексте).
- Материалы золотого стандарта без ответов были переданы участникам, у которых затем было короткое время, чтобы просмотреть их программы и вернуть свои наборы ответов организаторам.
- Затем организаторы оценивали ответы, результаты были объявлены и обсуждены на семинаре.
Задачи семантической оценки
[ редактировать ]Senseval-1 и Senseval-2 были сосредоточены на оценке систем WSD на основных языках, для которых имелся корпус и компьютеризированный словарь. Senseval-3 вышел за рамки лексем и начал оценивать системы, которые изучают более широкие области семантики, такие как семантические роли (технически известные как тета-роли в формальной семантике), преобразование логических форм (обычно семантика фраз, предложений или предложений была представлена в логические формы первого порядка ) и Senseval-3 исследовали возможности семантического анализа машинного перевода .
По мере того как типы различных вычислительных семантических систем выходили за пределы охвата WSD, Senseval превратился в SemEval, где оценивалось больше аспектов вычислительных семантических систем.
Обзор проблем семантического анализа
[ редактировать ]Упражнения SemEval предоставляют механизм для изучения проблем семантического анализа текстов. Интересующим темам не хватает логической строгости, присущей формальной вычислительной семантике, пытающейся идентифицировать и охарактеризовать виды проблем, имеющих отношение к человеческому пониманию языка. Основная цель — воспроизвести человеческую обработку с помощью компьютерных систем. Задачи (показанные ниже) разрабатываются отдельными лицами и группами для решения идентифицируемых проблем, поскольку они принимают конкретную форму.
Первой важной областью семантического анализа является выявление предполагаемого значения на уровне слова (включающего идиоматические выражения). Это устранение смысловой неоднозначности слов (концепция, которая развивается от представления о том, что слова имеют дискретные значения, а скорее характеризуются способами их использования, т.е. их контекстами). Задачи в этой области включают устранение лексической выборки и всех слов, много- и межъязыковое устранение неоднозначности, а также лексическую замену. Учитывая трудности определения значений слов, другие задачи, относящиеся к этой теме, включают в себя индукцию смысла слов, приобретение подкатегорий и оценку лексических ресурсов.
Второй важной областью семантического анализа является понимание того, как различные предложения и текстовые элементы сочетаются друг с другом. Задачи в этой области включают маркировку семантических ролей, анализ семантических отношений и разрешение кореференций. Другие задачи в этой области касаются более специализированных вопросов семантического анализа, таких как обработка временной информации, разрешение метонимии и анализ настроений. Задачи в этой области имеют множество потенциальных применений, таких как извлечение информации, ответы на вопросы, обобщение документов, машинный перевод, построение тезаурусов и семантических сетей, языковое моделирование, перефразирование, и признание текстового следствия. В каждом из этих потенциальных приложений вклад типов семантического анализа представляет собой наиболее выдающуюся исследовательскую проблему.
Например, в задаче индукции смысла слова и устранения неоднозначности есть три отдельных этапа:
- На этапе обучения участникам оценочного задания было предложено использовать набор обучающих данных, чтобы вызвать инвентаризацию смысла для набора многозначных слов. Набор обучающих данных, состоящий из набора многозначных существительных/глаголов и экземпляров предложений, в которых они встречаются. Никакие другие ресурсы не допускались, кроме морфологических и синтаксических компонентов обработки естественного языка, таких как морфологические анализаторы , тегеры частей речи и синтаксические анализаторы. .
- На этапе тестирования участникам был предоставлен тестовый набор для устранения неоднозначности подзадачи с использованием инвентаря, вызванного чувствами, полученного на этапе обучения.
- На этапе оценки ответы на этап тестирования оценивались в контролируемой и неконтролируемой среде.
В неконтролируемой оценке WSI рассматривались два типа оценки V Measure (Rosenberg and Hirschberg, 2007) и парная F-Score (Artiles et al., 2009). Эта оценка следует за контролируемой оценкой задачи SemEval-2007 WSI (Агирре и Сороа, 2007 г.).
Обзор задач Senseval и SemEval
[ редактировать ]В таблицах ниже отражен рост семинара от Senseval до SemEval и представлен обзор того, какая область вычислительной семантики оценивалась на семинарах Senseval/SemEval.
| Мастерская | Количество задач | Области обучения | Языки оцениваемых данных |
|---|---|---|---|
| Сенсеваль-1 | 3 | Устранение неоднозначности смысла слова (WSD) — лексические примеры задач WSD | английский, французский, итальянский |
| Сенсеваль-2 | 12 | Устранение неоднозначности смысла слова (WSD) — лексический образец, все слова, задачи перевода WSD | Чешский, голландский, английский, эстонский, баскский, китайский, датский, английский, итальянский, японский, корейский, испанский, шведский |
| Сенсеваль-3 | 16 (в т.ч. 2 отменены) |
Преобразование логических форм, оценка машинного перевода (MT), маркировка семантических ролей, WSD | баскский, каталанский, китайский, английский, итальянский, румынский, испанский |
| SemEval2007 | 19 (в т.ч. 1 отменено) |
Межъязыковый язык, извлечение фреймов, извлечение информации, лексическая замена, лексический образец, метонимия, семантическая аннотация, семантические отношения, маркировка семантических ролей, анализ тональности, выражение времени, WSD | на арабском, каталанском, китайском, английском, испанском, турецком |
| SemEval2010 | 18 (в т.ч. 1 отменено) |
Кореференция, межъязыковая лексика, многоточие, извлечение информации, лексическая замена, метонимия, составные имена существительные, синтаксический анализ, семантические отношения, маркировка семантических ролей, анализ тональности, текстовое следствие, выражения времени, WSD | каталанский, китайский, голландский, английский, французский, немецкий, итальянский, японский, испанский |
| SemEval2012 | 8 | Рассуждение здравым смыслом, лексическое упрощение, относительное сходство, маркировка пространственных ролей, анализ семантической зависимости, семантическое и текстовое сходство | китайский, английский |
| SemEval2013 | 14 | Временная аннотация, анализ тональности, пространственная ролевая маркировка, составные имена, фразовая семантика, текстовое сходство, анализ ответов, межъязыковая текстовая связь, биомедицинские тексты, перекрестный и многоязычный WSD, индукция смысла слов и лексический образец | каталанский, французский, немецкий, английский, итальянский, испанский |
| SemEval2014 | 10 | Композиционно-распределительная семантика, Индукция грамматики для систем разговорного диалога, Межуровневое семантическое сходство, Анализ тональности, Помощник по написанию L2, Контролируемый семантический анализ, Клинический анализ текста, Анализ семантической зависимости, Анализ тональности в Твиттере, Многоязычное семантическое сходство текста | Английский, испанский, французский, немецкий, голландский, |
| SemEval2015 | 18 (в т.ч. 1 отменено) |
Сходство текста и ответы на вопросы, время и пространство, тональность, устранение неоднозначности и индукция смысла слов, изучение семантических отношений | английский, испанский, арабский, итальянский |
| SemEval2016 | 14 | Текстовое сходство и ответы на вопросы, анализ тональности, семантический анализ, семантический анализ, семантическая таксономия | |
| SemEval2017 | 12 [ 15 ] | Семантическое сравнение слов и текстов, выявление настроений, юмора и правды, а также анализ семантических структур. | |
| SemEval2018 | 12 [ 16 ] | Аффект и творческий язык в твитах, кореференция, извлечение информации, лексическая семантика, понимание прочитанного и рассуждение |
Задача Multilingual WSD была представлена на семинаре SemEval-2013. [ 17 ] Задача направлена на оценку систем устранения неоднозначности в смысле слова в многоязычном сценарии с использованием BabelNet в качестве смыслового инвентаря. В отличие от аналогичной задачи, такой как межъязыковая WSD или задача многоязычной лексической замены , где не указан фиксированный смысловой инвентарь, многоязычный WSD использует BabelNet в качестве своего смыслового инвентаря. До разработки BabelNet задача оценки двуязычных лексических образцов WSD выполнялась в SemEval-2007 на китайско-английских битовых текстах. [ 18 ]
Межъязыковая задача WSD была представлена на семинаре по оценке SemEval-2007 и повторно предложена на семинаре SemEval-2013. . [ 19 ] Чтобы облегчить интеграцию систем WSD в другие приложения обработки естественного языка (NLP), такие как машинный перевод и многоязычный поиск информации , для задачи межъязыковой оценки WSD был введен независимый от языка и основанный на знаниях подход к WSD. Задача представляет собой неконтролируемое задание по устранению неоднозначности в смысле слова для английских существительных с помощью параллельных корпусов. Он соответствует лексически-образцовому варианту задачи Classic WSD, ограниченному только 20 многозначными существительными.
Стоит отметить, что в SemEval-2014 было только две многоязычные/межязычные задачи, а именно (i) задача L2 «Помощник по написанию» , которая представляет собой межъязыковую задачу WSD, включающую английский, испанский, немецкий, французский и голландский языки, и (ii) задание «Многоязычное семантическое текстовое сходство» , которое оценивает системы по английским и испанским текстам.
Области оценки
[ редактировать ]Основные задачи семантической оценки включают следующие области обработки естественного языка . Ожидается, что этот список будет расширяться по мере развития этой области. [ 20 ]
В следующей таблице показаны области исследований, которые были задействованы в Senseval-1 и SemEval-2014 (S относится к Senseval, а SE относится к SemEval, например S1 относится к Senseval-1, а SE07 относится к SemEval2007):
| Области обучения | С1 | С2 | S3 | SE07 | SE10 | SE12 | SE13 | SE14 | SE15 | SE16 | SE17 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Биоинформатика / Клинический анализ текста |  |
|
|
||||||||
| Рассуждение здравым смыслом ( COPA ) | |
||||||||||
| кореферента Разрешение | |
||||||||||
| Сложные существительные ( извлечение информации ) | |
|
|||||||||
| Эллипсис | |
||||||||||
| Грамматическое введение | |
||||||||||
| Извлечение ключевой фразы ( Извлечение информации ) | |
||||||||||
| Лексическое упрощение | |
||||||||||
| Лексическая замена (многоязычная или межъязыковая) | |
|
|
||||||||
| Лексическая сложность | |
||||||||||
| Метонимия ( извлечение информации ) | |
|
|||||||||
| Перефразы | |
|
|
|
|||||||
| Вопрос Ответ | |
|
|||||||||
| Относительное сходство | |
|
|||||||||
| Слухи и правдивость |
| ||||||||||
| Семантический анализ | |
|
|
|
|
||||||
| Идентификация семантических отношений | |
|
|||||||||
| Маркировка семантических ролей | |
|
|
|
|||||||
| Семантическое сходство | |
|
|
|
|
||||||
| Семантическое сходство (межъязыковое) | |
||||||||||
| Семантическое сходство (многоязычное) | |
|
|
||||||||
| Анализ настроений | |
|
|
|
|
|
|||||
| Пространственная ролевая маркировка | |
|
|||||||||
| Индукция/обогащение таксономии | |
|
|||||||||
| Текстовое следствие | |
|
|
|
|||||||
| Текстовое следствие (межязычное) | |
||||||||||
| Временная аннотация | |
|
|
|
|
|
|||||
| Анализ Твиттера | |
|
|
|
|||||||
| Устранение неоднозначности смысла слова ( лексический образец ) | |
|
|
|
|
||||||
| Устранение неоднозначности смысла слова ( All-Words ) | |
|
|
|
|
|
|||||
| Разрешение смысла слова (многоязычное) | |
|
|||||||||
| Устранение неоднозначности смысла слова (межязычный) | |
|
|||||||||
| Индукция смысла слова | |
|
|
Тип семантических аннотаций
[ редактировать ]Задачи SemEval создали множество типов семантических аннотаций, каждый тип имеет различную схему. В SemEval-2015 организаторы решили сгруппировать задания в несколько треков. Эти треки относятся к типу семантических аннотаций, которых надеется достичь задача. [ 21 ] Здесь перечислены типы семантических аннотаций, используемых на семинарах SemEval:
- Изучение семантических отношений
- Вопрос и ответ
- Семантический анализ
- Семантическая таксономия
- Анализ настроений
- Сходство текста
- Время и пространство
- Устранение неоднозначности смысла слова и индукция
Задача и ее распределение треков являются гибкими; задача может развиваться в отдельный трек, например, задача оценки таксономии в SemEval-2015 находилась в треке «Изучение семантических отношений» , а в SemEval-2016 есть специальный трек для семантической таксономии с новой задачей «Обогащение семантической таксономии» . [ 22 ] [ 23 ]
См. также
[ редактировать ]- Список наград в области информатики
- Вычислительная семантика
- Обработка естественного языка
- Смысл слова
- Устранение неоднозначности смысла слова
- Различные варианты оценок WSD
- Семантический анализ (вычислительный)
Ссылки
[ редактировать ]- ^ Блэкберн, П., и Бос, Дж. (2005), Представление и вывод для естественного языка: первый курс вычислительной семантики , Публикации CSLI. ISBN 1-57586-496-7 .
- ^ Навильи, Р. (2009). «Разрешение смысла слова». Обзоры вычислительной техники ACM . 41 (2): 1–69. дои : 10.1145/1459352.1459355 . S2CID 461624 .
- ^ Палмер, М., Нг, ХТ, и Хоа, ТД (2006), Оценка систем WSD , в Энеко Агирре и Фил Эдмондс (ред.), Устранение неоднозначности в смысле слова: алгоритмы и приложения , Текст, речь и языковые технологии, том . 33. Амстердам: Спрингер, 75–106.
- ^ Резник, П. (2006), WSD в приложениях НЛП , в Энеко Агирре и Филе Эдмондсе (ред.), Устранение неоднозначности в смысле слова: алгоритмы и приложения. Дордрехт: Спрингер, 299–338.
- ^ Яровский, Д. (1992), Устранение смысловой неоднозначности с использованием статистических моделей категорий Роже, обученных на больших корпусах . Материалы 14-й конференции по компьютерной лингвистике, 454–60. дои : 10.3115/992133.992140
- ^ Палмер М. и Лайт М. (1999), Маркировка лексической семантикой: почему, что и как? | Семинар ACL SIGLEX по разметке текста лексической семантикой: что, почему и как? Архивировано 15 июля 2010 г. в Wayback Machine Natural Language Engineering 5 (2): i – iv.
- ^ Ng, HT (1997), Серьезное отношение к устранению неоднозначности смысла слов . Материалы семинара ACL SIGLEX по разметке текста с помощью лексической семантики: почему, что и как? 1–7.
- ^ Филип Резник и Джимми Лин (2010). Оценка систем НЛП . В составе редакторов Александр Кларк, Крис Фокс и Шалом Лаппин. Справочник по компьютерной лингвистике и обработке естественного языка. Уайли-Блэквеллис. 11:271
- ^ Адам Килгаррифф и Марта Палмер (редактор 2000 г.). Специальный выпуск «Компьютеры и гуманитарные науки», SENSEVAL98: Оценка систем устранения неоднозначности в смысле слова . Клювер, 34: 1–2.
- ^ Скотт Коттон, Фил Эдмондс, Адам Килгаррифф и Марта Палмер (редактор 2001 г.). SENSEVAL-2: Второй международный семинар по оценке систем устранения неоднозначности смысла слов . Семинар SIGLEX, ACL03, Тулуза, Франция.
- ^ SIGLEX: Доска объявлений (2010). Получено 15 августа 2012 г. с http://www.clres.com/siglex/messdisp.php?id=111.
- ^ Сообщение SemEval 3 в группе Google. Получено 15 августа 2012 г. с сайта https://groups.google.com/forum/?fromgroups#!topic/semeval3/8YXMvVlH-CM%5B1-25%5D .
- ^ Языковые ресурсы и оценка, том 43, номер 2 [ мертвая ссылка ]
- ^ Килгаррифф, А. (1998). SENSEVAL: упражнение по оценке программ устранения неоднозначности в смысле слова . В Proc. LREC, Гранада, май 1998 г., стр. 581–588.
- ^ «Задачи <СемЭвал-2017» . alt.qcri.org . Проверено 4 мая 2018 г.
- ^ «Задачи <СемЭвал-2018» . alt.qcri.org . Проверено 4 мая 2018 г.
- ^ Навильи Р., Юргенс Д. и Ваннелла Д. (июнь 2013 г.). Задание 12 «Семевал-2013»: Многоязычное устранение смысловой неоднозначности слов. В материалах 7-го Международного семинара по семантической оценке (SemEval 2013), совместно со Второй совместной конференцией по лексической и вычислительной семантике (* SEM 2013) (стр. 222-231).
- ^ Пэн Цзинь, Юньфан Ву и Шивэнь Ю. SemEval-2007, задание 05: многоязычный китайско-английский лексический образец . Материалы 4-го Международного семинара по семантическим оценкам, стр. 19-23, 23–24 июня 2007 г., Прага, Чехия.
- ^ Лефевер Э. и Хосте В. (июнь 2013 г.). Задание 10 «Семевал-2013»: Межъязыковое устранение смысловой неоднозначности слов. Во Второй совместной конференции по лексической и вычислительной семантике (Том 2, стр. 158-166).
- ^ Портал SemEval (nd). В ACLвики. Получено 12 августа 2010 г. с http://aclweb.org/aclwiki/index.php?title=SemEval_Portal .
- ^ Сайт СемЭвал-2015 . Получено 14 ноября 2014 г. http://alt.qcri.org/semeval2015/index.php?id=tasks.
- ^ Джорджета Бордеа, Пол Буителаар, Стефано Фаралли и Роберто Навильи. 2015. Semeval-2015, задание 17: Оценка извлечения таксономии (TExEval) . В материалах 9-го международного семинара по семантической оценке. Денвер, США.
- ^ Сайт СемЭвал-2016 . Получено 4 июня 2015 г. http://alt.qcri.org/semeval2016/ .
Внешние ссылки
[ редактировать ]- Специальная группа по лексике (SIGLEX) Ассоциации компьютерной лингвистики (ACL)
- Семевал-2010 – Семинар по семантической оценке (при поддержке SIGLEX)
- Senseval - международная организация, занимающаяся оценкой систем устранения неоднозначности Word Sense (одобрена SIGLEX)
- Портал SemEval на Wiki Ассоциации компьютерной лингвистики
- Задачи Senseval/SemEval:
- Senseval-1 – первое оценочное упражнение по системам устранения смысловой неоднозначности слов; лексико-образцовое задание оценивалось на английском, французском и итальянском языках.
- Senseval-2 - оцениваемые системы устранения неоднозначности смысла слов по трем типам задач (все слова, лексическая выборка и задача перевода).
- Senseval-3 – включал задания на устранение смысловой неоднозначности слов, а также определение семантических ролей, многоязычных аннотаций, логических форм, приобретение подкатегорий.
- SemEval-2007 - включал задачи, которые были более сложными, чем Senseval, поскольку они пересекают различные области исследований в области обработки естественного языка.
- SemEval-2010 — добавлены задачи из новых областей исследований в области вычислительной семантики, а именно: кореференция, многоточие, извлечение ключевых фраз, составные существительные и текстовое следование.
- SemEval-2012 - проводился одновременно с первой конференцией *SEM, а задача семантического сходства рекламировалась как *Sem Shared Task.
- SemEval-2013 – SemEval перешел с 2–3-летнего цикла на ежегодный семинар.
- SemEval-2014 – впервые SemEval обнаруживается на мероприятии, не относящемся к ACL, в COLING.
- SemEval-2015 – первый SemEval, задачи которого разбиты на различные треки.
- SemEval-2016 – второй SemEval без задачи WSD (первый был в SemEval-2012)
- *SEM – конференция для статей, связанных с SemEval, кроме систем задач.
- Конференции по пониманию сообщений (MUC)
- БабельНет
- Open Multilingual WordNet – компиляция сетей WordNet с открытыми лицензиями.