Конференция по поиску текста

Конференция по поиску текста
Конференция по поиску текста
	...поощрять исследования по поиску информации из больших текстовых коллекций.
Аббревиатура	ПРОХОДЯЩИЙ
Дисциплина	поиск информации
Подробности публикации
Издатель	НИСТ
История	1992 год ; 32 года назад
Частота	ежегодный
Веб-сайт	проходить .nist .gov

Конференция по поиску текста ( TREC ) представляет собой постоянную серию семинаров, посвященных списку различных информационного поиска областей или направлений исследований в области (IR) . Его спонсируют Национальный институт стандартов и технологий (NIST) и отдел перспективных исследовательских проектов разведки (часть офиса директора национальной разведки ), и он начался в 1992 году как часть текстовой программы TIPSTER . Его цель — поддерживать и поощрять исследования в области поиска информации путем предоставления инфраструктуры, необходимой для крупномасштабной оценки методологий поиска текста , а также увеличения скорости передачи технологий из лаборатории в продукт .

Протоколы оценки TREC улучшили многие технологии поиска. По оценкам исследования 2010 года, «без TREC пользователи Интернета в США потратили бы до 3,15 миллиардов дополнительных часов на использование поисковых систем в период с 1999 по 2009 год». ^[1] Хэл Вариан, главный экономист Google, написал: «Данные TREC оживили исследования в области поиска информации. Наличие стандартного, широко доступного и тщательно составленного набора данных заложило основу для дальнейших инноваций в этой области». ^[2]

В каждом треке есть задание, в котором NIST предоставляет участвующим группам наборы данных и тестовые задачи. В зависимости от трека проблемами тестирования могут быть вопросы, темы или целевые извлекаемые функции . Для обеспечения справедливой оценки систем применяется единая система подсчета баллов. После оценки результатов семинар предоставляет участникам возможность собрать воедино мысли и идеи и представить текущую и будущую исследовательскую работу. Конференция по текстовому поиску началась в 1992 году и финансировалась DARPA (Проект перспективных исследований обороны США) и проводилась NIST. Его цель заключалась в поддержке исследований в области поиска информации путем предоставления инфраструктуры, необходимой для крупномасштабной оценки методологий поиска текста.

Цели [ править ]

Поощряйте поиск на основе больших текстовых коллекций.
Улучшите взаимодействие между промышленностью, научными кругами и правительством, создав открытый форум для обмена исследовательскими идеями.
Ускорьте передачу технологий из исследовательских лабораторий в коммерческие продукты, продемонстрировав существенные улучшения методологий поиска решений реальных проблем.
Увеличить доступность соответствующих методов оценки для использования в промышленности и научных кругах, включая разработку новых методов оценки, более применимых к существующим системам.

TREC контролируется программным комитетом, состоящим из представителей правительства, промышленности и научных кругов. Для каждого TREC NIST предоставляет набор документов и вопросов. Участники запускают собственную систему поиска данных и возвращают в NIST список полученных документов с самым высоким рейтингом. NIST объединяет отдельные результаты, оценивает правильность полученных документов и оценивает результаты. Цикл TREC заканчивается семинаром, который является форумом, на котором участники могут поделиться своим опытом.

Соответствующие суждения в TREC [ править ]

TREC определяет релевантность как: «Если вы писали отчет по теме темы и использовали бы в отчете информацию, содержащуюся в документе, то документ является релевантным». ^[3] Большинство задач поиска TREC используют двоичную релевантность: документ либо релевантный, либо нерелевантный. В некоторых задачах TREC используется дифференцированная релевантность, фиксирующая несколько степеней релевантности. Большинство коллекций TREC слишком велики для проведения полной оценки релевантности; для этих коллекций невозможно вычислить абсолютный отзыв для каждого запроса. Чтобы решить, какие документы оценивать, TREC обычно использует пул вызовов методов. В этом методе n документов с самым высоким рейтингом из каждого прогона агрегируются, и полученный набор документов оценивается полностью.

Различные TREC [ править ]

В 1992 году в НИСТ прошел TREC-1. Первая конференция привлекла 28 групп исследователей из академических кругов и промышленности. Он продемонстрировал широкий спектр различных подходов к извлечению текста из больших коллекций документов. Наконец, TREC1 выявил факты того, что автоматическое построение запросов из операторов запроса на естественном языке, похоже, работает. Методы, основанные на обработке естественного языка, были не лучше и не хуже, чем методы, основанные на векторном или вероятностном подходе.

TREC2 состоялся в августе 1993 года. В нем приняла участие 31 группа исследователей. Были рассмотрены два типа поиска. Извлечение с использованием специального запроса и извлечение с использованием запроса маршрутизации.

В TREC-3 небольшая группа экспериментировала с коллекцией на испанском языке, а другие занимались интерактивным формулированием запросов в нескольких базах данных.

TREC-4 сделали еще короче, чтобы исследовать проблемы с очень короткими заявлениями пользователей.

TREC-5 включает как короткие, так и длинные версии тем с целью провести более глубокое исследование того, какие типы методов хорошо работают с темами разной длины.

В TREC-6 были представлены три новых трека речи, межъязыкового общения и высокоточного поиска информации. Цель поиска информации на разных языках — облегчить исследование системы, способной извлекать соответствующий документ независимо от языка исходного документа.

TREC-7 содержал семь треков, из которых два были новым треком Query и очень большим корпусным треком. Целью отслеживания запросов было создание большой коллекции запросов.

TREC-8 содержит семь треков, из которых два – ответы на вопросы и веб-трек – новые. Целью запроса QA является изучение возможностей предоставления ответов на конкретные запросы на естественном языке.

TREC-9 Включает семь треков.

В TREC-10 Video Tracks представлен дизайн видеодорожек для содействия исследованиям в области извлечения контента из цифрового видео.

В TREC-11 представлены новинки треков. Целью направления новизны является исследование возможностей систем находить релевантную и новую информацию в ранжированном наборе документов, возвращаемом традиционной системой поиска документов.

На TREC-12, состоявшемся в 2003 году, были добавлены три новых трека; Отслеживание генома, надежный метод поиска, HARD (высокоточное извлечение из документов) ^[4]

Треки [ править ]

Текущие треки [ править ]

Новые направления добавляются по мере выявления новых потребностей в исследованиях. Этот список актуален для TREC 2018. ^[5]

ЦЕНТР Направление – Цель: запустить параллельно CLEF 2018, NTCIR-14, TREC 2018 для разработки и настройки протокола оценки воспроизводимости IR (новое направление на 2018 год).
Общий основной трек – Цель: специальная задача поиска по новостным документам.
Поиск сложных ответов (CAR) . Цель: разработать системы, способные отвечать на сложные информационные потребности путем сопоставления информации из всего корпуса.
Трек «Потоки инцидентов» – Цель: исследование технологий для автоматической обработки потоков социальных сетей во время чрезвычайных ситуаций (новый трек для TREC 2018).
The News Track – Цель: партнерство с The Washington Post для разработки тестовых подборок в новостной среде (новинка 2018 года).
Направление «Точная медицина» – Цель: специализация направления «Поддержка принятия клинических решений», направленная на объединение данных онкологических пациентов с клиническими исследованиями.
Отслеживание обобщения в реальном времени (RTS) – Цель: изучить методы получения сводок обновлений в реальном времени из потоков социальных сетей.

Прошлые треки [ править ]

Химическое направление – Цель: разработать и оценить технологию крупномасштабного поиска в документах, связанных с химией , включая научные статьи и патенты, чтобы лучше удовлетворить потребности профессиональных поисковиков, в частности патентных поисковиков и химиков.
Программа поддержки принятия клинических решений – Цель: изучить методы связи медицинских случаев с информацией, важной для ухода за пациентами.
Отслеживание контекстных предложений – Цель: изучить методы поиска сложных информационных потребностей, которые сильно зависят от контекста и интересов пользователя.
краудсорсинга Направление – Цель: предоставить площадку для совместного изучения методов краудсорсинга как для оценки поиска, так и для выполнения поисковых задач.
Направление «Геномика» — цель: изучить получение геномных данных, не только последовательностей генов, но и вспомогательной документации, такой как исследовательские работы, лабораторные отчеты и т. д. Последний раз проводилось на TREC 2007.
Динамическое отслеживание доменов . Цель: изучить алгоритмы поиска, специфичные для предметной области, которые адаптируются к динамическим информационным потребностям профессиональных пользователей при исследовании сложных предметных областей.
Enterprise Track – Цель: изучить поиск по данным организации для выполнения какой-либо задачи. Последний раз запускался на TREC 2008.
Отслеживание объекта — Цель: выполнить поиск по объектам в веб-данных. Эти задачи поиска (например, поиск сущностей и свойств сущностей) удовлетворяют общие информационные потребности, которые не так хорошо моделируются, как специальный поиск документов.
Межъязыковой трек – Цель: изучить способность поисковых систем находить документы по теме независимо от исходного языка. После 1999 года этот трек выделился в CLEF .
FedWeb Track – Цель: выбрать лучшие ресурсы для перенаправления запроса и объединить результаты так, чтобы наиболее релевантные оказались вверху.
Курс федеративного веб-поиска – Цель: изучить методы выбора и комбинирования результатов поиска из большого количества реальных онлайновых служб веб-поиска.
Фильтрация трека – Цель: принять двоичное решение о поиске новых входящих документов при наличии стабильной потребности в информации .
HARD Track – Цель: добиться высокой точности поиска из документов за счет использования дополнительной информации о поисковике и/или контексте поиска.
Интерактивный трек – Цель: изучить взаимодействие пользователей с текстовыми поисковыми системами.
Направление ускорения базы знаний (KBA) – цель: разработать методы, позволяющие значительно повысить эффективность (человеческих) кураторов базы знаний за счет того, что система предлагает модификации/расширения базы знаний на основе мониторинга потоков данных, создала KBAstreamcorpus , организованный Диффео . ^[6]
Юридическое направление – Цель: разработать технологию поиска, отвечающую потребностям юристов в эффективном коллекций обнаружении цифровых документов .
LiveQA Track – Цель: генерировать ответы на реальные вопросы, заданные реальными пользователями, через поток вопросов в режиме реального времени.
Медицинские записи – Цель: изучить методы поиска неструктурированной информации, обнаруженной в медицинских записях пациентов.
микроблогов Курс – Цель: изучить природу информационных потребностей в режиме реального времени и их удовлетворение в контексте сред микроблогов, таких как Twitter.
Обработка естественного языка. Направление – Цель: изучить, как конкретные инструменты, разработанные компьютерными лингвистами, могут улучшить поиск.
Направление новизны – Цель: исследовать возможности систем находить новую (т. е. неизбыточную) информацию.
OpenSearch Track – Цель: изучить парадигму оценки IR, в которой участвуют реальные пользователи операционных поисковых систем. На первый год существования трека задачей был специальный академический поиск.
ответов на вопросы Трек – Цель: добиться большего поиска информации , чем просто поиск документов, отвечая на вопросы в стиле фактов, списков и определений.
Курс обобщения в реальном времени – Цель: изучить методы построения сводок обновлений в реальном времени из потоков социальных сетей в ответ на информационные потребности пользователей.
Надежный метод поиска – Цель: сосредоточиться на эффективности отдельных тем.
Отслеживание обратной связи по релевантности – Цель: дальнейшая глубокая оценка процессов обратной связи по релевантности.
Отслеживание сеанса – Цель: разработать методы измерения сеансов с несколькими запросами, когда информация должна смещаться или становиться более или менее конкретной в течение сеанса.
спама Отслеживание – Цель: предоставить стандартную оценку существующих и предлагаемых подходов к фильтрации спама .
Отслеживание задач — Цель: проверить, могут ли системы инициировать возможные задачи, которые пользователи могут пытаться выполнить по запросу.
Режим временного суммирования – Цель: разработать системы, позволяющие пользователям эффективно отслеживать информацию, связанную с событием, с течением времени.
Терабайтный трек – Цель: выяснить, может ли/как сообщество IR масштабировать традиционную оценку на основе тестовых коллекций IR для значительно больших коллекций.
Полный цикл запоминания – Цель: оценить методы достижения очень высокого уровня запоминания, включая методы, включающие в процесс человека-оценщика.
Видеодорожка – Цель: исследование в области автоматической сегментации, индексации на основе контента и поиска цифрового видео . В 2003 году этот трек стал отдельной независимой оценкой под названием TRECVID.
Веб-трек – Цель: изучить поведение при поиске информации, распространенное при обычном веб-поиске.

Сопутствующие события [ править ]

В 1997 году был запущен японский аналог TREC (первый семинар состоялся в 1999 году) под названием NTCIR ( NII Test Collection for IR Systems), а в 2000 году был создан европейский аналог CLEF , специально ориентированный на изучение межъязыкового поиска информации. запущен. Форум по оценке информационного поиска (FIRE) стартовал в 2008 году с целью создания южноазиатского аналога TREC, CLEF и NTCIR.

Вклад конференции эффективность в поиска

NIST утверждает, что за первые шесть лет проведения семинаров эффективность поисковых систем увеличилась примерно вдвое. ^[7] Конференция также стала первой, на которой была проведена крупномасштабная оценка неанглоязычных документов, речи, видео и поиска на разных языках. Кроме того, эти проблемы вдохновили на создание большого количества публикаций . мира Технология, впервые разработанная в TREC, теперь включена во многие коммерческие поисковые системы . В независимом отчете RTII говорится, что «около трети улучшений поисковых систем в Интернете с 1999 по 2009 год приходится на TREC. Эти улучшения, вероятно, сэкономили до 3 миллиардов часов времени при использовании поисковых систем в Интернете. ... Кроме того, отчет показал, что на каждый доллар, который NIST и его партнеры вложили в TREC, по меньшей мере от 3,35 до 5,07 долларов прибыли было получено американскими исследователями в области поиска информации как в частном секторе, так и в научных кругах». ^[8]^[9]

Хотя одно исследование показывает, что уровень развития специального поиска существенно не продвинулся за десятилетие, предшествовавшее 2009 году, ^[10] имеется в виду просто поиск актуальных документов в небольших новостях и веб-коллекциях размером в несколько гигабайт. Были достигнуты успехи и в других типах специального поиска. Например, для веб-поиска по известным элементам были созданы тестовые коллекции, в которых были обнаружены улучшения за счет использования якорного текста, веса заголовка и длины URL-адреса, которые не были полезными методами в старых специальных тестовых коллекциях. В 2009 году была представлена новая веб-коллекция объемом в миллиард страниц, и фильтрация спама оказалась полезным методом для специального веб-поиска, в отличие от предыдущих тестовых коллекций.

Коллекции тестов, разработанные в TREC, полезны не только для (потенциальной) помощи исследователям в продвижении современного уровня техники, но и для того, чтобы позволить разработчикам новых (коммерческих) поисковых продуктов оценить их эффективность с помощью стандартных тестов. За последнее десятилетие TREC создала новые тесты для поиска в корпоративной электронной почте, геномного поиска, фильтрации спама, обнаружения электронных данных и ряда других поисковых доменов. ^{[ когда? ]}^{[ нужна ссылка ]}

Системы TREC часто служат основой для дальнейших исследований. Примеры включают в себя:

Хэл Вариан , главный экономист Google , говорит, что чем лучше данные, тем лучше наука. История поиска информации хорошо иллюстрирует этот принцип», — и описывает вклад TREC. ^[11]
Юридическое направление TREC оказало влияние на сообщество e-Discovery как в исследованиях, так и в оценке коммерческих поставщиков. ^[12]
Команда исследователей IBM создала IBM Watson (также известный как DeepQA ), который превзошел лучшую в мире систему Jeopardy! игроки, ^[13] использовали данные и системы из программы контроля качества TREC в качестве базовых показателей производительности. ^[14]

Участие [ править ]

Конференция состоит из разнообразной международной группы исследователей и разработчиков. ^[15]^[16]^[17] В 2003 году в нем приняли участие 93 группы из академических и промышленных кругов из 22 стран.

См. также [ править ]

Список наград в области информатики

Ссылки [ править ]

^ Брент Р. Роу; Даллас В. Вуд; Альберт Н. Линк; Диглио А. Симони (июль 2010 г.). «Оценка экономического воздействия программы NIST по текстовому поиску (TREC)» (PDF) . РТИ Интернешнл .
^ Хэл Вариан (4 марта 2008 г.). «Почему данные имеют значение» .
^ «Данные — суждения о релевантности на английском языке» . Национальный институт стандартов и технологий . Проверено 18 сентября 2023 г.
^ Чоудхури, GG (2003). Введение в современный поиск информации . Лэндон: Издательство Facet. стр. 269–279. ISBN 978-1856044806 .
^ https://trec.nist.gov/tracks.html.
^ «Трек ускорения базы знаний» . НИСТ .gov. 30 июня 2014 г. Проверено 4 ноября 2020 г.
^ С домашней страницы TREC: «... эффективность выросла примерно вдвое за первые шесть лет TREC»
^ «Инвестиции NIST значительно улучшили поисковые системы» . Rti.org. Архивировано из оригинала 18 ноября 2011 г. Проверено 19 января 2012 г.
^ https://www.nist.gov/director/planning/upload/report10-1.pdf. ^{[ пустой URL PDF ]}
^ Тимоти Дж. Армстронг, Алистер Моффат, Уильям Уэббер, Джастин Зобель. Улучшения, которые не складываются: результаты специального поиска с 1998 года. CIKM 2009. ACM.
^ Почему данные имеют значение
^ Группа 451: Стандарты обнаружения электронных данных - идем пешком
^ IBM и Опасность! Оживите историю с помощью Encore Presentation of Jeopardy!: The IBM Challenge
^ Дэвид Ферруччи, Эрик Браун, Дженнифер Чу-Кэрролл, Джеймс Фан, Дэвид Гондек, Адитья А. Калянпур, Адам Лалли, Дж. Уильям Мердок, Эрик Найберг, Джон Прагер, Нико Шлаефер и Крис Вельт. Создание Watson: обзор проекта DeepQA
^ «Участники — IRF Wiki» . Wiki.ir-facility.org. 01.12.2009. Архивировано из оригинала 23 февраля 2012 г. Проверено 19 января 2012 г.
^ http://trec.nist.gov/pubs/trec17/papers/LEGAL.OVERVIEW08.pdf . ^{[ пустой URL PDF ]}
^ «Результаты конференции по поиску текста (TREC) TREC 2008 по миллиону запросов» . Trec.nist.gov . Проверено 19 января 2012 г.

Внешние ссылки [ править ]

[2010.Economic.Impact-1] Брент Р. Роу; Даллас В. Вуд; Альберт Н. Линк; Диглио А. Симони (июль 2010 г.). «Оценка экономического воздействия программы NIST по текстовому поиску (TREC)» (PDF) . РТИ Интернешнл .

[2] Хэл Вариан (4 марта 2008 г.). «Почему данные имеют значение» .

[3] «Данные — суждения о релевантности на английском языке» . Национальный институт стандартов и технологий . Проверено 18 сентября 2023 г.

[4] Чоудхури, GG (2003). Введение в современный поиск информации . Лэндон: Издательство Facet. стр. 269–279. ISBN 978-1856044806 .

[5] ttps://trec.nist.gov/tracks.html.

[kba-corpus-6] «Трек ускорения базы знаний» . НИСТ .gov. 30 июня 2014 г. Проверено 4 ноября 2020 г.

[7] С домашней страницы TREC: «... эффективность выросла примерно вдвое за первые шесть лет TREC»

[8] «Инвестиции NIST значительно улучшили поисковые системы» . Rti.org. Архивировано из оригинала 18 ноября 2011 г. Проверено 19 января 2012 г.

[9] ttps://www.nist.gov/director/planning/upload/report10-1.pdf. ^{[ пустой URL PDF ]}

[10] Тимоти Дж. Армстронг, Алистер Моффат, Уильям Уэббер, Джастин Зобель. Улучшения, которые не складываются: результаты специального поиска с 1998 года. CIKM 2009. ACM.

[11] Почему данные имеют значение

[12] Группа 451: Стандарты обнаружения электронных данных - идем пешком

[13] IBM и Опасность! Оживите историю с помощью Encore Presentation of Jeopardy!: The IBM Challenge

[14] Дэвид Ферруччи, Эрик Браун, Дженнифер Чу-Кэрролл, Джеймс Фан, Дэвид Гондек, Адитья А. Калянпур, Адам Лалли, Дж. Уильям Мердок, Эрик Найберг, Джон Прагер, Нико Шлаефер и Крис Вельт. Создание Watson: обзор проекта DeepQA

[15] «Участники — IRF Wiki» . Wiki.ir-facility.org. 01.12.2009. Архивировано из оригинала 23 февраля 2012 г. Проверено 19 января 2012 г.

[16] ttp://trec.nist.gov/pubs/trec17/papers/LEGAL.OVERVIEW08.pdf . ^{[ пустой URL PDF ]}

[17] «Результаты конференции по поиску текста (TREC) TREC 2008 по миллиону запросов» . Trec.nist.gov . Проверено 19 января 2012 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

Базы данных авторитетного контроля
Международный	ВИАФ
Национальный	Германия Израиль Соединенные Штаты