Универсальная ИК-оценка
 | Эта статья нуждается в дополнительных цитатах для проверки . ( апрель 2011 г. ) |
В информатике . универсальная IR Evaluation ( оценка поиска информации ) направлена на разработку показателей производительности поиска из базы данных, которые должны быть сопоставимы для всех задач поиска информации
Меры «релевантности»
[ редактировать ]Оценка IR (поиска информации) начинается каждый раз, когда пользователь отправляет запрос (условие поиска) в базу данных . Если пользователь может определить релевантность каждого документа в базе данных (релевантный или нерелевантный), то для каждого запроса полный набор документов естественным образом разделяется на четыре отдельных (взаимоисключающих) подмножества: релевантные документы, которые извлекаются, не соответствующие документы, которые извлекаются, соответствующие документы, которые не извлекаются, и не соответствующие документы, которые не извлекаются. Эти четыре подмножества (документов) обозначаются буквами a, b, c, d соответственно и называются переменными Swets, названными в честь их изобретателя. [1]
В дополнение к определениям Светса также были определены четыре показателя релевантности: «Напоминание» относится к доле извлеченных релевантных документов (a/(a+b)), а «Точность» относится к доле релевантных извлеченных документов (a /(a+b)). /(а+с)). Это наиболее часто используемые и известные показатели релевантности, встречающиеся в литературе по оценке IR. Два менее часто используемых показателя включают Fallout, т. е. долю нерелевантных документов, которые были извлечены (b/(b+d)), и Miss, который относится к доле нерелевантных документов, которые не были извлечены (c/( c+d)) во время любого поиска.
Универсальные методы оценки IR
[ редактировать ]Универсальная оценка IR рассматривает математические возможности и взаимосвязи между четырьмя метриками релевантности Precision, Recall, Fallout и Miss, обозначаемыми P, R, F и M соответственно. Один из аспектов проблемы заключается в нахождении математического вывода полного набора универсальных точек оценки IR. [2] Полный набор из 16 пунктов, каждый из которых представляет собой четверку формы (P,R,F,M), описывает все возможные универсальные исходы IR. Например, многие из нас имели опыт запроса к базе данных и вообще не получения каких-либо документов. В этом случае Точность примет неопределенную форму 0/0, Отзыв и Осадки будут равны нулю, а Промах будет любым значением больше нуля и меньше единицы (при условии, что было сочетание релевантных и нерелевантных документов). в базе данных, ни один из которых не был получен). Таким образом, эта универсальная точка оценки IR будет обозначаться (0/0, 0, 0, M), что представляет собой только один из 16 возможных универсальных результатов IR.
Математика универсальной оценки IR — довольно новый предмет, поскольку метрики релевантности P,R,F,M не анализировались коллективно до недавнего времени (в течение последнего десятилетия). Многие теоретические основы уже сформулированы, но новые идеи в этой области еще ждут своего открытия. Для детального математического анализа запрос в базе данных ScienceDirect по запросу «универсальная оценка IR» позволяет получить несколько соответствующих рецензируемых статей.