Средний обратный ранг

Средний обратный ранг — это статистическая мера для оценки любого процесса, который создает список возможных ответов на выборку запросов, упорядоченный по вероятности правильности. Обратный ранг ответа на запрос является мультипликативным, обратным рангу первого правильного ответа: 1 для первого места, 1 ⁄ 2 за второе место, 1 ⁄ 3 за третье место и так далее. Средний обратный ранг — это среднее значение обратных рангов результатов для выборки запросов Q:

${\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!$

где ${\text{rank}}_{i}$ относится к позиции первого релевантного документа для i -го запроса.

Обратное значение среднего взаимного ранга соответствует среднему гармоническому рангу.

Пример

Предположим, у нас есть следующие три запроса к системе, которая пытается перевести английские слова во множественное число. В каждом случае система делает три предположения, первое из которых, по ее мнению, является наиболее вероятным:

Запрос	Предлагаемые результаты	Правильный ответ	Классифицировать	Взаимный ранг
кот	кот, кати, кошки	кошки	3	1/3
тор	Тори, Тори , торы	Тори	2	1/2
вирус	вирусы , вирусы, вирусы	вирусы	1	1

Учитывая эти три выборки, мы могли бы рассчитать средний обратный ранг как $(1/3+1/2+1)/3=11/18$, или примерно 0,61.

Если ни один из предложенных результатов не верен, обратный ранг равен 0. Обратите внимание, что учитывается только ранг первого релевантного ответа, а возможные дальнейшие релевантные ответы игнорируются. Если пользователи также заинтересованы в дополнительных релевантных элементах, средняя средняя точность потенциальным альтернативным показателем может стать .

См. также

• Поиск информации
• Ответ на вопрос