Монотонное отношение правдоподобия

Монотонное отношение правдоподобия в распределениях $\ f(x)\$ и $\ g(x)\$

Отношение приведенных выше функций плотности монотонно по параметру $\ x\ ,$ так $\ {\frac {\ f(x)\ }{g(x)}}\$ удовлетворяет свойству монотонного отношения правдоподобия .

В статистике свойство монотонного отношения правдоподобия — это свойство отношения двух функций плотности вероятности (PDF). Формально распределения $\ f(x)\$ и $\ g(x)\$ нести имущество, если

$\ {\text{for every }}x_{2}>x_{1},\quad {\frac {f(x_{2})}{\ g(x_{2})\ }}\geq {\frac {f(x_{1})}{\ g(x_{1})\ }}\$

то есть, если отношение не убывает по аргументу $x$.

Если функции являются дифференцируемыми в первую очередь, иногда можно указать свойство

${\frac {\ \partial }{\ \partial x}}\left({\frac {f(x)}{\ g(x)\ }}\right)\geq 0\$

Для двух распределений, удовлетворяющих определению по некоторому аргументу $\ x\ ,$ мы говорим, что у них «есть MLRP в $\ x~.$«Для семейства распределений, которые все удовлетворяют определению относительно некоторой статистики $\ T(X)\ ,$ мы говорим, что у них «есть MLR в $\ T(X)~.$"

Интуиция

MLRP используется для представления процесса генерации данных, в котором существует прямая связь между величиной некоторой наблюдаемой переменной и распределением, из которого она извлекается. Если $\ f(x)\$ удовлетворяет MLRP в отношении $\ g(x)\$, тем выше наблюдаемое значение $\ x\$, тем более вероятно, что оно было взято из раздачи $\ f\$ скорее, чем $\ g~.$ Как обычно для монотонных отношений, монотонность отношения правдоподобия полезна в статистике, особенно при использовании максимального правдоподобия оценки . Кроме того, семейства распределений с MLR обладают рядом хороших стохастических свойств, таких как стохастическое доминирование первого порядка и возрастающие отношения рисков . К сожалению, как это обычно бывает, за силу этого предположения приходится платить ценой реализма. Многие процессы в мире не демонстрируют монотонного соответствия между входом и выходом.

Пример: усердно работать или расслабляться

Предположим, вы работаете над проектом и можете либо усердно работать, либо расслабиться. Позвоните по вашему выбору $\ e\$ и качество полученного проекта $\ q~.$ Если MLRP справедлив для распределения $\ q\$ при условии ваших усилий $\ e\$, чем выше качество, тем больше вероятность, что вы усердно работали. И наоборот, чем ниже качество, тем больше вероятность, что вы расслабились.

1: Выберите усилие $\ e\in \{H,L\}\$ где $\ H\$ означает большие усилия и $\ L\$ означает малое усилие.

2: Наблюдайте $\ q\$ взято из $\ f(q\ |\ e)~.$ По закону Байеса с равномерным априором

$\ \operatorname {\mathbb {P} } {\bigl [}\ e=H\ {\big |}\ q\ {\bigr ]}={\frac {f(q\ |\ H)}{\ f(q\ |\ H)+f(q\ |\ L)\ }}\$

3: Предположим $\ f(q\ |\ e)\$ удовлетворяет MLRP. Переставляя, вероятность того, что рабочий усердно работал, равна

$\ {\frac {1}{\ 1+f(q\ |\ L)/f(q\ |\ H)\ }}\$

который благодаря MLRP монотонно увеличивается в $\ q\$ (потому что $\ {\frac {f(q\ |\ L)}{\ f(q\ |\ H)\ }}\$ уменьшается в $\ q\$).

Следовательно, если какой-либо работодатель проводит «проверку эффективности», он может сделать вывод о поведении своего сотрудника на основании достоинств его работы.

распределений,

Статистические модели часто предполагают, что данные генерируются распределением из некоторого семейства распределений, и стремятся определить это распределение. Эта задача упрощается, если семейство обладает свойством монотонного отношения правдоподобия (MLRP).

Семейство функций плотности $\ {\bigl \{}\ f_{\theta }(x)\ {\big |}\ \theta \in \Theta \ {\bigr \}}\$ индексируется параметром $\ \theta \$ получение значений в упорядоченном наборе $\ \Theta \$ Говорят, что имеется монотонное отношение правдоподобия (MLR). в статистике $\ T(X)\$ если для любого $\ \theta _{1}<\theta _{2}\ ,$

$\ {\frac {f_{\theta _{2}}(X=x_{1},\ x_{2},\ x_{3},\ \ldots \ )}{\ f_{\theta _{1}}(X=x_{1},\ x_{2},\ x_{3},\ \ldots \ )\ }}\$ является неубывающей функцией $\ T(X)~.$

Тогда мы говорим, что семейство дистрибутивов «имеет MLR в $\ T(X)\$".

Список семей

Семья	$\ T(X)\$ в котором $\ f_{\theta }(X)\$ имеет MLR
Экспоненциальный $[\lambda ]\$	$\ \sum x_{i}\$ наблюдения
Биномиальный $[n,p]\$	$\ \sum x_{i}\$ наблюдения
Пуассон $[\lambda ]\$	$\ \sum x_{i}\$ наблюдения
Нормальный $[\mu ,\sigma ]\$	если $\ \sigma \$ известно, $\ \sum x_{i}\$ наблюдения

Проверка гипотез

Если семейство случайных величин имеет MLRP в $\ T(X)\ ,$ критерий наиболее эффективный для гипотезы можно легко определить $\ H_{0}\ :\ \theta \leq \theta _{0}\$ против $\ H_{1}\ :\ \theta >\theta _{0}~.$

Пример: усилия и результат

Пример: Пусть $\ e\$ быть вкладом в стохастическую технологию (например, усилия рабочего) и $\ y\$ его выход, вероятность которого описывается функцией плотности вероятности $\ f(y;e)~.$ Тогда свойство монотонного отношения правдоподобия (MLRP) семейства $\ f\$ выражается следующим образом: для любого $\ e_{1},e_{2}\ ,$ тот факт, что $e_{2}>e_{1}$ подразумевает, что соотношение $\ {\frac {\ f(y;e_{2})\ }{f(y;e_{1})}}\$ увеличивается в $\ y~.$

Связь с другими статистическими свойствами

Монотонные вероятности используются в нескольких областях статистической теории, включая точечную оценку и проверку гипотез , а также в вероятностных моделях .

Экспоненциальные семейства

Однопараметрические экспоненциальные семейства имеют монотонные функции правдоподобия. В частности, одномерное экспоненциальное семейство функций плотности вероятности или функций массы вероятности с

$\ f_{\theta }(x)=c(\theta )\ h(x)\ \exp {\Bigl (}\ \pi \left(\theta \right)\ T\left(x\right)\ {\Bigr )}\$

имеет монотонное неубывающее отношение правдоподобия в достаточной статистике $\ T(x)\ ,$ при условии, что $\ \pi (\theta )\$ не убывает.

самые мощные тесты: теорема Карлина

Монотонные функции правдоподобия используются для построения наиболее мощных тестов в соответствии с теоремой Карлина-Рубина . Рассмотрим скалярное измерение, имеющее функцию плотности вероятности, параметризованную скалярным параметром $\ \theta \ ,$ и определим отношение правдоподобия $\ \ell (x)={\frac {f_{\theta _{1}}(x)}{\ f_{\theta _{0}}(x)\ }}~.$ Если $\ \ell (x)\$ монотонно не убывает, в $\ x\ ,$ для любой пары $\ \theta _{1}\geq \theta _{0}\$ (это означает, что чем больше $\ x\$ есть, тем более вероятно $\ H_{1}\$ есть), то пороговый тест:

$\ \varphi (x)={\begin{cases}1&{\text{if }}x>x_{0}\\0&{\text{if }}x<x_{0}\end{cases}}\$

где $\ x_{0}\$ выбирается так, что $\ \operatorname {\mathbb {E} } {\bigl \{}\ \varphi (X)\ {\big |}\ \theta _{0}\ {\bigr \}}=\alpha \$

это тест UMP на размер $\ \alpha \$ для тестирования $\ H_{0}\ :\ \theta \leq \theta _{0}~~$ против. $~~H_{1}:\theta >\theta _{0}~.$

Обратите внимание, что точно такой же тест также является UMP для тестирования. $\ H_{0}\ :\ \theta =\theta _{0}~~$ против. $~~H_{1}:\theta >\theta _{0}~.$

Медианная

Монотонные функции правдоподобия используются для построения несмещенных по медиане оценок с использованием методов, указанных Иоганном Пфанцаглем и другими. Одна из таких процедур является аналогом процедуры Рао-Блэквелла для несмещенных в среднем оценок : процедура справедлива для меньшего класса распределений вероятностей, чем процедура Рао-Блэквелла для несмещенной в среднем оценки, но для более широкого класса функций потерь .

срока службы: анализ выживаемости

Если семейство распределений $\ f_{\theta }(x)\$ имеет свойство монотонного отношения правдоподобия в $\ T(X)\ ,$

1. в семье наблюдается монотонное снижение уровня опасности в $\ \theta \$ (но не обязательно в $\ T(X)\$)
2. первого (и, следовательно, второго порядка) семейство демонстрирует стохастическое доминирование в $\ x\ ,$ и лучшее байесовское обновление $\ \theta \$ увеличивается в $T(X)$.

Но не наоборот: ни монотонные уровни риска, ни стохастическое доминирование не подразумевают MLRP.

Доказательства

Пусть семейство дистрибутивов $\ f_{\theta }\$ удовлетворить MLR в $\ x\ ,$ так что для $\ \theta _{1}>\theta _{0}\$ и $\ x_{1}>x_{0}\ :$

$\ {\frac {f_{\theta _{1}}(x_{1})}{\ f_{\theta _{0}}(x_{1})\ }}\geq {\frac {\ f_{\theta _{1}}(x_{0})\ }{f_{\theta _{0}}(x_{0})}}\ ,$

или эквивалентно:

$\ f_{\theta _{1}}(x_{1})\ f_{\theta _{0}}(x_{0})\geq f_{\theta _{1}}(x_{0})\ f_{\theta _{0}}(x_{1})~.$

Дважды интегрируя это выражение, получим:

1. Чтобы $\ x_{1}\$ относительно $\ x_{0}\$ ${\begin{aligned}&\int _{\min X}^{x_{1}}\ f_{\theta _{1}}(x_{1})\ f_{\theta _{0}}(x_{0})\ \mathrm {d} x_{0}\\[6pt]\geq {}&\int _{\min X}^{x_{1}}\ f_{\theta _{1}}(x_{0})\ f_{\theta _{0}}(x_{1})\ \mathrm {d} x_{0}\end{aligned}}$ интегрировать и переупорядочивать, чтобы получить ${\frac {f_{\theta _{1}}(x)}{\ f_{\theta _{0}}(x)\ }}\geq {\frac {F_{\theta _{1}}(x)}{\ F_{\theta _{0}}(x)\ }}\$		2. От $x_{0}$ относительно $\ x_{1}\$ ${\begin{aligned}&\int _{x_{0}}^{\max X}\ f_{\theta _{1}}(x_{1})\ f_{\theta _{0}}(x_{0})\ \mathrm {d} x_{1}\\[6pt]\geq {}&\int _{x_{0}}^{\max X}\ f_{\theta _{1}}(x_{0})\ f_{\theta _{0}}(x_{1})\ \mathrm {d} x_{1}\end{aligned}}$ интегрировать и переупорядочивать, чтобы получить ${\frac {1-F_{\theta _{1}}(x)}{\ 1-F_{\theta _{0}}(x)\ }}\geq {\frac {f_{\theta _{1}}(x)}{\ f_{\theta _{0}}(x)\ }}\$

первого

Объедините два приведенных выше неравенства, чтобы получить доминирование первого порядка:

$F_{\theta _{1}}(x)\leq F_{\theta _{0}}(x)~\forall x\$

опасности

Используйте только второе неравенство выше, чтобы получить монотонную степень опасности:

$\ {\frac {f_{\theta _{1}}(x)}{\ 1-F_{\theta _{1}}(x)\ }}\leq {\frac {f_{\theta _{0}}(x)}{\ 1-F_{\theta _{0}}(x)\ }}~\forall x\$

Использует

Экономика

MLR является важным условием распределения типов агентов в конструкции механизмов и экономике информации , где Пол Милгром определил «благоприятность» сигналов (с точки зрения стохастического доминирования) как следствие MLR. Большинство решений для моделей проектирования механизмов предполагают распределение типов, удовлетворяющее MLR, чтобы воспользоваться преимуществами методов решения, которые может быть проще применять и интерпретировать.