Функция правдоподобия

Функция правдоподобия (часто называемая просто правдоподобием ) измеряет, насколько хорошо статистическая модель объясняет наблюдаемые данные , вычисляя вероятность увидеть эти данные при различных значениях параметров модели. Он строится на основе совместного распределения вероятностей которая случайной величины, (предположительно) породила наблюдения. При оценке на основе фактических данных он становится функцией исключительно параметров модели.

При оценке максимального правдоподобия аргумент, который максимизирует функцию правдоподобия, служит точечной оценкой неизвестного параметра, в то время как информация Фишера правдоподобия (часто аппроксимируемая матрицей Гессе оценки в максимуме) дает указание на точность .

Напротив, в байесовской статистике интересующая оценка является обратной вероятностью, так называемой апостериорной вероятностью параметра с учетом наблюдаемых данных, которая рассчитывается с помощью правила Байеса .

Определение

Функция правдоподобия, параметризованная параметром (возможно, многомерным). ${\textstyle \theta }$, обычно определяется по-разному для дискретных и непрерывных распределений вероятностей (более общее определение обсуждается ниже). Учитывая плотность вероятности или функцию массы

$$x\mapsto f(x\mid \theta ),$$

где ${\textstyle x}$ является реализацией случайной величины ${\textstyle X}$, функция правдоподобия $$\theta \mapsto f(x\mid \theta ),$$часто пишут $${\mathcal {L}}(\theta \mid x).$$

Другими словами, когда ${\textstyle f(x\mid \theta )}$ рассматривается как функция ${\textstyle x}$ с ${\textstyle \theta }$ фиксированная, это функция плотности вероятности, и если рассматривать ее как функцию ${\textstyle \theta }$ с ${\textstyle x}$ фиксировано, это функция правдоподобия. В частотной парадигме обозначение ${\textstyle f(x\mid \theta )}$ часто избегают и вместо этого ${\textstyle f(x;\theta )}$ или ${\textstyle f(x,\theta )}$ используются для обозначения того, что ${\textstyle \theta }$ рассматривается как фиксированная неизвестная величина, а не как случайная величина, от которой зависит.

Функция правдоподобия не определяет вероятность того, что ${\textstyle \theta }$ это правда, учитывая наблюдаемую выборку ${\textstyle X=x}$. Такая интерпретация является распространенной ошибкой, имеющей потенциально катастрофические последствия (см. « Заблуждение прокурора »).

Дискретное распределение вероятностей

Позволять ${\textstyle X}$ быть дискретной случайной величиной с функцией массы вероятности ${\textstyle p}$ в зависимости от параметра ${\textstyle \theta }$. Тогда функция

$${\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x),$$

рассматривать как функцию ${\textstyle \theta }$, — функция правдоподобия с учетом результата ${\textstyle x}$ случайной величины ${\textstyle X}$. Иногда вероятность «значения ${\textstyle x}$ из ${\textstyle X}$ для значения параметра ${\textstyle \theta }$ «записывается как P ( X = x | θ ) или P ( X = x ; θ ) . Правдоподобие — это вероятность того, что конкретный результат ${\textstyle x}$ наблюдается, когда истинное значение параметра ${\textstyle \theta }$, что эквивалентно вероятностной массе на ${\textstyle x}$; это не плотность вероятности по параметру ${\textstyle \theta }$. Вероятность, ${\textstyle {\mathcal {L}}(\theta \mid x)}$, не следует путать с ${\textstyle P(\theta \mid x)}$, что является апостериорной вероятностью ${\textstyle \theta }$ учитывая данные ${\textstyle x}$.

Пример

Рисунок 1. Функция правдоподобия ( ${\textstyle p_{\text{H}}^{2}}$) для вероятности выпадения монеты лицом вверх (без предварительного знания ее честности), учитывая, что мы наблюдали HH.

Рисунок 2. Функция правдоподобия ( ${\textstyle p_{\text{H}}^{2}(1-p_{\text{H}})}$) для вероятности выпадения монеты лицом вверх (без предварительного знания ее честности), учитывая, что мы наблюдали HHT.

Рассмотрим простую статистическую модель подбрасывания монеты: один параметр ${\textstyle p_{\text{H}}}$ это выражает «справедливость» монеты. Параметром является вероятность того, что монета при броске упадет решкой вверх («H»). ${\textstyle p_{\text{H}}}$ может принимать любое значение в диапазоне от 0,0 до 1,0. За совершенно честную монету , ${\textstyle p_{\text{H}}=0.5}$.

Представьте себе, что вы дважды подбрасываете честную монету и наблюдаете, как в двух бросках выпадает две решки («ЧХ»). Если предположить, что каждый последующий подброс монеты равен iid , то вероятность наблюдения HH равна

$$P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.$$

Аналогично, вероятность наблюдения «HH» при условии, что ${\textstyle p_{\text{H}}=0.5}$ является

$${\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.$$

Это не то же самое, что сказать, что ${\textstyle P(p_{\text{H}}=0.5\mid HH)=0.25}$, вывод, который можно было сделать только с помощью теоремы Байеса, зная о предельных вероятностях ${\textstyle P(p_{\text{H}}=0.5)}$ и ${\textstyle P({\text{HH}})}$.

Теперь предположим, что монета не является честной монетой, а вместо этого ${\textstyle p_{\text{H}}=0.3}$. Тогда вероятность того, что при двух бросках выпадет две решки, равна

$$P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.$$

Следовательно

$${\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.$$

В более общем случае для каждого значения ${\textstyle p_{\text{H}}}$, мы можем вычислить соответствующую вероятность. Результат таких вычислений представлен на рисунке 1. Интеграл от ${\textstyle {\mathcal {L}}}$ свыше [0, 1] составляет 1/3; вероятности не обязательно должны интегрироваться или суммироваться до единицы в пространстве параметров.

Непрерывное распределение вероятностей

Позволять ${\textstyle X}$ быть случайной величиной, подчиняющейся абсолютно непрерывному распределению вероятностей с функцией плотности. ${\textstyle f}$ (функция ${\textstyle x}$), который зависит от параметра ${\textstyle \theta }$. Тогда функция

$${\mathcal {L}}(\theta \mid x)=f_{\theta }(x),$$

рассматривать как функцию ${\textstyle \theta }$, – функция правдоподобия (из ${\textstyle \theta }$, учитывая результат ${\textstyle X=x}$). Снова, ${\textstyle {\mathcal {L}}}$ не является плотностью вероятности или функцией массы по ${\textstyle \theta }$, несмотря на то, что является функцией ${\textstyle \theta }$ учитывая наблюдение ${\textstyle X=x}$.

Связь между функциями правдоподобия и плотности вероятности

Использование плотности вероятности при задании функции правдоподобия выше обосновано следующим образом. Учитывая наблюдение ${\textstyle x_{j}}$, вероятность для интервала ${\textstyle [x_{j},x_{j}+h]}$, где ${\textstyle h>0}$ является константой, определяется выражением ${\textstyle {\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$. Обратите внимание, что $$\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h]),$$с ${\textstyle h}$ положителен и постоянен. Потому что $$\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx,$$

где ${\textstyle f(x\mid \theta )}$ – функция плотности вероятности, отсюда следует, что

$$\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx.$$

Первая фундаментальная теорема исчисления гласит, что $$\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx=f(x_{j}\mid \theta ).$$

Затем $${\begin{aligned}&\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])\right]\\[4pt]={}&\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx\right]=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta ).\end{aligned}}$$

Поэтому, $$\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta ),$$и таким образом максимизируя плотность вероятности при ${\textstyle x_{j}}$ означает максимизацию вероятности конкретного наблюдения ${\textstyle x_{j}}$.

В общем

В теоретико-мерной теории вероятностей определяется функция плотности как производная Радона – Никодима распределения вероятностей относительно общей доминирующей меры. Функция правдоподобия — это плотность, интерпретируемая как функция параметра, а не случайной величины. Таким образом, мы можем построить функцию правдоподобия для любого распределения, будь то дискретное, непрерывное, смешанное или иное. (Правдоподобия сравнимы, например, для оценки параметров, только если они являются производными Радона – Никодима по одной и той же доминирующей мере.)

В приведенном выше обсуждении вероятности дискретных случайных величин используется мера подсчета , при которой плотность вероятности любого результата равна вероятности этого результата.

Вероятности для смешанных непрерывно-дискретных распределений

Вышеизложенное можно просто расширить, чтобы можно было рассматривать распределения, которые содержат как дискретные, так и непрерывные компоненты. Предположим, что распределение состоит из ряда дискретных вероятностных масс ${\textstyle p_{k}(\theta )}$ и плотность ${\textstyle f(x\mid \theta )}$, где сумма всех ${\textstyle p}$добавляется к интегралу ${\textstyle f}$ всегда один. Предполагая, что можно отличить наблюдение, соответствующее одной из дискретных вероятностных масс, от наблюдения, которое соответствует компоненту плотности, с функцией правдоподобия для наблюдения из непрерывного компонента можно обращаться способом, показанным выше. Для наблюдения дискретного компонента функция правдоподобия наблюдения дискретного компонента просто $${\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),$$где ${\textstyle k}$ - индекс дискретной вероятностной массы, соответствующей наблюдению ${\textstyle x}$, поскольку максимизация вероятностной массы (или вероятности) при ${\textstyle x}$ означает максимизацию вероятности конкретного наблюдения.

Тот факт, что функция правдоподобия может быть определена таким образом, который включает в себя несоизмеримые вклады (плотность и масса вероятности), обусловлен способом определения функции правдоподобия с точностью до константы пропорциональности, где эта «константа» может измениться с наблюдением ${\textstyle x}$, но не с параметром ${\textstyle \theta }$.

Условия регулярности

В контексте оценки параметров обычно предполагается, что функция правдоподобия подчиняется определенным условиям, известным как условия регулярности. Эти условия предполагаются в различных доказательствах с использованием функций правдоподобия и требуют проверки в каждом конкретном приложении. Для оценки максимального правдоподобия существование глобального максимума функции правдоподобия имеет первостепенное значение. По теореме об экстремальных значениях достаточно, чтобы функция правдоподобия была непрерывной в компактном пространстве параметров, чтобы существовала оценка максимального правдоподобия. Хотя предположение о непрерывности обычно выполняется, предположение о компактности пространства параметров часто не выполняется, поскольку границы истинных значений параметров могут быть неизвестны. В этом случае ключевую роль играет вогнутость функции правдоподобия.

Более конкретно, если функция правдоподобия дважды непрерывно дифференцируема в k -мерном пространстве параметров ${\textstyle \Theta }$ предполагается открытым связным подмножеством ${\textstyle \mathbb {R} ^{k}\,,}$ существует единственный максимум ${\textstyle {\hat {\theta }}\in \Theta }$ если матрица вторых частиц $$\mathbf {H} (\theta )\equiv \left[\,{\frac {\partial ^{2}L}{\,\partial \theta _{i}\,\partial \theta _{j}\,}}\,\right]_{i,j=1,1}^{n_{\mathrm {i} },n_{\mathrm {j} }}\;$$ отрицательно определен для каждого ${\textstyle \,\theta \in \Theta \,}$ при котором градиент ${\textstyle \;\nabla L\equiv \left[\,{\frac {\partial L}{\,\partial \theta _{i}\,}}\,\right]_{i=1}^{n_{\mathrm {i} }}\;}$ исчезает,и если функция правдоподобия приближается к константе на границе пространства параметров, ${\textstyle \;\partial \Theta \;,}$ то есть, $$\lim _{\theta \to \partial \Theta }L(\theta )=0\;,$$который может включать точки, находящиеся на бесконечности, если ${\textstyle \,\Theta \,}$ является неограниченным. Мякеляйнен и соавторы доказывают этот результат, используя теорию Морса , неформально апеллируя к свойству горного перевала. Маскареньяш повторяет свое доказательство, используя теорему о горном перевале .

В доказательствах непротиворечивости и асимптотической нормальности оценки максимального правдоподобия делаются дополнительные предположения о плотностях вероятности, которые составляют основу конкретной функции правдоподобия. Эти условия были впервые установлены Чандой. В частности, почти для всех ${\textstyle x}$, и для всех ${\textstyle \,\theta \in \Theta \,,}$$${\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\,$$существовать для всех ${\textstyle \,r,s,t=1,2,\ldots ,k\,}$ для того, чтобы гарантировать существование расширения Тейлора . Во-вторых, почти для всех ${\textstyle x}$ и для каждого ${\textstyle \,\theta \in \Theta \,}$ должно быть это $$\left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\,\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\right|<H_{rst}(x)$$где ${\textstyle H}$ таков, что ${\textstyle \,\int _{-\infty }^{\infty }H_{rst}(z)\mathrm {d} z\leq M<\infty \;.}$ Эта ограниченность производных необходима для возможности дифференцирования под знаком интеграла . И, наконец, предполагается, что информационная матрица , $$\mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}\ {\frac {\partial \log f}{\partial \theta _{s}}}\ f\ \mathrm {d} z$$положительно определен и ${\textstyle \,\left|\mathbf {I} (\theta )\right|\,}$ конечно. Это гарантирует, что оценка имеет конечную дисперсию.

Вышеуказанные условия являются достаточными, но не необходимыми. То есть модель, которая не удовлетворяет этим условиям регулярности, может иметь или не иметь оценку максимального правдоподобия упомянутых выше свойств. Кроме того, в случае ненезависимых или неидентично распределенных наблюдений может потребоваться принять дополнительные свойства.

В байесовской статистике почти идентичные условия регулярности накладываются на функцию правдоподобия, чтобы доказать асимптотическую нормальность апостериорной вероятности , и, следовательно, для обоснования аппроксимации Лапласа апостериорной области в больших выборках.

Отношение правдоподобия и относительная вероятность

См. Также: Псевдо-R-квадрат.

Отношение правдоподобия

Этот раздел посвящен отношению правдоподобия в целом. Информацию об использовании отношений правдоподобия при интерпретации диагностических тестов см. в разделе « Отношения правдоподобия в диагностическом тестировании» . Статистический тест для сравнения степени соответствия см. в разделе « Тест отношения правдоподобия» .

Отношение правдоподобия — это отношение любых двух заданных правдоподобий, которое часто записывают как: $$\Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.$$

Отношение правдоподобия занимает центральное место в правдоподобной статистике : закон правдоподобия гласит, что степень, в которой данные (считающиеся доказательствами) поддерживают одно значение параметра по сравнению с другим, измеряется отношением правдоподобия.

В частотном выводе отношение правдоподобия является основой для тестовой статистики , так называемого теста отношения правдоподобия . Согласно лемме Неймана-Пирсона , это самый мощный тест для сравнения двух простых гипотез на заданном уровне значимости . Многочисленные другие тесты можно рассматривать как тесты отношения правдоподобия или их аппроксимации. Асимптотическое распределение логарифмического отношения правдоподобия, рассматриваемое как тестовая статистика, определяется теоремой Уилкса .

Отношение правдоподобия также имеет центральное значение в байесовском выводе , где оно известно как фактор Байеса и используется в правиле Байеса . Выражаясь в терминах шансов , правило Байеса гласит, что апостериорные шансы двух альтернатив, ⁠ $A_{1}$⁠ и ⁠ $A_{2}$⁠ , учитывая событие ⁠ $B$⁠ — априорные шансы, умноженные на отношение правдоподобия. В виде уравнения: $$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).$$

Отношение правдоподобия не используется напрямую в статистике на основе AIC. Вместо этого используется относительная вероятность моделей (см. ниже).

В доказательной медицине отношения правдоподобия используются в диагностическом тестировании для оценки ценности выполнения диагностического теста .

Функция относительного правдоподобия

См. Также: Относительная вероятность

Поскольку фактическое значение функции правдоподобия зависит от выборки, часто удобно работать со стандартизированной мерой. Предположим, что оценка максимального правдоподобия для параметра θ равна ${\textstyle {\hat {\theta }}}$. Относительная правдоподобность других значений θ может быть найдена путем сравнения правдоподобий этих других значений с вероятностью ${\textstyle {\hat {\theta }}}$. Относительная вероятность θ как определяется $$R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.$$Таким образом, относительная вероятность — это отношение правдоподобия (обсуждаемое выше) с фиксированным знаменателем. ${\textstyle {\mathcal {L}}({\hat {\theta }})}$. Это соответствует стандартизации вероятности иметь максимум 1.

Вероятностный регион

Область правдоподобия — это набор всех значений θ , относительная вероятность которых больше или равна заданному порогу. В процентах область вероятности p % для θ определяется как

$$\left\{\theta :R(\theta )\geq {\frac {p}{100}}\right\}.$$

Если θ является единственным действительным параметром, область вероятности p % обычно будет включать интервал реальных значений. Если область содержит интервал, то она называется интервалом правдоподобия .

Интервалы правдоподобия и, в более общем плане, области правдоподобия используются для интервальной оценки в правдоподобной статистике: они аналогичны доверительным интервалам в частотной статистике и достоверным интервалам в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительной вероятности, а не с точки зрения вероятности покрытия (частотность) или апостериорной вероятности (байесианство).

Учитывая модель, интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ является единственным реальным параметром, то при определенных условиях интервал правдоподобия 14,65% (вероятность около 1:7) для θ будет таким же, как доверительный интервал 95% (вероятность охвата 19/20). В несколько иной формулировке, подходящей для использования логарифмического правдоподобия (см. теорему Уилкса ), тестовая статистика в два раза превышает разницу в логарифмических вероятностях, а распределение вероятностей тестовой статистики представляет собой примерно распределение хи-квадрат со степенями вероятности. -свобода (df), равная разнице df между двумя моделями (следовательно, e ⁻² интервал правдоподобия такой же, как доверительный интервал 0,954; предполагая, что разница в df равна 1).

Вероятности, исключающие мешающие параметры

Во многих случаях вероятность является функцией более чем одного параметра, но интерес сосредотачивается на оценке только одного или, самое большее, нескольких из них, а остальные рассматриваются как мешающие параметры . Для устранения таких мешающих параметров было разработано несколько альтернативных подходов, чтобы вероятность можно было записать как функцию только интересующего параметра (или параметров): основными подходами являются профильная, условная и предельная правдоподобия. Эти подходы также полезны, когда поверхность правдоподобия большой размерности необходимо свести к одному или двум интересующим параметрам, чтобы можно было построить график .

Вероятность профиля

Можно уменьшить размерность, концентрируя функцию правдоподобия для подмножества параметров, выражая мешающие параметры как функции интересующих параметров и заменяя их в функции правдоподобия. В общем случае для функции правдоподобия, зависящей от вектора параметров ${\textstyle \mathbf {\theta } }$ которые можно разделить на ${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$, а где переписка ${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$ может быть определена явно, концентрация снижает вычислительную нагрузку исходной задачи максимизации.

Например, в линейной регрессии с нормально распределенными ошибками: ${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$вектор коэффициентов можно разбить на ${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$ (и, следовательно, матрица расчета ${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$). Максимизация по отношению к ${\textstyle \beta _{2}}$ дает оптимальную функцию значения ${\textstyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$. Используя этот результат, можно получить оценку максимального правдоподобия для ${\textstyle \beta _{1}}$ тогда можно вывести как $${\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y}$$где ${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$ является проекции матрицей ${\textstyle \mathbf {X} _{2}}$. Этот результат известен как теорема Фриша-Во-Ловелла .

Поскольку графически процедура концентрации эквивалентна разрезанию поверхности правдоподобия по гребню значений параметра помехи ${\textstyle \beta _{2}}$ который максимизирует функцию правдоподобия, создавая изометрический профиль функции правдоподобия для данного ${\textstyle \beta _{1}}$результат этой процедуры также известен как вероятность профиля . Помимо графического отображения, профиль правдоподобия также можно использовать для расчета доверительных интервалов , которые часто имеют лучшие свойства для малой выборки, чем те, которые основаны на асимптотических стандартных ошибках, рассчитанных на основе полного правдоподобия.

Условная вероятность

Иногда можно найти достаточную статистику для мешающих параметров, и использование этой статистики приводит к получению вероятности, которая не зависит от мешающих параметров.

Один из примеров встречается в таблицах 2×2, где условие всех четырех предельных итогов приводит к условному правдоподобию, основанному на нецентральном гипергеометрическом распределении . Эта форма обусловленности также является основой точного теста Фишера .

Предельная вероятность

Основная статья: Предельная вероятность

Иногда мы можем удалить мешающие параметры, рассматривая вероятность, основанную только на части информации в данных, например, используя набор рангов, а не числовые значения. Другой пример встречается в линейных смешанных моделях , где рассмотрение вероятности остатков только после подгонки фиксированных эффектов приводит к оценке максимального правдоподобия остатков для компонентов дисперсии.

Частичная вероятность

Частичная вероятность — это адаптация полной вероятности, при которой в ней встречается только часть параметров (интересующих параметров). Это ключевой компонент модели пропорциональных рисков : при использовании ограничения на функцию риска вероятность не содержит формы опасности с течением времени.

Произведения вероятностей

Вероятность при наличии двух или более независимых событий является произведением вероятностей каждого из отдельных событий: $$\Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2}).$$Это следует из определения независимости вероятности: вероятности двух независимых событий, происходящих в данной модели, являются произведением вероятностей.

Это особенно важно, когда события происходят от независимых и одинаково распределенных случайных величин , таких как независимые наблюдения или выборка с заменой . В такой ситуации функция правдоподобия превращается в произведение отдельных функций правдоподобия.

Пустое произведение имеет значение 1, что соответствует вероятности, равной 1 при отсутствии событий: перед появлением каких-либо данных вероятность всегда равна 1. Это похоже на равномерный априор в байесовской статистике, но в правдоподобной статистике это не является неправильным. раньше, потому что вероятности не интегрированы.

Логарифмическое правдоподобие

См. также: Логарифмическая вероятность.

Логарифмическая функция правдоподобия — это логарифм функции правдоподобия, часто обозначаемый строчной буквой l или ⁠. $\ell$⁠ , в отличие от заглавной буквы L или ${\textstyle {\mathcal {L}}}$ для вероятности. Поскольку логарифмы являются строго возрастающими функциями, максимизация правдоподобия эквивалентна максимизации логарифмического правдоподобия. Но для практических целей удобнее работать с логарифмической функцией правдоподобия при оценке максимального правдоподобия , в частности, поскольку наиболее распространенные распределения вероятностей , особенно экспоненциальное семейство , являются только логарифмически вогнутыми . и вогнутость целевой функции играет ключевую роль в максимизации .

Учитывая независимость каждого события, общая логарифмическая вероятность пересечения равна сумме логарифмических вероятностей отдельных событий. Это аналогично тому факту, что общая логарифмическая вероятность представляет собой сумму логарифмических вероятностей отдельных событий. Помимо математического удобства, процесс добавления логарифмического правдоподобия имеет интуитивную интерпретацию, которую часто выражают как «поддержку» данными. Когда параметры оцениваются с использованием логарифмического правдоподобия для оценки максимального правдоподобия , каждая точка данных используется путем прибавления к общему логарифмическому правдоподобию. Поскольку данные можно рассматривать как свидетельство, подтверждающее оцененные параметры, этот процесс можно интерпретировать как « дополнительную поддержку со стороны независимых доказательств», а логарифмическое правдоподобие представляет собой «вес доказательств». Интерпретируя отрицательную логарифмическую вероятность как информационное содержание или неожиданность , поддержка (логарифмическая вероятность) модели при данном событии является отрицанием неожиданности события при данной модели: модель поддерживается событием в той степени, в которой что событие неудивительно, учитывая модель.

Логарифм отношения правдоподобия равен разнице логарифмов правдоподобия: $$\log {\frac {{\mathcal {L}}(A)}{{\mathcal {L}}(B)}}=\log {\mathcal {L}}(A)-\log {\mathcal {L}}(B)=\ell (A)-\ell (B).$$

Точно так же, как вероятность при отсутствии событий равна 1, логарифмическая вероятность при отсутствии событий равна 0, что соответствует значению пустой суммы: без каких-либо данных не поддерживается никакая модель.

График

График ( логарифмического правдоподобия называется опорной кривой в одномерном случае). В многомерном случае концепция обобщается до опорной поверхности в пространстве параметров . , но отличается от него Он имеет отношение к поддержке дистрибутива .

Термин был придуман AWF Эдвардсом. в контексте проверки статистических гипотез , т.е. «поддерживают ли данные» одну проверяемую гипотезу (или значение параметра) больше, чем любую другую.

Построенная функция логарифмического правдоподобия используется при вычислении оценки ( градиент логарифмического правдоподобия) и информации Фишера (кривизна логарифмического правдоподобия). Таким образом, график имеет прямую интерпретацию в контексте оценки максимального правдоподобия и тестов отношения правдоподобия .

Уравнения правдоподобия

Если логарифмическая функция правдоподобия является гладкой , ее градиент по отношению к параметру, известному как оценка , и записанному ${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$, существует и позволяет применять дифференциальное исчисление . Основной способ максимизировать дифференцируемую функцию — найти стационарные точки (точки, в которых производная равна нулю); поскольку производная суммы — это просто сумма производных, а для производной произведения требуется правило произведения , легче вычислить стационарные точки логарифмической вероятности независимых событий, чем вероятности независимых событий.

Уравнения, определяемые стационарной точкой оценочной функции, служат оценочными уравнениями для средства оценки максимального правдоподобия. $$s_{n}(\theta )=\mathbf {0}$$В этом смысле оценка максимального правдоподобия неявно определяется значением при ${\textstyle \mathbf {0} }$ обратной функции ${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$, где ${\textstyle \mathbb {E} ^{d}}$ — d -мерное евклидово пространство , а ${\textstyle \Theta }$ это пространство параметров. Используя теорему об обратной функции , можно показать, что ${\textstyle s_{n}^{-1}}$ в четко определен открытой окрестности около ${\textstyle \mathbf {0} }$ с вероятностью, стремящейся к единице, и ${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$ является последовательной оценкой ${\textstyle \theta }$. Как следствие, существует последовательность ${\textstyle \left\{{\hat {\theta }}_{n}\right\}}$ такой, что ${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$ асимптотически почти наверняка и ${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$. Аналогичный результат можно установить с помощью теоремы Ролля .

Вторая производная, оцененная в ${\textstyle {\hat {\theta }}}$, известная как информация Фишера , определяет кривизну поверхности правдоподобия, и, таким образом, указывает на точность оценки.

Экспоненциальные семьи

Дополнительная информация: Экспоненциальное семейство.

Логарифмическое правдоподобие также особенно полезно для экспоненциальных семейств распределений, которые включают многие распространенные параметрические распределения вероятностей . Функция распределения вероятностей (и, следовательно, функция правдоподобия) для экспоненциальных семейств содержит произведения факторов, включающих возведение в степень . Логарифм такой функции представляет собой сумму произведений, которую опять же легче дифференцировать, чем исходную функцию.

Экспоненциальное семейство — это семейство, функция плотности вероятности которого имеет вид (для некоторых функций запись ${\textstyle \langle -,-\rangle }$ для внутреннего продукта ):

$$p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.$$

Каждый из этих терминов имеет свое толкование. но простое переключение от вероятности к правдоподобию и логарифмирование дает сумму:

$$\ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).$$

The ${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$ и ${\textstyle h(x)}$ каждый соответствует изменению координат , поэтому в этих координатах логарифмическое правдоподобие экспоненциального семейства определяется простой формулой:

$$\ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).$$

Другими словами, логарифмическое правдоподобие экспоненциального семейства является скалярным произведением натурального параметра ⁠ ${\boldsymbol {\eta }}$⁠ и достаточная статистика ⁠ $\mathbf {T} (x)$⁠ , минус коэффициент нормализации ( функция лог-раздела ) ⁠ $A({\boldsymbol {\eta }})$⁠ . Так, например, оценку максимального правдоподобия можно вычислить, взяв производные достаточной статистики T и функции логарифмического распределения A .

Пример: гамма-распределение

Гамма -распределение представляет собой экспоненциальное семейство с двумя параметрами: ${\textstyle \alpha }$ и ${\textstyle \beta }$. Функция правдоподобия

$${\mathcal {L}}(\alpha ,\beta \mid x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.$$

Нахождение оценки максимального правдоподобия ${\textstyle \beta }$ для одного наблюдаемого значения ${\textstyle x}$ выглядит довольно устрашающе. С его логарифмом работать гораздо проще:

$$\log {\mathcal {L}}(\alpha ,\beta \mid x)=\alpha \log \beta -\log \Gamma (\alpha )+(\alpha -1)\log x-\beta x.\,$$

Чтобы максимизировать логарифмическое правдоподобие, мы сначала берем частную производную по ${\textstyle \beta }$:

$${\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x)}{\partial \beta }}={\frac {\alpha }{\beta }}-x.$$

Если имеется ряд независимых наблюдений ${\textstyle x_{1},\ldots ,x_{n}}$, то совместное логарифмическое правдоподобие будет суммой отдельных логарифмических правдоподобий, а производная этой суммы будет суммой производных каждого отдельного логарифмического правдоподобия:

$${\begin{aligned}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1},\ldots ,x_{n})}{\partial \beta }}\\={}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1})}{\partial \beta }}+\cdots +{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{n})}{\partial \beta }}={\frac {n\alpha }{\beta }}-\sum _{i=1}^{n}x_{i}.\end{aligned}}$$

Чтобы завершить процедуру максимизации совместного логарифмического правдоподобия, уравнение устанавливается равным нулю и решается для ${\textstyle \beta }$:

$${\widehat {\beta }}={\frac {\alpha }{\bar {x}}}.$$

Здесь ${\textstyle {\widehat {\beta }}}$ обозначает оценку максимального правдоподобия, а ${\textstyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ — выборочное среднее значений наблюдений.

Предыстория и интерпретация

Исторические замечания

См. Также: История статистики и История вероятностей.

Термин «вероятность» используется в английском языке, по крайней мере, с позднего среднеанглийского языка . Его формальное использование для обозначения конкретной функции в математической статистике было предложено Рональдом Фишером , в двух научных статьях, опубликованных в 1921 г. и 1922 год. В статье 1921 года было введено то, что сегодня называется «интервалом правдоподобия»; в статье 1922 года был введен термин « метод максимального правдоподобия ». Цитирую Фишер:

В 1922 году я предложил термин «правдоподобие» ввиду того, что по отношению к [параметру] он не является вероятностью и не подчиняется законам вероятности, хотя в то же время он имеет к проблеме рационального выбора среди возможных значений [параметра] отношение, подобное тому, которое вероятность имеет к проблеме предсказания событий в азартных играх. . . . Однако, хотя в отношении психологического суждения вероятность имеет некоторое сходство с вероятностью, эти два понятия совершенно различны. . . ."

Понятие правдоподобия не следует путать с вероятностью, упомянутой сэром Рональдом Фишером.

Я подчеркиваю это, потому что, несмотря на то внимание, которое я всегда уделял разнице между вероятностью и правдоподобием, все еще существует тенденция рассматривать вероятность как разновидность вероятности. Таким образом, первый результат состоит в том, что существуют две разные меры рационального убеждения, подходящие для разных случаев. Зная генеральную совокупность, мы можем выразить наше неполное знание или ожидание относительно выборки в терминах вероятности; зная выборку, мы можем выразить наши неполные знания о совокупности с точки зрения вероятности.

Изобретение Фишером статистического правдоподобия было реакцией на более раннюю форму рассуждения, называемую обратной вероятностью . Использование им термина «вероятность» закрепило значение этого термина в математической статистике.

АВФ Эдвардс (1972) установил аксиоматическую основу для использования отношения логарифмического правдоподобия как меры относительной поддержки одной гипотезы по сравнению с другой. В этом случае опорная функция представляет собой натуральный логарифм функции правдоподобия. Оба термина используются в филогенетике , но не были приняты при общем рассмотрении темы статистических данных.

Толкования под разные основания

Среди статистиков нет единого мнения относительно того, какой должна быть основа статистики . Для фонда были предложены четыре основные парадигмы: частотность , байесианство , правдоподобие и AIC-основание . Для каждого из предложенных оснований трактовка вероятности различна. Четыре интерпретации описаны в подразделах ниже.

Байесовская интерпретация

В байесовском выводе , хотя можно говорить о вероятности любого утверждения или случайной величины при наличии другой случайной величины: например, о вероятности значения параметра или статистической модели (см. Предельное правдоподобие ) при заданных данных или других доказательствах, функция правдоподобия остается той же самой сущностью, с дополнительными интерпретациями (i) условной плотности данных с учетом параметра (поскольку параметр в этом случае является случайной величиной) и (ii) меры или количества информации, приносимой данными о значение параметра или даже модель. Из-за введения вероятностной структуры в пространстве параметров или в наборе моделей возможно, что значение параметра или статистическая модель будут иметь большое значение правдоподобия для данных данных, но при этом иметь низкую вероятность , или наоборот. Это часто имеет место в медицинских контекстах. Следуя правилу Байеса , вероятность, рассматриваемая как условная плотность, может быть умножена на априорную плотность вероятности параметра, а затем нормализована, чтобы получить апостериорную плотность вероятности . В более общем смысле, вероятность неизвестной величины ${\textstyle X}$ дана еще одна неизвестная величина ${\textstyle Y}$ пропорциональна вероятности ${\textstyle Y}$ данный ${\textstyle X}$.

Правдоподобная интерпретация

В частотной статистике функция правдоподобия сама по себе является статистикой , которая суммирует одну выборку из совокупности, расчетное значение которой зависит от выбора нескольких параметров θ ₁ ... θ _p , где p — количество параметров в некоторых уже выбранных статистическая модель . Значение правдоподобия служит показателем качества выбора параметров, а набор параметров с максимальным правдоподобием является лучшим выбором с учетом имеющихся данных.

Конкретный расчет правдоподобия представляет собой вероятность того, что наблюдаемая выборка будет присвоена, при условии, что выбранная модель и значения нескольких параметров θ дают точную аппроксимацию частотного распределения популяции, из которой была взята наблюдаемая выборка. С эвристической точки зрения имеет смысл, что хороший выбор параметров — это те, которые делают выборку действительно наблюдаемой с максимально возможной апостериорной вероятностью того, что произошло. Теорема Уилкса количественно определяет эвристическое правило, показывая, что разница в логарифме вероятности, генерируемой значениями параметров оценки, и логарифмом правдоподобия, генерируемого «истинными» (но неизвестными) значениями параметров совокупности, асимптотически равна χ ² распределено .

Оценка максимального правдоподобия каждой независимой выборки представляет собой отдельную оценку «истинного» набора параметров, описывающего выбранную совокупность. Последовательные оценки из многих независимых выборок будут группироваться вместе с «истинным» набором значений параметров генеральной совокупности, скрытым где-то среди них. Разность логарифмов правдоподобия максимального правдоподобия и правдоподобия соседних наборов параметров можно использовать для построения доверительной области на графике, координатами которого являются параметры θ ₁ ... θ _p . Область окружает оценку максимального правдоподобия, и все точки (наборы параметров) в этой области отличаются по логарифмическому правдоподобию не более чем на некоторое фиксированное значение. χ ​ ² Распределение, заданное теоремой Уилкса, преобразует различия логарифмического правдоподобия региона в «уверенность» в том, что «истинный» набор параметров популяции находится внутри. Искусство выбора фиксированной логарифмической разности правдоподобия состоит в том, чтобы сделать достоверность приемлемо высокой, сохраняя при этом приемлемо малую область (узкий диапазон оценок).

По мере того, как наблюдается больше данных, вместо того, чтобы использовать их для независимых оценок, их можно объединить с предыдущими выборками, чтобы создать единую объединенную выборку, и эту большую выборку можно использовать для новой оценки максимального правдоподобия. По мере увеличения размера объединенной выборки размер области правдоподобия с той же достоверностью уменьшается. В конце концов, либо размер доверительной области почти равен одной точке, либо была выбрана вся совокупность; в обоих случаях предполагаемый набор параметров по существу такой же, как набор параметров совокупности.

Интерпретация на основе AIC

В парадигме AIC вероятность интерпретируется в контексте теории информации .

См. также

• Байесовский фактор
• Условная энтропия
• Условная вероятность
• Эмпирическая вероятность
• Принцип правдоподобия
• Тест отношения правдоподобия
• Статистика правдоподобия
• Максимальная вероятность
• Принцип максимальной энтропии
• Псевдовероятность
• Оценка (статистика)

Дальнейшее чтение

• Аззалини, Адельчи (1996). "Вероятность". Статистический вывод, основанный на правдоподобии . Чепмен и Холл. стр. 17–50. ISBN  0-412-60650-Х .
• Боос, Деннис Д.; Стефански, Луизиана (2013). «Построение и оценка вероятности». Основные статистические выводы: теория и методы . Нью-Йорк: Спрингер. стр. 27–124. дои : 10.1007/978-1-4614-4818-1_2 . ISBN  978-1-4614-4817-4 .
• Эдвардс, AWF (1992) [1972]. Вероятность (Расширенная ред.). Издательство Университета Джонса Хопкинса . ISBN  0-8018-4443-6 .
• Кинг, Гэри (1989). «Модель вероятностного вывода» . Объединение политической методологии: теория подобия статистического вывода . Издательство Кембриджского университета. стр. 59–94. ISBN  0-521-36697-6 .
• Ричард, Марк; Весер, январь (1 февраля 2021 г.). «Тестирование эффективности рынков прогнозов: подход Мартингейла, коэффициент правдоподобия и факторный анализ Байеса» . Риски . 9 (2): 31. doi : 10.3390/risks9020031 . HDL : 10419/258120 .
• Линдси, Дж. К. (1996). «Вероятность» . Параметрический статистический вывод . Издательство Оксфордского университета. стр. 69–139. ISBN  0-19-852359-9 .
• Роде, Чарльз А. (2014). Вводный статистический вывод с функцией правдоподобия . Берлин: Шпрингер. ISBN  978-3-319-10460-7 .
• Ройалл, Ричард (1997). Статистические данные: парадигма вероятности . Лондон: Чепмен и Холл. ISBN  0-412-04411-0 .
• Уорд, Майкл Д .; Алквист, Джон С. (2018). «Функция правдоподобия: более глубокое погружение» . Максимальное правдоподобие для социальных наук: стратегии анализа . Издательство Кембриджского университета . стр. 21–28. ISBN  978-1-316-63682-4 .

Внешние ссылки

• Функция правдоподобия в Planetmath
• «Логаправдоподобие» . Статлект .