Максимальная оценка правдоподобия

Эта статья о статистических методах. Для хранения компьютерных данных см. Максимальное правдоподобие частичного ответа .

В статистике учетом оценка максимального правдоподобия ( MLE ) является методом оценки параметров с предполагаемого распределения вероятности некоторых наблюдаемых данных. Это достигается за счет максимизации функции правдоподобия , чтобы при предполагаемой статистической модели наблюдаемые данные наиболее вероятны. Точка , которая максимизирует функцию вероятности , в пространстве параметров называется оценкой максимального правдоподобия. Логика максимальной вероятности является как интуитивно понятной, так и гибкой, и поэтому метод стал доминирующим средством статистического вывода .

Если функция вероятности дифференцируется , производный тест можно применить на поиск максимумов. В некоторых случаях условия функции правдоподобия первого порядка могут быть решены аналитически; Например, обычная оценка наименьших квадратов для модели линейной регрессии максимизирует вероятность, когда предполагается, что случайные ошибки имеют нормальные распределения с одинаковой дисперсией.

С точки зрения байесовского вывода , MLE, как правило, эквивалентен максимальной оценке задней (MAP) с предварительным распределением , которое является равномерным в интересующей области. При частых выводах MLE является особым случаем оценки экстремумов , причем целевой функцией является вероятность.

Принципы

Мы моделируем набор наблюдений как случайную выборку из неизвестного распределения вероятностей , которое выражается в терминах набора параметров . Цель оценки максимального вероятности состоит в том, чтобы определить параметры, для которых наблюдаемые данные имеют самую высокую вероятность сустава. Мы пишем параметры, регулирующие совместное распределение как вектор $\;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;$ так что это распределение попадает в параметрическую семью $\;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,$ где $\,\Theta \,$ называется пространством параметров , конечно-мерной подмножеством эвклидового пространства . Оценка плотности сустава на наблюдаемом образце данных $\;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;$ дает реальную функцию,

${\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,$

который называется функцией вероятности . Для независимых и одинаковых распределенных случайных переменных , $f_{n}(\mathbf {y} ;\theta )$ будет продуктом функций одномерной плотности :

$f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.$

Цель оценки максимального правдоподобия состоит в том, чтобы найти значения параметров модели, которые максимизируют функцию вероятности в пространстве параметров, то есть

${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Интуитивно это выбирает значения параметров, которые делают наблюдаемые данные наиболее вероятными. Конкретное значение $~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~$ это максимизирует функцию вероятности $\,{\mathcal {L}}_{n}\,$ называется оценкой максимального вероятности. Далее, если функция $\;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;$ Таким образом, определяется , измеримо , тогда это называется оценкой максимального правдоподобия . Как правило, это функция, определенная в пространстве выборки , т.е. принимая данную выборку в качестве аргумента. Достаточное , но не необходимое условие для его существования заключается в том, чтобы функция вероятности была непрерывной по пространству параметров $\,\Theta \,$ это компактно . Для открытия $\,\Theta \,$ Функция вероятности может увеличиться, даже не достигая значения Supmum.

На практике часто удобно работать с естественным логарифмом функции правдоподобия, называемой логарифмической точностью :

$\ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Поскольку логарифм является монотонной функцией , максимум $\;\ell (\theta \,;\mathbf {y} )\;$ встречается в том же значении $\theta$ Как и максимум $\,{\mathcal {L}}_{n}~.$ Если $\ell (\theta \,;\mathbf {y} )$ дифференцируется ​ в $\,\Theta \,,$ достаточные условия для возникновения максимального (или минимума)

${\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,$

известный как уравнения правдоподобия. Для некоторых моделей эти уравнения могут быть явно решены для $\,{\widehat {\theta \,}}\,,$ Но в целом не известно или доступно никакого решения в закрытой форме, и MLE можно найти только посредством численной оптимизации . Другая проблема заключается в том, что в конечных образцах могут существовать несколько корней для уравнений вероятности. Будь то идентифицированный корень $\,{\widehat {\theta \,}}\,$ Уравнения правдоподобия действительно (локальный) максимальный зависит от того, является ли матрица частичных и межпартийных производных второго порядка, так называемой гессанской матрицы

$\mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,$

отрицательный полуопределен в ${\widehat {\theta \,}}$, как это указывает на местную вогнутость . Удобно, что наиболее распространенные вероятности распределения - в частности экспоненциальная семья - логарифмически вогнуты .

Ограниченное пространство параметров

Не путать с ограниченной максимальной вероятностью .

В то время как домен функции правдоподобия- пространство параметров -как правило, является конечной измерной подмножностью эвклидового пространства , дополнительные ограничения иногда должны быть включены в процесс оценки. Пространство параметров может быть выражено как

$\Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,$

где $\;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;$ это векторное отображение функций $\,\mathbb {R} ^{k}\,$ в $\;\mathbb {R} ^{r}~.$ Оценка истинного параметра $\theta$ принадлежит $\Theta$ Затем, в качестве практического вопроса, означает найти максимум функции правдоподобия, подверженной ограничению $~h(\theta )=0~.$

Теоретически, наиболее естественным подходом к этой проблеме с ограниченной оптимизацией является метод замещения, который «заполняет» ограничения $\;h_{1},h_{2},\ldots ,h_{r}\;$ на сете $\;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;$ таким образом, что $\;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;$ это функция один на один из $\mathbb {R} ^{k}$ к себе, и репараметрировать функцию вероятности путем настройки $\;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.$ Из -за эквивалентности оценки максимального правдоподобия, свойства MLE применяются к ограниченным оценкам. Например, в многомерном нормальном распределении ковариационная матрица $\,\Sigma \,$ Должен быть положительный определенный ; Это ограничение может быть наложено путем замены $\;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,$ где $\Gamma$ настоящая верхняя треугольная матрица и $\Gamma ^{\mathsf {T}}$ его транспонирование .

На практике ограничения обычно налагаются с использованием метода Лагранжа, который, учитывая ограничения, как определено выше, приводит к ограниченным уравнениям правдоподобия

${\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0$ и $h(\theta )=0\;,$

где $~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~$ является столбцом вектора мультипликаторов Лагранжа и $\;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;$ это K × r Jacobian Matrix частичных производных. Естественно, если ограничения не являются связывающими на максимуме, множители Лагранжа должны быть нулю. Это, в свою очередь, допускает статистическую проверку «достоверности» ограничения, известного как тест множителя Лагранжа .

Непараметрическая оценка максимального вероятности

Непараметрическая оценка максимального вероятности может быть выполнена с использованием эмпирической вероятности .

Характеристики

Оценка максимального правдоподобия - это экстремум -оценка, полученная максимизацией, в зависимости от θ , целевой функции ${\widehat {\ell \,}}(\theta \,;x)$Полем Если данные являются независимыми и идентично распределенными , то у нас есть

${\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),$

Это выборка аналогов ожидаемого логарифмического правдоподобия $\ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]$, где это ожидание принимается в отношении истинной плотности.

Оценки максимального правдоподобия не имеют оптимальных свойств для конечных образцов, в том смысле, что (при оценке на конечных образцах) другие оценки могут иметь большую концентрацию вокруг истинного значения параметров. Однако, как и другие методы оценки, оценка максимального правдоподобия обладает рядом привлекательных ограничивающих свойств : по мере увеличения размера выборки до бесконечности последовательностей оценок максимального правдоподобия обладают этими свойствами:

• Согласованность : последовательность MLE сходится в вероятности к оценке значения.
• Инвариантность : если ${\hat {\theta }}$ является оценкой максимального вероятности для $\theta$, и если $g(\theta )$ любое преобразование $\theta$, затем оценка максимального правдоподобия для $\alpha =g(\theta )$ является ${\hat {\alpha }}=g({\hat {\theta }})$Полем Это свойство реже известно как функциональная эквивалентность . Имущество инвариантности сохраняется для произвольной трансформации $g$, хотя доказательство упрощает, если $g$ ограничено преобразованием один к одному.
• Эффективность , т. Е. Он достигает нижней границы Cramér -Roo, когда размер выборки имеет тенденцию к бесконечности. Это означает, что ни одна последовательная оценка не имеет более низкой асимптотической средней квадратной ошибки , чем MLE (или другие оценки, достигающие этой границы), что также означает, что MLE обладает асимптотической нормальностью .
• Эффективность второго порядка после коррекции для смещения.

Последовательность

В условиях, изложенных ниже, оценка максимального правдоподобия является последовательной . Согласованность означает, что если данные были сгенерированы $f(\cdot \,;\theta _{0})$ и у нас есть достаточно большое количество наблюдений n , тогда можно найти значение θ ₀ с произвольной точностью. В математических терминах это означает, что по мере того, как n идет к бесконечности оценки ${\widehat {\theta \,}}$ сходится с вероятностью к своему истинному значению:

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.$

При немного более сильных условиях оценщик сходится почти верно (или сильно ):

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.$

В практических приложениях данные никогда не генерируются $f(\cdot \,;\theta _{0})$Полем Скорее, $f(\cdot \,;\theta _{0})$ является моделью, часто в идеализированной форме процесса, генерируемого данными. В статистике это распространенный афоризм, что все модели неверны . Таким образом, истинная согласованность не возникает в практических приложениях. Тем не менее, согласованность часто считается желательным свойством для оценки.

Чтобы установить согласованность, достаточные условия достаточно.

1. Идентификация модели:

   $\theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).$

   Другими словами, различные значения параметров θ соответствуют различным распределениям в модели. Если бы это условие не соблюдалось, было бы некоторое значение θ ₁ , так что θ ₀ и θ ₁ генерируют идентичное распределение наблюдаемых данных. Тогда мы не сможем провести различие между этими двумя параметрами даже с бесконечным количеством данных - эти параметры были бы эквивалентны на наблюдении .
   

   Условие идентификации абсолютно необходимо, чтобы оценщик ML был последовательным. Когда это условие сохраняется, ограничивающая функция вероятности ℓ ( θ | ·) имеет уникальный глобальный максимум при θ ₀ .
2. Компактность: пространство параметров θ модели компактно .

   

   Условие идентификации устанавливает, что логарифмическое правдоподобие имеет уникальный глобальный максимум. Компактность подразумевает, что вероятность не может приблизиться к максимальному значению произвольно близко в какой -то другой точке (как показано, например, на рисунке справа).

   Компактность является лишь достаточным условием, а не необходимым условием. Компактность может быть заменена некоторыми другими условиями, такими как:

   • как вогнутость функции логарифмического правдоподобия, так и компактность некоторых (непустых) наборов верхнего уровня функции логарифмического правдоподобия или
   • Существование компактного соседства n θ ε _0, так что за пределами n функция логарифмического правдоподобия меньше, чем максимум, по крайней мере, на > 0 .
3. Непрерывность: функция ln f ( x | θ ) является непрерывной по θ практически для всех значений x :

   $\operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.$

   Непрерывность здесь может быть заменена немного более слабым условием верхней полуоткрытия .
4. Доминирование: существует d ( x ) интегрируемое по отношению к распределению F ( x | θ ₀ ) , так что

   ${\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad {\text{ for all }}\theta \in \Theta .$

   В соответствии с единым законом большого числа условия доминирования вместе с преемственностью устанавливают равномерную сходимость в вероятности логарифмического правдоподобия:

   $\sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.$

Условие доминирования может использоваться в случае наблюдений IID . В случае, не связанном с IID, равномерную сходимость в вероятности может быть проверена, показывая, что последовательность ${\widehat {\ell \,}}(\theta \mid x)$ аквалентный стохастически . Если кто -то хочет продемонстрировать, что оценщик ML ${\widehat {\theta \,}}$ Сходится к θ ₀ почти верно , тогда более сильное условие равномерной конвергенции почти обязательно должно быть наложено:

$\sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.$

Кроме того, если (как предполагалось выше) данные были сгенерированы $f(\cdot \,;\theta _{0})$Затем при определенных условиях также можно показать, что оценка максимального вероятности сходится в распределении к нормальному распределению. Конкретно,

${\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)$

Где я - информационная матрица Фишера .

Функциональная инвариантность

Оценка максимального правдоподобия выбирает значение параметра, которое дает наблюдаемым данные максимально возможную вероятность (или плотность вероятности, в непрерывном случае). Если параметр состоит из ряда компонентов, то мы определяем их отдельные оценки максимального правдоподобия, как соответствующий компонент MLE полного параметра. В соответствии с этим, если ${\widehat {\theta \,}}$ это MLE для $\theta$, и если $g(\theta )$ любое преобразование $\theta$, затем MLE для $\alpha =g(\theta )$ по определению

${\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,$

Это максимизирует так называемую вероятность профиля :

${\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,$

MLE также является эквивалентным в отношении определенных преобразований данных. Если $y=g(x)$ где $g$ равен один к одному и не зависит от оценки параметров, тогда функции плотности удовлетворяют

$f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}$

и, следовательно, функции вероятности для $X$ и $Y$ отличается только фактором, который не зависит от параметров модели.

Например, параметры MLE в нормальном распределении логарифмических параметров совпадают с параметрами нормального распределения, установленного для логарифма данных.

Эффективность

Как предполагалось выше, если данные были сгенерированы $~f(\cdot \,;\theta _{0})~,$ Затем при определенных условиях также можно показать, что оценка максимального вероятности сходится в распределении к нормальному распределению. Это √ n   -согласованное и асимптотически эффективно, что означает, что он достигает границы Крамер -Рао . Конкретно,

${\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,$

где $~{\mathcal {I}}~$ Информационная матрица Fisher :

${\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.$

В частности, это означает, что смещение оценки максимального вероятности равна нулю вплоть до порядка ⁠ 1 / √ n  ⁠ .

Эффективность второго порядка после коррекции для смещения

Однако, когда мы рассматриваем члены высшего порядка в расширении распределения этой оценки, оказывается, что θ _MLE имеет смещение порядка 1 ⁄ н . Это смещение равно (компонентная)

$b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)$

где ${\mathcal {I}}^{jk}$ (с надписями) обозначает ( j, k ) -6 компонент обратной информации о информационной рыболовстве ${\mathcal {I}}^{-1}$, и

${\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.$

Используя эти формулы, можно оценить смещение второго порядка оценки максимального правдоподобия и исправить для этого смещения, вычитая его:

${\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.$

Эта оценка непредвзят до условий порядка ⁠ 1 /   n   ⁠ и называется оценкой максимального вероятности, корректированной на смещение .

Эта оценка, корректированная на смещение, эффективна второго порядка (по крайней мере, в изогнутом экспоненциальном семействе), что означает, что он имеет минимальную среднюю квадратную ошибку среди всех оценок, коррекленных на смещение второго порядка, вплоть до условий порядка ⁠ 1 /   n ²  ⁠ . Можно продолжить этот процесс, то есть вывести термин коррекции смещения третьего порядка и так далее. Тем не менее, оценка максимального вероятности не эффективна третьего порядка.

Отношение к байесовскому выводу

Оценка максимального правдоподобия совпадает с наиболее вероятной байесовской оценкой, учитывая равномерное предварительное распределение по параметрам . Действительно, максимальная апостериорная оценка - это параметр θ , который максимизирует вероятность θ , учитывая данные, заданные теоремой Байеса:

$\operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}$

где $\operatorname {\mathbb {P} } (\theta )$ предыдущее распределение для параметра θ и где $\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})$ вероятность усредненных данных по всем параметрам. Поскольку знаменатель не зависит от θ , байесовский оценщик получается путем максимизации $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )$ в отношении θ . Если мы далее предположим, что предыдущий $\operatorname {\mathbb {P} } (\theta )$ является единым распределением, байесовская оценка получается путем максимизации функции правдоподобия $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )$Полем Таким образом, байесовская оценка совпадает с оценкой максимального правдоподобия для равномерного предварительного распределения $\operatorname {\mathbb {P} } (\theta )$.

Применение оценки максимального правдоподобия в теории байесовских решений

Во многих практических применениях в машинном обучении оценка максимального правдоподобия используется в качестве модели оценки параметров.

Байесовская теория решений заключается в разработке классификатора, который минимизирует общий ожидаемый риск, особенно, когда затраты (функция потерь), связанные с различными решениями, равны, классификатор сводит к минимуму ошибку по всему распределению.

Таким образом, правило решения Байеса заявляется как

"решать $\;w_{1}\;$ если $~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~$ в противном случае решайте $\;w_{2}\;$"

где $\;w_{1}\,,w_{2}\;$ являются прогнозами разных классов. С точки зрения минимизации ошибок, это также может быть заявлено как

$w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~$

где

$\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~$

Если мы решим $\;w_{2}\;$ и $\;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;$ Если мы решим $\;w_{1}\;.$

Применив теорему Байеса

$\operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}$,

И если мы далее предположим, что функция потерь с нулевым или одному, что является одинаковой потерей для всех ошибок, правило решения Байеса может быть переформулировано как:

$h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,$

где $h_{\text{Bayes}}$ это прогноз и $\;\operatorname {\mathbb {P} } (w)\;$ это предшествующая вероятность .

Отношение к минимизации дивергенции Kullback -Lebler и поперечной энтропии

Нахождение ${\hat {\theta }}$ что максимизирует вероятность асимптотически эквивалентного поиску ${\hat {\theta }}$ это определяет распределение вероятностей ( $Q_{\hat {\theta }}$), которое имеет минимальное расстояние, с точки зрения дивергенции Kullback -Lebler , до реального распределения вероятности, из которого были получены наши данные (т.е. $P_{\theta _{0}}$). В идеальном мире P и Q одинаковы (и единственное, что неизвестно, это $\theta$ Это определяет P), но даже если это не так, а модель, которую мы используем, неправильно определена, все же MLE даст нам «ближайшее» распределение (в пределах ограничения модели Q, которое зависит от ${\hat {\theta }}$) в реальном распределении $P_{\theta _{0}}$.

показывать Доказательство.

For simplicity of notation, let's assume that P=Q. Let there be n i.i.d data samples $\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})$ from some probability $y\sim P_{\theta _{0}}$, that we try to estimate by finding ${\hat {\theta }}$ that will maximize the likelihood using $P_{\theta }$, then:

${\begin{aligned}{\hat {\theta }}&={\underset {\theta }{\operatorname {arg\,max} }}\,L_{P_{\theta }}(\mathbf {y} )={\underset {\theta }{\operatorname {arg\,max} }}\,P_{\theta }(\mathbf {y} )={\underset {\theta }{\operatorname {arg\,max} }}\,P(\mathbf {y} \mid \theta )\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\prod _{i=1}^{n}P(y_{i}\mid \theta )={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\log P(y_{i}\mid \theta )\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\left(\sum _{i=1}^{n}\log P(y_{i}\mid \theta )-\sum _{i=1}^{n}\log P(y_{i}\mid \theta _{0})\right)={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\left(\log P(y_{i}\mid \theta )-\log P(y_{i}\mid \theta _{0})\right)\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta )}{P(y_{i}\mid \theta _{0})}}={\underset {\theta }{\operatorname {arg\,min} }}\,\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta _{0})}{P(y_{i}\mid \theta )}}={\underset {\theta }{\operatorname {arg\,min} }}\,{\frac {1}{n}}\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta _{0})}{P(y_{i}\mid \theta )}}\\&={\underset {\theta }{\operatorname {arg\,min} }}\,{\frac {1}{n}}\sum _{i=1}^{n}h_{\theta }(y_{i})\quad {\underset {n\to \infty }{\longrightarrow }}\quad {\underset {\theta }{\operatorname {arg\,min} }}\,E[h_{\theta }(y)]\\&={\underset {\theta }{\operatorname {arg\,min} }}\,\int P_{\theta _{0}}(y)h_{\theta }(y)dy={\underset {\theta }{\operatorname {arg\,min} }}\,\int P_{\theta _{0}}(y)\log {\frac {P(y\mid \theta _{0})}{P(y\mid \theta )}}dy\\&={\underset {\theta }{\operatorname {arg\,min} }}\,D_{\text{KL}}(P_{\theta _{0}}\parallel P_{\theta })\end{aligned}}$

Where $h_{\theta }(x)=\log {\frac {P(x\mid \theta _{0})}{P(x\mid \theta )}}$. Using h helps see how we are using the law of large numbers to move from the average of h(x) to the expectancy of it using the law of the unconscious statistician. The first several transitions have to do with laws of logarithm and that finding ${\hat {\theta }}$ that maximizes some function will also be the one that maximizes some monotonic transformation of that function (i.e.: adding/multiplying by a constant).

Since cross entropy is just Shannon's entropy plus KL divergence, and since the entropy of $P_{\theta _{0}}$ is constant, then the MLE is also asymptotically minimizing cross entropy.

Примеры

Дискретное равномерное распределение

Основная статья: Немецкая проблема с танком

Рассмотрим случай, когда N -билеты, пронумерованные от 1 до N , помещаются в коробку, а один выбирается случайным образом ( см. Единое распределение ); Таким образом, размер выборки составляет 1. Если N неизвестен, то оценщик максимального правдоподобия ${\widehat {n}}$ - это n число M на билете на рисовании. (Вероятность 0 для N < m , 1 ~ N для n ≥ m , и это наибольшее, когда n = m . Обратите внимание, что оценка максимального правдоподобия N происходит на более низкой крайности возможных значений { M , M + 1, ...}, а не где -то в «среднем» диапазона возможных значений, что приведет к меньшему смещению. ) Ожидаемое значение числа M на билете нарисованного и, следовательно, ожидаемое значение ${\widehat {n}}$, есть ( n + 1)/2. В результате, с размером выборки 1, оценка максимального правдоподобия для N будет систематически недооценивать N ( N - 1)/2.

Дискретное распределение, конечное пространство параметров

Предположим, кто хочет определить, насколько смещенная монета . Назовите вероятность бросить « голову » с . Целью становится определение р .

Предположим, что монета бросается 80 раз: то есть образцы может быть что -то вроде x ₁ = h, x ₂ = t, ..., x ₈₀ количество голов = t, и наблюдается "H".

Вероятность бросания хвостов составляет 1 - p (так что здесь p - θ выше). Предположим, что результат составляет 49 голов и 31 хвост , и предположим, что монета была взята из коробки, содержащей три монеты: одна, которая дает головы с вероятностью p = 1 ~ 3 , который дает головы с вероятностью p = 1 ⁄ 2 и другой, который дает головы с вероятностью p = 2 ~ 3 . Монеты потеряли свои ярлыки, так что они были неизвестны. Используя оценку максимального правдоподобия, может быть найдена монета, которая имеет наибольшую вероятность, учитывая данные, которые наблюдались. Используя функцию массы вероятности биномиального распределения с размером выборки, равным 80, численные успехи равны 49, но для разных значений P («вероятность успеха») функция вероятности (определенная ниже) принимает одно из трех значений:

${\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}$

Вероятность максимизируется, когда P = 2 ⁄ 3 , и поэтому это максимальная оценка правдоподобия для p .

Дискретное распределение, непрерывное пространство параметров

Теперь предположим, что была только одна монета, но ее p мог быть любое значение 0 ≤ p ≤ 1. Функция вероятности, которая будет максимизирована

$L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,$

и максимизация превышает все возможные значения 0 ≤ p ≤ 1.

Функция вероятности для пропорции биномиального процесса ( n = 10)

Один из способов максимизировать эту функцию - дифференцировать в отношении P и настройки до нуля:

${\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}$

Это продукт трех терминов. Первый термин равен 0, когда p = 0. Второе равно 0, когда p = 1. Третий равен нулю, когда p = 49 ⁄ 80 . Решение, которое максимизирует вероятность, явно p = 49 ⁄ 80 (поскольку p = 0 и p = 1 приводят к вероятности 0). Таким образом, максимальная оценка вероятности для P является 49 ⁄ 80 .

Этот результат легко обобщается путем замены буквы, такой как S, на месте 49, чтобы представлять наблюдаемое количество «успехов» наших испытаний в Бернулли , и письмо, такое как n , в месте 80, для представления количества испытаний в Бернулли. Точно такой же вычисление S ⁄ N , который является оценкой максимального правдоподобия для любой последовательности испытаний N Bernoulli, приводящих к S «успехам».

Непрерывное распределение, непрерывное пространство параметров

Для нормального распределения ${\mathcal {N}}(\mu ,\sigma ^{2})$ который имеет функцию плотности вероятности

$f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),$

Соответствующая функция плотности вероятности для выборки N независимых идентично распределенных нормальных случайных величин (вероятность)

$f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).$

Это семейство распределений имеет два параметра: θ = ( μ , σ ) ; Итак, мы максимизируем вероятность, ${\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})$, по обоим параметрам одновременно или, если возможно, индивидуально.

Поскольку сама функция логарифма является непрерывной строго увеличивающейся функцией в диапазоне правдоподобия, значения, которые максимизируют вероятность, также максимизируют его логарифм (само-правдоподобие сама не обязательно увеличивается). Логарифмическая правдоподобность может быть написана следующим образом:

$\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}$

(Примечание: логарифмическая правдоподобность тесно связана с информационной энтропией и информацией о рыбаке .)

Теперь мы вычисляем производные этого логарифмического правдоподобия следующим образом.

${\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=0-{\frac {\;-2n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}$

где ${\bar {x}}$ это среднее значение выборки . Это решается

${\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.$

Это действительно максимум функции, поскольку это единственная поворотная точка в μ , а вторая производная строго меньше нуля. Его ожидаемое значение равно параметру μ данного распределения,

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,$

что означает, что оценка максимального правдоподобия ${\widehat {\mu }}$ это непредвзято.

Точно так же мы дифференцируем логарифмическое правдоподобие относительно σ и приравниваемся к нулю:

${\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}$

который решается

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.$

Вставка оценки $\mu ={\widehat {\mu }}$ Мы получаем

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.$

Чтобы рассчитать его ожидаемое значение, удобно переписать выражение с точки зрения случайных переменных с нулевым средним ( статистическая ошибка ) $\delta _{i}\equiv \mu -x_{i}$Полем Выражение оценки в этих переменных

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).$

Упрощение выражения выше, используя факты, которые $\operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0$ и $\operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}$, позволяет нам получить

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.$

Это означает, что оценщик ${\widehat {\sigma }}^{2}$ предвзято для $\sigma ^{2}$Полем Также можно показать, что ${\widehat {\sigma }}$ предвзято для $\sigma$, но оба ${\widehat {\sigma }}^{2}$ и ${\widehat {\sigma }}$ являются последовательными.

Формально мы говорим, что оценка максимальной вероятности для $\theta =(\mu ,\sigma ^{2})$ является

${\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).$

В этом случае MLE можно получить индивидуально. В общем, это может быть не так, и MLE должны быть получены одновременно.

Нормальное логарифмическое правдоподобие в максимуме принимает особенно простую форму:

$\log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}$

Это максимальное логарифмическое правдоподобие можно показать, что является одинаковым для более общих наименьших квадратов , даже для нелинейных наименьших квадратов . , основанных на вероятности Это часто используется для определения приблизительных доверительных интервалов и областей доверия , которые, как правило, более точны, чем те, которые используют асимптотическую нормальность, обсуждаемую выше.

Независимые переменные

Это может быть так, что переменные коррелируют, то есть не независимы. Две случайные переменные $y_{1}$ и $y_{2}$ независимы только в том случае, если их функция плотности суставов является продуктом индивидуальных функций плотности вероятности, т.е.

$f(y_{1},y_{2})=f(y_{1})f(y_{2})\,$

Предположим, что вы строите порядок гауссового вектора из случайных переменных $(y_{1},\ldots ,y_{n})$, где у каждой переменной есть средства, данные $(\mu _{1},\ldots ,\mu _{n})$Полем Кроме того, пусть ковариационная матрица будет обозначена ${\mathit {\Sigma }}$Полем Функция плотности вероятности суставов этих N случайных переменных затем следует за многовариантным нормальным распределением, данным:

$f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)$

В двухмерном случае функция плотности суставов определяется:

$f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]$

В этом и других случаях, когда существует функция суставой плотности, функция вероятности определяется как выше, в разделе « Принципы » с использованием этой плотности.

Пример

$X_{1},\ X_{2},\ldots ,\ X_{m}$ считаются в ячейках / коробках 1 до м; Каждая коробка имеет различную вероятность (подумайте о том, что коробки больше или меньше), и мы фиксируем количество шаров, которые падают, чтобы быть $n$: $x_{1}+x_{2}+\cdots +x_{m}=n$Полем Вероятность каждой коробки $p_{i}$, с ограничением: $p_{1}+p_{2}+\cdots +p_{m}=1$Полем Это тот случай, когда $X_{i}$ s не являются независимыми, совместная вероятность вектора $x_{1},\ x_{2},\ldots ,x_{m}$ называется Multinomial и имеет форму:

$f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}$

Каждая коробка, взятая отдельно против всех остальных коробок, является биномиальным, и это их расширение.

Логарифмическая правка этого:

$\ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}$

Ограничение должно быть принято во внимание и использовать множители Lagrange:

$L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)$

Позывая все производные 0, наиболее естественная оценка получена

${\hat {p}}_{i}={\frac {x_{i}}{n}}$

Максимизация вероятности журнала, с ограничениями и без него, может быть неразрешимой проблемой в закрытой форме, тогда мы должны использовать итерационные процедуры.

Итеративные процедуры

За исключением особых случаев, уравнения вероятности

${\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0$

не может быть явно решено для оценки ${\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )$Полем Вместо этого их нужно решать итеративно : начиная с первоначального предположения $\theta$ (сказать ${\widehat {\theta }}_{1}$), кто стремится получить конвергентную последовательность $\left\{{\widehat {\theta }}_{r}\right\}$Полем много методов для этой проблемы оптимизации , Доступно Но наиболее часто используемыми являются алгоритмы, основанные на формуле обновления формы

${\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)$

где вектор $\mathbf {d} _{r}\left({\widehat {\theta }}\right)$ Указывает направление спуска на « шаг » и скаляр $\eta _{r}$ захватывает «длина шага», Также известен как уровень обучения .

градиентного спуска Метод

(Примечание: вот это проблема максимизации, поэтому знак перед градиентом перевернут)

$\eta _{r}\in \mathbb {R} ^{+}$ это достаточно мало для сходимости и $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)$

Метод градиентного спуска требуется для расчета градиента на RTH итерации, но не нужно рассчитать обратное производное второго порядка, т.е. матрица гессиан. Следовательно, он вычислительно быстрее, чем метод Ньютона-Рафсона.

Метод Ньютона -Рафсона

$\eta _{r}=1$ и $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)$

где $\mathbf {s} _{r}({\widehat {\theta }})$ это счет и $\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)$ является обратной гессанской матрицей функции логарифмического правдоподобия, оба оценивали итерацию . Но поскольку расчет матрицы Гессья является вычислительно дорогостоящим , были предложены многочисленные альтернативы. Популярный алгоритм Берндта -Холл -Холл -Хаусман приближается к Гессиану с внешним продуктом ожидаемого градиента, так что, что

$\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)$

Ассоциация Ньютонов

Другие квази-ньютонские методы используют более сложные секундные обновления, чтобы дать приближение матрицы Гессиан.

Формула Davidon -Fletcher -Powell

Формула DFP находит решение, которое является симметричным, положительным определением и наиболее близким к текущему приблизительному значению производного второго порядка:

$\mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},$

где

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$\gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},$

$s_{k}=x_{k+1}-x_{k}.$

Бройден -Флетчер -Голдфарб -Шанно Алгоритм

BFGS также дает решение, которое является симметричным и положительным дефицитом:

$B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,$

где

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$s_{k}=x_{k+1}-x_{k}.$

Метод BFGS не гарантированно сходится, если только функция не имеет квадратичного расширения Тейлора вблизи оптимального. Тем не менее, BFGS может иметь приемлемая производительность даже для гладких экземпляров оптимизации

Фишер забил

Другой популярный метод - заменить Гессиана на информационную матрицу Фишера , ${\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]$, давая нам алгоритм забивания Фишера. Эта процедура является стандартной в оценке многих методов, таких как обобщенные линейные модели .

Несмотря на популярные, квази-ньютонные методы могут сходятся к стационарной точке , которая не обязательно является локальным или глобальным максимумом, а скорее местный минимум или седельная точка . Следовательно, важно оценить обоснованность полученного решения для уравнений правдоподобия путем подтверждения того, что гессан, оцененный в решении, является как отрицательным определенным , так и хорошо выполненным .

История

Рональд Фишер в 1913 году

Ранние пользователи максимальной вероятности включают Карла Фридриха Гаусса , Пьер-Симон Лаплас , Торвальд Н. Тиле и Фрэнсис Исидро Эджворт . Это был Рональд Фишер , однако, между 1912 и 1922 годами, который в одиночку создал современную версию метода.

Оценка максимального правдоподобия, наконец, превзошла эвристическое оправдание в доказательстве, опубликованном Сэмюэлем С. Уилксом в 1938 году, теперь называемой теоремой Уилкса . Теорема показывает, что ошибка в логарифме значений правдоподобия для оценок из множества независимых наблюдений является асимптотически χ ² -Подается , что обеспечивает удобное определение доверительной области вокруг любой оценки параметров. Единственная сложная часть доказательства Уилкса зависит от ожидаемой стоимости информационной матрицы Фишера , которая обеспечивается теоремой, доказанной Фишером. Уилкс продолжал улучшать общность теоремы на протяжении всей своей жизни, а его самое общее доказательство опубликовано в 1962 году.

Обзоры развития оценки максимального правдоподобия были предоставлены рядом авторов.

Смотрите также

Связанные концепции

• Информационный критерий Akaike : критерий сравнения статистических моделей, основанный на MLE
• Оценка экстремума : более общий класс оценщиков, к которым принадлежит MLE
• Информация о Фишере : информационная матрица, ее связь с ковариационной матрицей оценки ML
• Средняя квадратная ошибка : мера того, насколько «хорошей» оценка параметра распределения (будь то оценка максимального правдоподобия или какая -то другая оценка)
• RANSAC : метод оценки параметров математической модели с учетом данных, которые содержат выбросы
• Теорема Рао -Блаквелла : дает процесс поиска наилучшей возможной беспристрастной оценки (в смысле иметь минимальную среднюю квадратную ошибку ); MLE часто является хорошей отправной точкой для процесса
• Теорема Уилкса : предоставляет средства оценки размера и формы области примерно одинаково распространенных оценок для значений параметров популяции, используя информацию из одной выборки, используя распределение хи-квадрат

Другие методы оценки

• Обобщенный метод моментов : методы, связанные с уравнением правдоподобия в оценке максимального правдоподобия
• M-оценщик : подход, используемый в надежной статистике
• Максимальная оценка апостериорной (карт): для контраста в соответствии с расчетом оценок при постулировании предварительного знания
• Максимальная оценка расстояния : связанный метод, который является более надежным во многих ситуациях
• Максимальная оценка энтропии
• Метод моментов (статистика) : еще один популярный метод поиска параметров распределений
• Метод поддержки , изменение метода максимального правдоподобия
• Оценка минимального расстояния
• Методы частичного вероятности для данных панели
• Квази-максимума оценки вероятности: оценка MLE, которая неправильно определена, но все еще согласованная
• Максимальная вероятность ограничения : вариация с использованием функции правдоподобия, рассчитанная по преобразованному набору данных

Дальнейшее чтение

• Cramer, JS (1986). Эконометрические применения методов максимального правдоподобия . Нью -Йорк, Нью -Йорк: издательство Кембриджского университета. ISBN  0-521-25317-9 .
• Элиасон, Скотт Р. (1993). Оценка максимального вероятности: логика и практика . Парк Ньюбери: Мудрец. ISBN  0-8039-4107-2 .
• Кинг, Гэри (1989). Объединяющая политическая методология: теория аналогистистия статистического вывода . Издательство Кембриджского университета. ISBN  0-521-36697-6 .
• Le Cam, Lucien (1990). «Максимальная вероятность: введение». Обзор ISI . 58 (2): 153–171. doi : 10.2307/1403464 . JSTOR   1403464 .
• Магнус, Ян Р. (2017). «Максимальная вероятность». Введение в теорию эконометрики . Амстердам, NL: издательство Университета Ву. С. 53–68. ISBN  978-90-8659-766-6 .
• Миллар, Рассел Б. (2011). Максимальное количество вероятности оценки и вывода . Хобокен, Нью -Джерси: Уайли. ISBN  978-0-470-09482-2 .
• Солопы, Эндрю (1986). Введение в анализ вероятности . Норвич: Wh Hutchins & Sons. ISBN  0-86094-190-6 .
• Северини, Томас А. (2000). Методы вероятности в статистике . Нью -Йорк, Нью -Йорк: издательство Оксфордского университета. ISBN  0-19-850650-3 .
• Уорд, Майкл Д .; Ahlquist, John S. (2018). Максимальная вероятность социальной науки: стратегии анализа . Издательство Кембриджского университета. ISBN  978-1-316-63682-4 .

Внешние ссылки

• Тилевик, Андреас (2022). Максимальная вероятность против наименьших квадратов в линейной регрессии (видео)
• «Метод максимального правдоподобия» , Энциклопедия математики , Ems Press , 2001 [1994]
• Purcell, S. "Оценка максимального правдоподобия" .
• Сарджент, Томас ; Стачурски, Джон. «Оценка максимального вероятности» . Количественная экономика с питоном .
• Тумет, Отт; Henningsen, Arne (2019-05-19). «Maxlik: пакет для максимальной оценки правдоподобия в R» .
• Лесер, Лоуренс М. (2007). " Mle 'песня" . Математические науки / Колледж науки. Техасский университет . Эль -Пасо, Техас . Получено 2021-03-06 .