Принцип правдоподобия

В статистике принцип правдоподобия — это утверждение, что при наличии статистической модели все данные в выборке, относящиеся к параметрам модели, содержатся в функции правдоподобия .

Функция правдоподобия возникает из функции плотности вероятности, рассматриваемой как функция аргумента параметризации распределения. Например, рассмотрим модель, которая дает функцию плотности вероятности $\;f_{X}(x\mid \theta )\;$ наблюдаемой случайной величины $\,X\,$ как функция параметра $\,\theta ~$. Тогда для определенного значения $\,x\,$ из $\,X~$, функция $\,{\mathcal {L}}(\theta \mid x)=f_{X}(x\mid \theta )\;$ является функцией правдоподобия $\,\theta ~$: он дает меру того, насколько «вероятно» любое конкретное значение $\,\theta \,$ если мы это знаем $\,X\,$ имеет значение $\,x~$. Функция плотности может быть плотностью по отношению к счетной мере, т.е. функцией вероятностной массы .

Две функции правдоподобия эквивалентны , если одна из них скалярно кратна другой. Принцип правдоподобия заключается в следующем: вся информация из данных, которая имеет отношение к выводам о значениях параметров модели, находится в классе эквивалентности, к которому принадлежит функция правдоподобия. Принцип сильного правдоподобия применяет тот же критерий к таким случаям, как последовательные эксперименты, когда доступная выборка данных является результатом применения правила остановки к наблюдениям, сделанным ранее в эксперименте.

Пример

Предполагать

• $\ X\$ - количество успехов в двенадцати независимых испытаниях Бернулли, каждая из которых имеет вероятность $\ \theta \$ успеха в каждом испытании и
• $\ Y\$ - это количество независимых испытаний Бернулли, необходимое для получения в общей сложности трех успешных результатов, опять же каждая попытка с вероятностью $\ \theta \$ успеха в каждом испытании (если бы это была честная монета, каждый бросок имел бы $\ \theta ={\tfrac {\!\ 1\!\ }{2}}\$ исхода (орел или решка).

Тогда наблюдение, что $\ X=3\$ индуцирует функцию правдоподобия

$\ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ X=3\ \right)={\binom {12}{3}}~\theta ^{3}\ (1-\theta )^{9}=220\ \theta ^{3}\ (1-\theta )^{9}\ ,$

в то время как наблюдение, что $\ Y=12\$ индуцирует функцию правдоподобия

$\ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ Y=12\ \right)={\binom {11}{2}}~\theta ^{3}\ (1-\theta )^{9}=55\ \theta ^{3}\ (1-\theta )^{9}~.$

Принцип правдоподобия гласит, что, поскольку данные в обоих случаях одни и те же, выводы, сделанные о значении $\ \theta \$ тоже должно быть одинаково. Кроме того, все логические выводы в данных о стоимости $\ \theta \$ содержится в двух вероятностях и является одним и тем же, если они пропорциональны друг другу. Именно так обстоит дело в приведенном выше примере, что отражает тот факт, что разница между наблюдением $\ X=3\$ и наблюдение $\ Y=12\$ заключается не в фактических собранных данных и не в поведении экспериментатора, а в двух различных планах эксперимента .

В частности, в одном случае заранее было принято решение попробовать двенадцать раз, независимо от результата; в другом случае предварительное решение заключалось в том, чтобы продолжать попытки до тех пор, пока не будут зафиксированы три успеха. Если вы поддерживаете принцип правдоподобия, то вывод о $\ \theta \$ должно быть одинаковым для обоих случаев, поскольку две вероятности пропорциональны друг другу: за исключением постоянного ведущего фактора 220 против 55 , две функции правдоподобия одинаковы – постоянные кратные друг другу.

Однако эта эквивалентность не всегда имеет место. Использование частотных методов, включающих p, значения приводит к разным выводам для двух вышеперечисленных случаев: показывая, что результат частотных методов зависит от экспериментальной процедуры и, таким образом, нарушает принцип правдоподобия.

Закон вероятности

Родственной концепцией является закон правдоподобия , представление о том, что степень, в которой доказательства поддерживают одно значение параметра или гипотезу против другого, определяется соотношением их правдоподобий, их отношением правдоподобия . То есть,

$\Lambda ={{\mathcal {L}}(a\mid X=x) \over {\mathcal {L}}(b\mid X=x)}={P(X=x\mid a) \over P(X=x\mid b)}$

— это степень, в которой наблюдение x поддерживает значение параметра или гипотезу a против b . Если это соотношение равно 1, доказательства безразличны; если больше 1, доказательства подтверждают значение a по сравнению с b ; а если меньше, то наоборот.

В байесовской статистике это соотношение известно как фактор Байеса , а правило Байеса можно рассматривать как применение закона правдоподобия к умозаключениям.

В частотном выводе отношение правдоподобия используется в тесте отношения правдоподобия , но также используются и другие тесты на неправдоподобие. Лемма Неймана -Пирсона утверждает, что тест отношения правдоподобия столь же статистически эффективен , как и самый мощный тест для сравнения двух простых гипотез на заданном уровне значимости , что дает частотное обоснование закона правдоподобия.

Сочетание принципа правдоподобия с законом правдоподобия приводит к тому, что значение параметра, которое максимизирует функцию правдоподобия, является значением, которое наиболее убедительно подтверждается доказательствами. На этом основан широко используемый метод максимального правдоподобия .

История

Принцип правдоподобия был впервые идентифицирован под этим названием в печати в 1962 году (Барнард и др ., Бирнбаум и Сэвидж и др .), но аргументы в пользу того же принципа, безымянные, и использование этого принципа в приложениях восходят к работам Р. А. Фишера в 1920-е гг. Под этим названием закон правдоподобия был назван И. Хакингом (1965). Совсем недавно принцип правдоподобия как общий принцип вывода был поддержан А.В.Ф. Эдвардсом . Принцип правдоподобия был применен к философии науки Р. Ройяллом.

Бирнбаум (1962) первоначально утверждал, что принцип правдоподобия вытекает из двух более примитивных и, казалось бы, разумных принципов: принципа обусловленности и принципа достаточности :

• Принцип обусловленности гласит, что если эксперимент выбран случайным процессом, независимым от состояний природы $\ \theta \ ,$ тогда только фактически проведенный эксперимент имеет отношение к выводам о $\ \theta ~.$
• Принцип достаточности гласит, что если $\ T(X)\$ является достаточной статистикой для $\ \theta \ ,$ и если в двух экспериментах с данными $\ x_{1}\$ и $\ x_{2}\$ у нас есть $\ T(x_{1})=T(x_{2})\ ,$ тогда доказательства о $\ \theta \$ данные двух экспериментов одинаковы.

Однако при дальнейшем рассмотрении Бирнбаум отверг как свой принцип обусловленности, так и принцип правдоподобия. Адекватность первоначального аргумента Бирнбаума также оспаривалась другими ( подробности см. ниже ).

Аргументы за и против

Некоторые широко используемые методы традиционной статистики, например, многие тесты значимости , не соответствуют принципу правдоподобия.

Давайте кратко рассмотрим некоторые аргументы за и против принципа правдоподобия.

Оригинальный аргумент Бирнбаума

Согласно Фадсу (1977), Бирнбаум отверг и его собственный принцип обусловленности, и принцип правдоподобия, поскольку оба они были несовместимы с тем, что он называл «концепцией достоверности статистических данных», которую Бирнбаум (1970) описывает как взятую «из методов подхода Неймана-Пирсона для систематической оценки и ограничения вероятностей». (согласно соответствующим гипотезам) серьезно вводящих в заблуждение интерпретаций данных» ( п. 1033). Концепция уверенности включает лишь ограниченные аспекты концепции вероятности и лишь некоторые применения концепции обусловленности. Позже Бирнбаум отмечает, что именно формулировка безусловной эквивалентности в его версии принципа обусловленности 1962 года привела «к чудовищной аксиоме правдоподобия» ( п. 263).

Первоначальный аргумент Бирнбаума в пользу принципа правдоподобия также оспаривался другими статистиками, включая Акаике , Эванс и философы науки, в том числе Дебора Мэйо . Давид указывает на фундаментальные различия между определениями принципа обусловленности Мэйо и Бирнбаума, утверждая, что аргумент Бирнбаума не может быть так легко отвергнут. Новое доказательство принципа правдоподобия было предоставлено Ганденбергером, в котором рассматриваются некоторые контраргументы к первоначальному доказательству.

Аргументы планирования эксперимента по принципу правдоподобия

Нереализованные события играют роль в некоторых распространенных статистических методах. Например, результат теста значимости зависит от p значения , вероятности того, что результат окажется экстремальным или более экстремальным, чем наблюдение, и эта вероятность может зависеть от плана эксперимента. Поэтому в той степени, в которой принимается принцип правдоподобия, такие методы отвергаются.

Некоторые классические тесты значимости не основаны на вероятности. Ниже приведены простые и более сложные примеры, в которых используется часто цитируемый пример, называемый необязательной остановки проблемой .

Пример 1 – простая версия

Предположим, я говорю вам, что подбросил монету 12 раз и при этом заметил 3 орла. Вы можете сделать некоторый вывод о вероятности выпадения орла и о том, была ли монета честной.

Предположим, теперь я говорю, что подбрасывал монету до тех пор, пока не увидел 3 орла, и подбросил ее 12 раз. Сделаете ли вы теперь какой-то другой вывод?

Функция правдоподобия в обоих случаях одинакова: она пропорциональна

$p^{3}(1-p)^{9}~$.

Итак, согласно принципу правдоподобия , в любом случае вывод должен быть одинаковым.

Пример 2 – более сложная версия той же статистики.

Предположим, несколько ученых оценивают вероятность определенного результата (который мы будем называть «успехом») в экспериментальных испытаниях. Принято считать, что если нет предвзятости к успеху или неудаче, то вероятность успеха будет равна половине. Адам, учёный, провёл 12 испытаний и добился 3 успеха и 9 неудач. Одним из таких успехов стало 12-е и последнее наблюдение. Затем Адам покинул лабораторию.

Билл, коллега из той же лаборатории, продолжил работу Адама и опубликовал результаты Адама вместе с тестом значимости. Он проверил нулевую гипотезу о том, что p , вероятность успеха, равна половине, а не p < 0,5 . Если мы проигнорируем информацию о том, что третий успех был 12-м и последним наблюдением, вероятность наблюдаемого результата, что из 12 попыток 3 или меньше (т.е. более экстремальные) были успешными, если H ₀ истинно, будет равна

$\left[{12 \choose 3}+{12 \choose 2}+{12 \choose 1}+{12 \choose 0}\right]\left({1 \over 2}\right)^{12}~$,

который ⁠ 299/4096 7,3 ⁠ = % . Таким образом, нулевая гипотеза не отвергается на уровне значимости 5%, если мы игнорируем знание о том, что третий успех был 12-м результатом.

Однако обратите внимание, что этот первый расчет также включает в себя 12 последовательностей длиной в токен, которые заканчиваются решкой, что противоречит постановке задачи!

Если мы повторим этот расчет, мы поймем, что вероятность согласно нулевой гипотезе должна быть равна вероятности того, что честная монета выпадет 2 или меньше орла в 11 попытках, умноженной на вероятность того, что честная монета выпадет орел в 12-м испытании:

$\left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~$,

который ⁠ 67 / 2048 ⁠ ⁠ 1 / 2 ⁠ = ⁠ 67/4096 1,64 ⁠ = % . Сейчас результат статистически значим на уровне 5% .

Шарлотта, другой ученый, читает статью Билла и пишет письмо, в котором говорит, что вполне возможно, что Адам продолжал попытки, пока не добился 3 успехов, и в этом случае вероятность необходимости проведения 12 или более экспериментов определяется выражением

$\left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~$,

который ⁠ 134 / 4096 ⁠ ⁠ 1/2 1,64 ⁠ = % . Сейчас результат статистически значим на уровне 5% . Обратите внимание, что между двумя последними правильными анализами нет противоречия; оба вычисления верны и приводят к одному и тому же значению p.

Для этих ученых то, является ли результат значимым или нет, зависит не от плана эксперимента, а от вероятности (в смысле функции правдоподобия) значения параметра, ⁠ 1 / 2 ⁠  .

Краткое изложение иллюстрированных проблем

Результаты такого рода рассматриваются некоторыми как аргументы против принципа правдоподобия. Для других это иллюстрирует ценность принципа правдоподобия и является аргументом против тестов значимости.

Похожие темы возникают при сравнении точного критерия Фишера с критерием хи-квадрат Пирсона .

История с вольтметром

Аргумент в пользу принципа правдоподобия приводит Эдвардс в своей книге « Правдоподобие» . Он цитирует следующую историю Дж. У. Пратта, приведенную здесь в несколько сжатом виде. Обратите внимание, что функция правдоподобия зависит только от того, что произошло на самом деле, а не от того, что могло бы произойти.

Инженер берет случайную выборку электронных ламп и измеряет их напряжения. Диапазон измерений от 75 до 99 Вольт. Статистик вычисляет выборочное среднее значение и доверительный интервал для истинного среднего значения. Позже статистик обнаруживает, что вольтметр показывает только 100 Вольт, так что технически население выглядит « цензурированным ». Если статистик ортодоксален, это требует нового анализа.

Однако инженер говорит, что у него есть еще один счетчик, показывающий 1000 Вольт, который он бы использовал, если бы какое-либо напряжение превышало 100 В. Это облегчение для статистика, потому что это означает, что население все-таки фактически не подвергалось цензуре. Но позже статистик обнаруживает, что во время измерений второй счетчик не работал. Инженер сообщает статистику, что он не будет поддерживать первоначальные измерения до тех пор, пока не будет отремонтирован второй счетчик, и статистик сообщает ему, что необходимы новые измерения. Инженер поражен. « Далее вы спросите о моем осциллографе! »

Возврат к примеру 2 из предыдущего раздела.

Эту историю можно перевести на приведенное выше правило остановки Адама следующим образом: Адам остановился сразу после трех успехов, потому что его босс Билл поручил ему сделать это. После публикации Биллом статистического анализа Адам понимает, что он пропустил более позднее указание Билла провести вместо этого 12 испытаний и что статья Билла основана на этой второй инструкции. Адам очень рад, что свои 3 успеха он получил ровно после 12 попыток, и объясняет своей подруге Шарлотте, что по стечению обстоятельств он выполнил вторую инструкцию. Позже Адам с удивлением узнает о письме Шарлотты, объясняя, что теперь результат значителен.

См. также

• Принцип обусловленности
• Статистика правдоподобия

Источники

• Барнард, Джорджия ; Дженкинс, генеральный директор; Уинстен, CB (1962). «Вывод о правдоподобии и временные ряды». Журнал Королевского статистического общества . Серия А. 125 (3): 321–372. дои : 10.2307/2982406 . ISSN   0035-9238 . JSTOR   2982406 .

• Бергер, Дж.О .; Вулперт, Р.Л. (1988). Принцип правдоподобия (2-е изд.). Хейвуд, Калифорния: Институт математической статистики. ISBN  0-940600-13-7 .

• Бирнбаум, А. (1962). «Об основах статистического вывода (с обсуждением)». Журнал Американской статистической ассоциации . 57 (298): 269–326. дои : 10.2307/2281640 . ISSN   0162-1459 . JSTOR   2281640 . МР   0138176 .

• Эдвардс, AWF (1972). Вероятность (1-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  9780521082990 .

• Эдвардс, AWF (1992). Вероятность (2-е изд.). Балтимор, Мэриленд: Издательство Университета Джонса Хопкинса. ISBN  0-8018-4445-2 .

• Эдвардс, AWF (1974). «История вероятности». Международный статистический обзор . 42 (1): 9–15. дои : 10.2307/1402681 . ISSN   0306-7734 . JSTOR   1402681 . МР   0353514 .

• Фишер, Р.А. (1922). «О математических основах теоретической статистики» (PDF) . Философские труды Королевского общества А. 222 (594–604): 326. Бибкод : 1922RSPTA.222..309F . дои : 10.1098/rsta.1922.0009 . hdl : 2440/15172 . Проверено 28 декабря 2008 г.

• Хакинг, И. (1965). Логика статистического вывода . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-521-05165-7 .

• Джеффрис, Х. (1961). Теория Вероятности . Издательство Оксфордского университета.

• Мэйо, генеральный директор (2010). «Ошибка в аргументации от условности и достаточности к принципу правдоподобия» (PDF) . В Мэйо, Д.; Спанос, А. (ред.). Ошибка и вывод: недавние обсуждения экспериментальных рассуждений, надежности, объективности и рациональности науки . Кембридж, Великобритания: Издательство Кембриджского университета. стр. 305–314. ISBN  9780521180252 .

• Ройалл, Ричард М. (1997). Статистические данные: парадигма вероятности . Лондон, Великобритания: Чепмен и Холл. ISBN  0-412-04411-0 – через Интернет-архив (archive.org).

• Сэвидж, LJ ; и др. (1962). Основы статистического вывода . Лондон, Великобритания: Метуэн.

Внешние ссылки

• Эдвардс, Энтони В.Ф. «Вероятность» . cimat.mx/reportes .

• Миллер, Джефф. «Л» . штатив.com . Самые ранние известные случаи использования некоторых математических слов.

• Олдрич, Джон. Р. А. Фишера «Правоподобие и вероятность в статистических методах для научных работников » . Economics.soton.ac.uk . Гид Фишера. Саутгемптон, Великобритания: Университет Саутгемптона /факультет экономики.