Эмпирическая вероятность

В теории вероятностей и статистике эмпирическое правдоподобие ( EL ) — непараметрический метод оценки параметров статистических моделей . Он требует меньше предположений о распределении ошибок , сохраняя при этом некоторые преимущества вывода, основанного на правдоподобии . Метод оценки требует, чтобы данные были независимыми и одинаково распределенными (iid). Он работает хорошо, даже когда распределение асимметрично или подвергается цензуре . ^[1] Методы EL также могут обрабатывать ограничения и предварительную информацию о параметрах. Арт Оуэн стал пионером в этой области в своей статье 1988 года. ^[2]

Определение

Учитывая набор $n$ ИИД реализации $y_{i}$ случайных величин $Y_{i}$ , то эмпирическая функция распределения равна ${\hat {F}}(y):=\sum _{i=1}^{n}\pi _{i}I(Y_{i}<y)$ , с функцией индикатора $I$ и (нормированные) веса $\pi _{i}$ .Тогда эмпирическая вероятность равна: ^[3]

L:=\prod _{i=1}^{n}{\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}},

где $\delta y$ это небольшое число (потенциально разница со следующей меньшей выборкой).

Эмпирическую оценку правдоподобия можно дополнить дополнительной информацией, используя дополнительные ограничения (аналогично подходу с использованием обобщенных уравнений оценки ) для эмпирической функции распределения. Например, ограничение, подобное следующему, может быть включено с использованием множителя Лагранжа. $E[h(Y;\theta )]=\int _{-\infty }^{\infty }h(y;\theta )dF=0$ что подразумевает ${\hat {E}}[h(y;\theta )]=\sum _{i=1}^{n}h(y_{i};\theta )\pi _{i}=0$ .

С аналогичными ограничениями мы могли бы также смоделировать корреляцию.

Дискретные случайные величины

Метод эмпирического правдоподобия также можно использовать для дискретных распределений . ^[4]Данный $\ p_{i}:={\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y),\ i=1,...,n$ такой, что $p_{i}\geq 0{\text{ and }}\sum _{i=1}^{n}\ p_{i}=1.$

Тогда эмпирическая вероятность снова равна $L(p_{1},...,p_{n})=\prod _{i=1}^{n}\ p_{i}$ .

Используя метод множителей Лагранжа для максимизации логарифма эмпирического правдоподобия с учетом тривиального ограничения нормализации, мы находим $p_{i}=1/n$ как максимум. Поэтому, ${\hat {F}}$ – эмпирическая функция распределения .

Процедура оценки

Оценки EL рассчитываются путем максимизации эмпирической функции правдоподобия (см. выше) с учетом ограничений, основанных на оценочной функции и тривиальном предположении, что сумма вероятностных весов функции правдоподобия равна 1. ^[5] Эта процедура представлена как:

\max _{\pi _{i},\theta }\ln(L)=\max _{\pi _{i},\theta }\sum _{i=1}^{n}\ln \pi _{i}

с учетом ограничений

s.t.\sum _{i=1}^{n}\pi _{i}=1,\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta )=0,\forall i\in [1..n]\quad 0\leq \pi _{i}.

^[6]^{: Уравнение (73)}

Значение тета-параметра можно найти, решив функцию Лагранжа

{\mathcal {L}}=\sum _{i=1}^{n}\ln \pi _{i}+\mu (1-\sum _{i=1}^{n}\pi _{i})-n\tau '\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta ).

^[6]^{: Уравнение (74)}

Существует явная аналогия между этой задачей максимизации и задачей, решенной для достижения максимальной энтропии .

Параметры $\pi _{i}$ являются мешающими параметрами .

Эмпирический коэффициент правдоподобия (ELR)

Эмпирическая функция отношения правдоподобия определяется и используется для получения интересующего параметра доверительных интервалов θ, аналогичного доверительным интервалам параметрического отношения правдоподобия. ^[7]^[8] Пусть L(F) — эмпирическое правдоподобие функции $F$ , тогда ELR будет:

$R(F)=L(F)/L(F_{n})$ .

Рассмотрим множества вида

$C=\{T(F)|R(F)\geq r\}$ .

В таких условиях испытание $T(F)=t$ отклоняет, когда t не принадлежит $C$ , то есть когда нет распределения F с $T(F)=t$ имеет вероятность $L(F)\geq rL(F_{n})$ .

Центральный результат касается среднего значения X. Очевидно, что некоторые ограничения на $F$ нужны, иначе $C=\mathbb {R} ^{p}$ в любое время $r<1$ . Чтобы увидеть это, позвольте:

$F=\epsilon \delta _{x}+(1-\epsilon )F_{n}$

Если $\epsilon$ достаточно мал и $\epsilon >0$ , затем $R(F)\geq r$ .

Но тогда, как $x$ проходит через $\mathbb {R} ^{p}$ , так же как и среднее значение $F$ , отслеживая $C=\mathbb {R} ^{p}$ . Проблему можно решить, ограничившись распределениями F, которые поддерживаются в ограниченном множестве. Оказывается, можно ограничить внимание распределениями с поддержкой в выборке, иными словами, распределением $F\ll F_{n}$ . Такой метод удобен, поскольку статистик может не захотеть указывать ограниченную поддержку для $F$ , и поскольку $t$ преобразует конструкцию $C$ в конечномерную задачу.

Другие приложения

Использование эмпирического правдоподобия не ограничивается доверительными интервалами. В эффективной квантильной регрессии категоризация на основе EL ^[9] Процедура помогает определить форму истинного дискретного распределения на уровне p, а также позволяет сформулировать непротиворечивую оценку. Кроме того, EL можно использовать вместо параметрического правдоподобия для формирования выбора модели . критериев ^[10]Эмпирическое правдоподобие естественным образом может быть применено в анализе выживаемости. ^[11] или проблемы регрессии ^[12]

См. также

Литература

Нордман, Дэниел Дж. и Сумендра Н. Лахири. «Обзор методов эмпирического правдоподобия для временных рядов». Журнал статистического планирования и вывода 155 (2014): 1-18. https://doi.org/10.1016/j.jspi.2013.10.001

Ссылки

^ Оуэн, Арт Б. (2001). Эмпирическая вероятность . Бока-Ратон, Флорида. ISBN 978-1-4200-3615-2 . OCLC 71012491 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
^ Оуэн, Арт Б. (1988). «Эмпирические доверительные интервалы отношения правдоподобия для одного функционала» . Биометрика . 75 (2): 237–249. дои : 10.1093/biomet/75.2.237 . ISSN 0006-3444 .
^ ${\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}}$ это оценка плотности вероятности, сравните гистограмму
^ Ван, Донг; Чен, Сун Си (1 февраля 2009 г.). «Эмпирическое правдоподобие для оценки уравнений с пропущенными значениями» . Анналы статистики . 37 (1). arXiv : 0903.0726 . дои : 10.1214/07-aos585 . ISSN 0090-5364 . S2CID 5427751 .
^ Миттельхаммер, судья и Миллер (2000), 292.
^ Jump up to: ^а ^б Бера, Анил К.; Билиас, Яннис (2002). «Подходы к оценке MM, ME, ML, EL, EF и GMM: синтез». Журнал эконометрики . 107 (1–2): 51–86. дои : 10.1016/S0304-4076(01)00113-0 .
^ Оуэн, Арт (1 марта 1990 г.). «Эмпирические регионы достоверности отношения правдоподобия» . Анналы статистики . 18 (1). дои : 10.1214/aos/1176347494 . ISSN 0090-5364 .
^ Донг, Лорен Бин; Джайлз, Дэвид Э.А. (30 января 2007 г.). «Эмпирический тест отношения правдоподобия на нормальность» . Коммуникации в статистике — моделирование и вычисления . 36 (1): 197–215. дои : 10.1080/03610910601096544 . ISSN 0361-0918 . S2CID 16866055 .
^ Чен, Цзянь; Лазар, Николь А. (27 января 2010 г.). «Квантильная оценка дискретных данных с помощью эмпирического правдоподобия» . Журнал непараметрической статистики . 22 (2): 237–255. дои : 10.1080/10485250903301525 . ISSN 1048-5252 . S2CID 119684596 .
^ Чен, Чисян; Ван, Мин; Ву, Жунлин; Ли, Рунзе (2022). «Надежный последовательный информационный критерий для выбора модели на основе эмпирического правдоподобия» . Статистика Синица . arXiv : 2006.13281 . дои : 10.5705/сс.202020.0254 . ISSN 1017-0405 . S2CID 220042083 .
^ Чжоу, М. (2015). Эмпирический метод правдоподобия в анализе выживания (1-е изд.). Чепмен и Холл/CRC. https://doi.org/10.1201/b18598
^ Чен, Сун Си и Ингрид Ван Кейлегом. «Обзор эмпирических методов правдоподобия для регрессии». ТЕСТ, том 18, страницы 415–447, (2009) https://doi.org/10.1007/s11749-009-0159-5

[1] Оуэн, Арт Б. (2001). Эмпирическая вероятность . Бока-Ратон, Флорида. ISBN 978-1-4200-3615-2 . OCLC 71012491 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )

[2] Оуэн, Арт Б. (1988). «Эмпирические доверительные интервалы отношения правдоподобия для одного функционала» . Биометрика . 75 (2): 237–249. дои : 10.1093/biomet/75.2.237 . ISSN 0006-3444 .

[3] ${\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}}$ это оценка плотности вероятности, сравните гистограмму

[4] Ван, Донг; Чен, Сун Си (1 февраля 2009 г.). «Эмпирическое правдоподобие для оценки уравнений с пропущенными значениями» . Анналы статистики . 37 (1). arXiv : 0903.0726 . дои : 10.1214/07-aos585 . ISSN 0090-5364 . S2CID 5427751 .

[5] Миттельхаммер, судья и Миллер (2000), 292.

[Bera2002-6] Jump up to: ^а ^б Бера, Анил К.; Билиас, Яннис (2002). «Подходы к оценке MM, ME, ML, EL, EF и GMM: синтез». Журнал эконометрики . 107 (1–2): 51–86. дои : 10.1016/S0304-4076(01)00113-0 .

[7] Оуэн, Арт (1 марта 1990 г.). «Эмпирические регионы достоверности отношения правдоподобия» . Анналы статистики . 18 (1). дои : 10.1214/aos/1176347494 . ISSN 0090-5364 .

[8] Донг, Лорен Бин; Джайлз, Дэвид Э.А. (30 января 2007 г.). «Эмпирический тест отношения правдоподобия на нормальность» . Коммуникации в статистике — моделирование и вычисления . 36 (1): 197–215. дои : 10.1080/03610910601096544 . ISSN 0361-0918 . S2CID 16866055 .

[9] Чен, Цзянь; Лазар, Николь А. (27 января 2010 г.). «Квантильная оценка дискретных данных с помощью эмпирического правдоподобия» . Журнал непараметрической статистики . 22 (2): 237–255. дои : 10.1080/10485250903301525 . ISSN 1048-5252 . S2CID 119684596 .

[10] Чен, Чисян; Ван, Мин; Ву, Жунлин; Ли, Рунзе (2022). «Надежный последовательный информационный критерий для выбора модели на основе эмпирического правдоподобия» . Статистика Синица . arXiv : 2006.13281 . дои : 10.5705/сс.202020.0254 . ISSN 1017-0405 . S2CID 220042083 .

[11] Чжоу, М. (2015). Эмпирический метод правдоподобия в анализе выживания (1-е изд.). Чепмен и Холл/CRC. https://doi.org/10.1201/b18598

[12] Чен, Сун Си и Ингрид Ван Кейлегом. «Обзор эмпирических методов правдоподобия для регрессии». ТЕСТ, том 18, страницы 415–447, (2009) https://doi.org/10.1007/s11749-009-0159-5

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]