Метод моментов (статистика)

Информацию о методе доказательства сходимости распределения см. в разделе Метод моментов (теория вероятностей) .

В статистике метод моментов является методом оценки популяции параметров . Тот же принцип используется для получения более высоких моментов, таких как асимметрия и эксцесс.

совокупности Он начинается с выражения моментов (т. е. ожидаемых значений степеней рассматриваемой случайной величины ) как функций интересующих параметров. Затем эти выражения приравниваются к моментам выборки. Количество таких уравнений равно количеству оцениваемых параметров. Затем эти уравнения решаются для интересующих параметров. Решения представляют собой оценки этих параметров.

Метод моментов был введен Пафнутием Чебышевым в 1887 году при доказательстве центральной предельной теоремы . Идея сопоставления эмпирических моментов распределения с моментами популяции восходит, по крайней мере, к Пирсону . ^[1]

Метод

Предположим, что параметр $\theta$ = ( $\theta _{1},\theta _{2},\dots ,\theta _{k}$) характеризует распределение $f_{W}(w;\theta )$ случайной величины $W$. Предположим, первый $k$ моменты истинного распределения («моменты населения») могут быть выражены как функции $\theta$с:

${\begin{aligned}\mu _{1}&\equiv \operatorname {E} [W]=g_{1}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\[4pt]\mu _{2}&\equiv \operatorname {E} [W^{2}]=g_{2}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\&\,\,\,\vdots \\\mu _{k}&\equiv \operatorname {E} [W^{k}]=g_{k}(\theta _{1},\theta _{2},\ldots ,\theta _{k}).\end{aligned}}$

Предположим, что выборка размером $n$ рисуется, в результате чего получаются значения $w_{1},\dots ,w_{n}$. Для $j=1,\dots ,k$, позволять

${\widehat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}$

быть j -м моментом выборки, оценкой $\mu _{j}$. Метод оценки моментов для $\theta _{1},\theta _{2},\ldots ,\theta _{k}$ обозначается ${\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\dots ,{\widehat {\theta }}_{k}$ определяется как решение (если оно существует) уравнений: ^[2]

${\begin{aligned}{\widehat {\mu }}_{1}&=g_{1}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\[4pt]{\widehat {\mu }}_{2}&=g_{2}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\&\,\,\,\vdots \\{\widehat {\mu }}_{k}&=g_{k}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}).\end{aligned}}$

Описанный здесь метод для одиночных случайных величин очевидным образом обобщается на несколько случайных величин, что приводит к множеству вариантов выбора моментов, которые будут использоваться. Разные варианты обычно приводят к разным решениям [5], [6].

Преимущества и недостатки

Метод моментов довольно прост и дает непротиворечивые оценки (при очень слабых предположениях), хотя эти оценки часто бывают смещенными .

Это альтернатива методу максимального правдоподобия .

Однако в некоторых случаях уравнения правдоподобия могут оказаться неразрешимыми без компьютеров, тогда как оценки методом моментов можно вычислить гораздо быстрее и проще. Благодаря легкости вычислимости оценки метода моментов могут использоваться в качестве первого приближения к решениям уравнений правдоподобия, а затем могут быть найдены последовательные улучшенные приближения с помощью метода Ньютона-Рафсона . Таким образом, метод моментов может помочь в нахождении оценок максимального правдоподобия.

В некоторых случаях, что нечасто при больших выборках, но реже при небольших выборках, оценки, полученные методом моментов, находятся за пределами пространства параметров (как показано в примере ниже); тогда рассчитывать на них не имеет смысла. Эта проблема никогда не возникает в методе максимального правдоподобия. ^[3] Кроме того, оценки методом моментов не обязательно являются достаточной статистикой , т. е. иногда не учитывают всю значимую информацию в выборке.

При оценке других структурных параметров (например, параметров функции полезности вместо параметров известного распределения вероятностей) соответствующие распределения вероятностей могут быть неизвестны, и оценки на основе моментов могут быть предпочтительнее оценки максимального правдоподобия.

Альтернативный метод моментов

Уравнения, которые необходимо решить с помощью метода моментов (MoM), в целом нелинейны, и не существует общеприменимых гарантий существования поддающихся решению решений. . Но существует альтернативный подход к использованию моментов выборки для оценки параметров модели данных с точки зрения известной зависимости моментов модели от этих параметров, и этот альтернативный вариант требует решения только линейных уравнений или, в более общем смысле, тензорных уравнений. Эта альтернатива называется байесовским MoM (BL-MoM) и отличается от классического MoM тем, что использует оптимально взвешенные моменты выборки. Учитывая, что MoM обычно мотивируется отсутствием достаточных знаний о модели данных для определения функций правдоподобия и связанных с ними апостериорных вероятностей неизвестных или случайных параметров, странно, что существует тип MoM, который является байесовским . Но особый смысл байесовского подхода приводит к формулировке проблемы, в которой требуемое знание апостериорных вероятностей заменяется необходимым знанием только зависимости моментов модели от неизвестных параметров модели, что и является именно тем знанием, которое требуется традиционным MoM [1]. ],[2],[5]–[9]. BL-MoM также использует знания априорные вероятности оцениваемых параметров, если они доступны, но в остальном используются единые априорные значения.

О BL-MoM сообщалось только в литературе по прикладной статистике в связи с оценкой параметров и проверкой гипотез с использованием наблюдений за случайными процессами для задач теории информации и коммуникаций и, в частности, проектирования приемников связи при отсутствии знаний о функциях правдоподобия. или ассоциированные апостериорные вероятности [10] и ссылки там. Кроме того, повторная формулировка этого подхода к проектированию приемников для моделей стохастических процессов в качестве альтернативы классическому MoM для любого типа многомерных данных доступна в виде учебного пособия на веб-сайте университета [11, стр. 11.4]. Приложения в [10] и ссылки демонстрируют некоторые важные характеристики этой альтернативы классическому MoM, а подробный список относительных преимуществ и недостатков приведен в [11, стр. 11.4], но в литературе отсутствуют прямые сравнения в конкретных приложениях MoM. классический МоМ и BL-МоМ.

Примеры

Примером применения метода моментов является оценка полиномиальных распределений плотности вероятности. В этом случае аппроксимирующий многочлен порядка $N$ определяется на интервале $[a,b]$. Тогда метод моментов дает систему уравнений, решение которой включает обращение матрицы Ганкеля .

Доказательство центральной предельной теоремы

Позволять $X_{1},X_{2},\cdots$ — независимые случайные величины со средним значением 0 и дисперсией 1, тогда пусть $S_{n}:={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}X_{i}$. Мы можем вычислить моменты $S_{n}$ как

$$E[S_{n}^{0}]=1,E[S_{n}^{1}]=0,E[S_{n}^{2}]=1,E[S_{n}^{3}]=0,\cdots$$

Явное разложение показывает, что

$$E[S_{n}^{2k+1}]=0;\quad E[S_{n}^{2k}]={\frac {{\binom {n}{k}}{\frac {(2k)!}{2^{k}}}}{n^{k}}}={\frac {n(n-1)\cdots (n-k+1)}{n^{k}}}(2k-1)!!$$

где числитель — количество способов выбора $k$ различные пары шаров, выбирая по одному из $2k$ ведра, в каждом из которых находятся шарики, пронумерованные от $1$ к $n$. На $n\to \infty$ пределе все моменты сходятся к моменту стандартного нормального распределения. Дальнейший анализ показывает, что эта конвергенция моментов подразумевает конвергенцию распределения.

По существу этот аргумент был опубликован Чебышевым в 1887 году.

распределение

Рассмотрим равномерное распределение на интервале $[a,b]$, $U(a,b)$. Если $W\sim U(a,b)$ тогда у нас есть

$\mu _{1}=\operatorname {E} [W]={\frac {1}{2}}(a+b)$

$\mu _{2}=\operatorname {E} [W^{2}]={\frac {1}{3}}(a^{2}+ab+b^{2})$

Решение этих уравнений дает

${\widehat {a}}=\mu _{1}-{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}$

${\widehat {b}}=\mu _{1}+{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}$

Учитывая набор образцов $\{w_{i}\}$ мы можем использовать примеры моментов ${\widehat {\mu }}_{1}$ и ${\widehat {\mu }}_{2}$ в этих формулах, чтобы оценить $a$ и $b$.

Однако обратите внимание, что в некоторых случаях этот метод может давать противоречивые результаты. Например, набор образцов $\{0,0,0,0,1\}$ результаты в оценке ${\widehat {a}}={\frac {1}{5}}-{\frac {2{\sqrt {3}}}{5}},{\widehat {b}}={\frac {1}{5}}+{\frac {2{\sqrt {3}}}{5}}$ Несмотря на то ${\widehat {b}}<1$ и поэтому невозможно для множества $\{0,0,0,0,1\}$ быть взятым из $U({\widehat {a}},{\widehat {b}})$ в этом случае.

См. также

• Обобщенный метод моментов
• Методы декодирования

Ссылки

[4] Пирсон, К. (1936), «Метод моментов и метод максимального правдоподобия», Биометрика 28 (1/2), 35–59.

[5] Линдси, Б.Г. и Басак П. (1993). «Многомерные нормальные смеси: быстрый последовательный метод моментов», Журнал Американской статистической ассоциации 88 , 468–476.

[6] Квандт, Р.Э. и Рэмси, Дж.Б. (1978). «Оценка смесей нормального распределения и регрессии переключения», Журнал Американской статистической ассоциации 73 , 730–752.

[7] https://real-statistics.com/distribution-fitting/method-of-moments/

[8] Хансен, Л. (1982). «Свойства обобщенного метода оценок моментов на больших выборках», Econometrica 50 , 1029–1054.

[9] Линдси, Б.Г. (1982). «Условные функции оценки: некоторые результаты оптимальности», Биометрика 69 , 503–512.

[10] Гарднер, В.А., «Разработка классификаторов сигналов ближайшего прототипа», IEEE Transactions on Information Theory 27 (3), 368–372, 1981.

Внешние ссылки

• Циклостационарность