Эмпирическая функция распределения

Зеленая кривая, которая асимптотически приближается к высотам 0 и 1, не достигая их, представляет собой истинную кумулятивную функцию распределения стандартного нормального распределения . Серые штрихи представляют наблюдения в конкретной выборке , взятой из этого распределения, а горизонтальные шаги синей ступенчатой функции (включая крайнюю левую точку на каждом шаге, но не включая крайнюю правую точку) образуют эмпирическую функцию распределения этой выборки. ( Нажмите здесь, чтобы загрузить новый график. )

В статистике эмпирическая функция распределения (обычно также называемая эмпирической кумулятивной функцией распределения , eCDF) — это функция распределения, с эмпирической мерой выборки связанная . ^[1] Эта кумулятивная функция распределения представляет собой ступенчатую функцию , которая увеличивается на $1/ n$ в каждой из $n$ точек данных. Его значение при любом заданном значении измеряемой переменной представляет собой долю наблюдений измеряемой переменной, которые меньше или равны указанному значению.

Эмпирическая функция распределения — это оценка кумулятивной функции распределения, которая сформировала точки в выборке. Согласно теореме Гливенко – Кантелли , оно сходится с вероятностью 1 к основному распределению. Существует ряд результатов для количественной оценки скорости сходимости эмпирической функции распределения к базовой кумулятивной функции распределения.

Определение

Пусть $(X 1, \dots, X n)$ — независимые, одинаково распределенные вещественные случайные величины с общей кумулятивной функцией распределения $F (t)$ . Тогда эмпирическая функция распределения определяется как ^[2]

{\widehat {F}}_{n}(t)={\frac {{\mbox{number of elements in the sample}}\leq t}{n}}={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{X_{i}\leq t},

где $\mathbf {1} _{A}$ является индикатором события $А.$ При фиксированном $t$ показатель $\mathbf {1} _{X_{i}\leq t}$ — случайная величина Бернулли с параметром $p = F (t)$ ; следовательно $n{\widehat {F}}_{n}(t)$ — биномиальная случайная величина со средним значением $nF (t)$ и дисперсией $nF (t)(1 — F (t))$ . Это означает, что ${\widehat {F}}_{n}(t)$ является несмещенной оценкой $F (t)$ .

Однако в некоторых учебниках определение дается как

{\widehat {F}}_{n}(t)={\frac {1}{n+1}}\sum _{i=1}^{n}\mathbf {1} _{X_{i}\leq t}

^[3]^[4]

Асимптотические свойства

Поскольку отношение $(n + 1)/ n$ приближается к 1 при $стремлении n$ к бесконечности, асимптотические свойства двух приведенных выше определений одинаковы.

По усиленному закону больших чисел оценка $\scriptstyle {\widehat {F}}_{n}(t)$ сходится к $F (t)$ при $n \to \infty$ почти наверняка для любого значения $t$ : ^[2]

{\widehat {F}}_{n}(t)\ {\xrightarrow {\text{a.s.}}}\ F(t);

таким образом, оценщик $\scriptstyle {\widehat {F}}_{n}(t)$ является последовательным . Это выражение утверждает поточечную сходимость эмпирической функции распределения к истинной кумулятивной функции распределения. Существует более сильный результат, называемый теоремой Гливенко–Кантелли , который утверждает, что сходимость на самом деле происходит равномерно по $t$ : ^[5]

\|{\widehat {F}}_{n}-F\|_{\infty }\equiv \sup _{t\in \mathbb {R} }{\big |}{\widehat {F}}_{n}(t)-F(t){\big |}\ \xrightarrow {} \ 0.

Суп-норма в этом выражении называется статистикой Колмогорова – Смирнова для проверки согласия между эмпирическим распределением $\scriptstyle {\widehat {F}}_{n}(t)$ предполагаемая истинная кумулятивная функция распределения $F.$ и другие функции нормы Вместо суп-нормы здесь могут быть разумно использованы . Например, буква Л ²-норма порождает статистику Крамера-фон Мизеса .

Асимптотическое распределение можно дополнительно охарактеризовать несколькими различными способами. Во-первых, центральная предельная теорема утверждает, что поточечно , $\scriptstyle {\widehat {F}}_{n}(t)$ имеет асимптотически нормальное распределение со стандартом ${\sqrt {n}}$ скорость сходимости: ^[2]

{\sqrt {n}}{\big (}{\widehat {F}}_{n}(t)-F(t){\big )}\ \ {\xrightarrow {d}}\ \ {\mathcal {N}}{\Big (}0,F(t){\big (}1-F(t){\big )}{\Big )}.

Этот результат расширяется теоремой Донскера , которая утверждает, что эмпирический процесс $\scriptstyle {\sqrt {n}}({\widehat {F}}_{n}-F)$ , рассматриваемый как функция, индексированная $\scriptstyle t\in \mathbb {R}$ , сходится по распределению в пространстве Скорохода $\scriptstyle D[-\infty ,+\infty ]$ к средненулевому гауссовскому процессу $\scriptstyle G_{F}=B\circ F$ , где $B$ — стандартный броуновский мост . ^[5] Ковариационная структура этого гауссовского процесса имеет вид

\operatorname {E} [\,G_{F}(t_{1})G_{F}(t_{2})\,]=F(t_{1}\wedge t_{2})-F(t_{1})F(t_{2}).

Равномерную скорость сходимости в теореме Донскера можно количественно оценить с помощью результата, известного как венгерское вложение : ^[6]

\limsup _{n\to \infty }{\frac {\sqrt {n}}{\ln ^{2}n}}{\big \|}{\sqrt {n}}({\widehat {F}}_{n}-F)-G_{F,n}{\big \|}_{\infty }<\infty ,\quad {\text{a.s.}}

Альтернативно, скорость сходимости $\scriptstyle {\sqrt {n}}({\widehat {F}}_{n}-F)$ также может быть выражено количественно с точки зрения асимптотического поведения суп-нормы этого выражения. На этом форуме существует множество результатов, например, неравенство Дворецкого – Кифера – Вольфовица дает ограничение на хвостовые вероятности $\scriptstyle {\sqrt {n}}\|{\widehat {F}}_{n}-F\|_{\infty }$ : ^[6]

\Pr \!{\Big (}{\sqrt {n}}\|{\widehat {F}}_{n}-F\|_{\infty }>z{\Big )}\leq 2e^{-2z^{2}}.

Фактически Колмогоров показал, что если кумулятивная функция распределения $F$ непрерывна, то выражение $\scriptstyle {\sqrt {n}}\|{\widehat {F}}_{n}-F\|_{\infty }$ сходится по распределению к $\scriptstyle \|B\|_{\infty }$ , которое имеет распределение Колмогорова , не зависящее от формы $F$ .

Другой результат, следующий из закона повторного логарифма , состоит в том, что ^[6]

\limsup _{n\to \infty }{\frac {{\sqrt {n}}\|{\widehat {F}}_{n}-F\|_{\infty }}{\sqrt {2\ln \ln n}}}\leq {\frac {1}{2}},\quad {\text{a.s.}}

и

\liminf _{n\to \infty }{\sqrt {2n\ln \ln n}}\|{\widehat {F}}_{n}-F\|_{\infty }={\frac {\pi }{2}},\quad {\text{a.s.}}

Доверительные интервалы

Согласно неравенству Дворецкого – Кифера – Вольфовица интервал, содержащий истинную CDF, $F(x)$ , с вероятностью $1-\alpha$ указывается как

F_{n}(x)-\varepsilon \leq F(x)\leq F_{n}(x)+\varepsilon \;{\text{ where }}\varepsilon ={\sqrt {\frac {\ln {\frac {2}{\alpha }}}{2n}}}.

В соответствии с приведенными выше границами мы можем построить эмпирический CDF, CDF и доверительные интервалы для различных распределений, используя любую из статистических реализаций.

Статистическая реализация

Неисчерпывающий список программных реализаций функции эмпирического распределения включает:

В программном обеспечении R мы вычисляем эмпирическую кумулятивную функцию распределения с помощью нескольких методов построения графика, печати и вычислений с использованием такого объекта «ecdf».
В MATLAB мы можем использовать график эмпирической кумулятивной функции распределения (cdf).
jmp из SAS , график CDF создает график эмпирической кумулятивной функции распределения.
Minitab , создайте эмпирический CDF
Mathwave , мы можем подогнать распределение вероятностей к нашим данным
Dataplot , мы можем построить эмпирический график CDF
Scipy , мы можем использовать scipy.stats.ecdf
Statsmodels , мы можем использовать statsmodels.distributions.empirical_distribution.ECDF
Matplotlib с использованием функции matplotlib.pyplot.ecdf (новая версия 3.8.0) ^[7]
Seaborn с использованием функции seaborn.ecdfplot
Plotly с использованием функцииplotly.express.ecdf.
Excel , мы можем построить эмпирический график CDF
ArviZ , используя az.plot_ecdf функцию

См. также

Ссылки

^ Современное введение в вероятность и статистику: понимание почему и как . Мишель Деккинг. Лондон: Спрингер. 2005. с. 219. ИСБН 978-1-85233-896-1 . OCLC 262680588 . {{cite book}}: CS1 maint: другие ( ссылка )
^ Jump up to: ^а ^б ^с ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 265 . ISBN 0-521-78450-6 .
^ Коулз, С. (2001) Введение в статистическое моделирование экстремальных значений . Спрингер, с. 36, Определение 2.4. ISBN 978-1-4471-3675-0 .
^ Мэдсен, Х.О., Кренк, С., Линд, С.С. (2006) Методы структурной безопасности . Дуврские публикации. п. 148-149. ISBN 0486445976
^ Jump up to: ^а ^б ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 266 . ISBN 0-521-78450-6 .
^ Jump up to: ^а ^б ^с ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 268 . ISBN 0-521-78450-6 .
^ «Что нового в Matplotlib 3.8.0 (13 сентября 2023 г.) — документация Matplotlib 3.8.3» .

Дальнейшее чтение

Шорак, Греция ; Веллнер, Дж. А. (1986). Эмпирические процессы с приложениями к статистике . Нью-Йорк: Уайли. ISBN 0-471-86725-Х .

Внешние ссылки

СМИ, связанные с эмпирическими функциями распределения, на Викискладе?

[1] Современное введение в вероятность и статистику: понимание почему и как . Мишель Деккинг. Лондон: Спрингер. 2005. с. 219. ИСБН 978-1-85233-896-1 . OCLC 262680588 . {{cite book}}: CS1 maint: другие ( ссылка )

[vdv265-2] Jump up to: ^а ^б ^с ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 265 . ISBN 0-521-78450-6 .

[3] Коулз, С. (2001) Введение в статистическое моделирование экстремальных значений . Спрингер, с. 36, Определение 2.4. ISBN 978-1-4471-3675-0 .

[4] Мэдсен, Х.О., Кренк, С., Линд, С.С. (2006) Методы структурной безопасности . Дуврские публикации. п. 148-149. ISBN 0486445976

[vdv266-5] Jump up to: ^а ^б ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 266 . ISBN 0-521-78450-6 .

[vdv268-6] Jump up to: ^а ^б ^с ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. п. 268 . ISBN 0-521-78450-6 .

[7] «Что нового в Matplotlib 3.8.0 (13 сентября 2023 г.) — документация Matplotlib 3.8.3» .

[1]

[2]

[3]

[4]

[5]

[6]

[7]