Нормализующая константа

В теории вероятностей или нормализующая константа нормирующий коэффициент используется для сведения любой функции вероятности к функции плотности вероятности с общей вероятностью, равной единице.

Например, функцию Гаусса можно нормализовать в функцию плотности вероятности, которая дает стандартное нормальное распределение. В теореме Байеса нормализующая константа используется для того, чтобы гарантировать, что сумма всех возможных гипотез равна 1. Другие варианты использования нормализующих констант включают приведение значения полинома Лежандра к 1 и ортогональности ортонормированных функций.

Похожая концепция использовалась в других областях, помимо вероятности, например, для полиномов.

Определение

В теории вероятностей нормализующая константа — это константа, на которую всюду неотрицательную функцию необходимо умножить так, чтобы площадь под ее графиком была равна 1, например, чтобы сделать ее функцией плотности вероятности или функцией массы вероятности . ^[1]^[2]

Примеры

Если мы начнем с простой функции Гаусса $p(x)=e^{-x^{2}/2},\quad x\in (-\infty ,\infty )$ мы имеем соответствующий интеграл Гаусса $\int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},$

последнего Теперь, если мы используем обратное значение в качестве нормализующей константы для первого, определяя функцию $\varphi (x)$ как $\varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}$ так что его интеграл равен единице $\int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1$ тогда функция $\varphi (x)$ представляет собой функцию плотности вероятности. ^[3] Это плотность стандартного нормального распределения . ( В данном случае Standard означает, что ожидаемое значение равно 0, а дисперсия равна 1.)

И постоянный ${\textstyle {\frac {1}{\sqrt {2\pi }}}}$ - нормализующая константа функции $p(x)$ .

Сходным образом, $\sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },$ и, следовательно, $f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}$ — функция массы вероятности на множестве всех неотрицательных целых чисел. ^[4] Это функция массы вероятности распределения Пуассона с ожидаемым значением λ.

Обратите внимание: если функция плотности вероятности является функцией различных параметров, то такой же будет и ее нормировочная константа. Параметризованная нормировочная константа распределения Больцмана играет центральную роль в статистической механике . В этом контексте нормализующая константа называется статистической суммой .

Теорема Байеса

Теорема Байеса гласит, что апостериорная мера вероятности пропорциональна произведению априорной меры вероятности и функции правдоподобия . Пропорционально означает, что нужно умножить или разделить на нормирующую константу, чтобы присвоить меру 1 всему пространству, т. е. получить вероятностную меру. В простом дискретном случае имеем $P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}$ где P(H ₀ ) — априорная вероятность того, что гипотеза верна; P(D|H ₀ ) — это условная вероятность данных при условии, что гипотеза верна, но при условии, что данные известны, это вероятность гипотезы (или ее параметров) с учетом данных; P(H ₀ |D) — апостериорная вероятность того, что гипотеза верна с учетом данных. P(D) должна быть вероятностью получения данных, но сама по себе ее трудно вычислить, поэтому альтернативным способом описания этой зависимости является пропорциональность: $P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).$ Поскольку P(H|D) — это вероятность, сумма по всем возможным (взаимоисключающим) гипотезам должна быть равна 1, что приводит к выводу, что $P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.$ В этом случае обратное значение $P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;$ – нормировочная константа . ^[5] Его можно расширить от счетного числа гипотез до несчетного числа, заменив сумму интегралом.

Для конкретности существует множество методов оценки нормировочной константы для практических целей. Методы включают метод мостовой выборки, наивную оценку Монте-Карло, обобщенную гармоническую среднюю оценку и выборку важности. ^[6]

Невероятностное использование

Полиномы Лежандра характеризуются ортогональностью относительно равномерной меры на интервале [−1, 1] и тем фактом, что они нормализованы так, что их значение в точке 1 равно 1. Константа, на которую умножается многочлен, чтобы его значение в точке 1 – нормировочная константа.

Ортонормированные функции нормируются так, что $\langle f_{i},\,f_{j}\rangle =\,\delta _{i,j}$ относительно некоторого скалярного произведения $⟨ f, g ⟩$ .

Константа $1/ \sqrt 2$ используется для определения гиперболических функций cosh и sinh по длинам смежных и противоположных сторон гиперболического треугольника .

См. также

Нормализация (статистика)

Ссылки

^ Непрерывные распределения на факультете математических наук: Университет Алабамы в Хантсвилле
^ Феллер 1968 , с. 22
^ Феллер 1968 , с. 174
^ Феллер 1968 , с. 156
^ Феллер 1968 , с. 124
^ Гронау, Квентин (2020). «bridgesampling: пакет R для оценки нормализующих констант» (PDF) . Комплексная сеть архивов R. Проверено 11 сентября 2021 г.

Феллер, Уильям (1968). Введение в теорию вероятностей и ее приложения (том I) . Джон Уайли и сыновья. ISBN 0-471-25708-7 .

[1] Непрерывные распределения на факультете математических наук: Университет Алабамы в Хантсвилле

[2] Феллер 1968 , с. 22

[3] Феллер 1968 , с. 174

[4] Феллер 1968 , с. 156

[5] Феллер 1968 , с. 124

[6] Гронау, Квентин (2020). «bridgesampling: пакет R для оценки нормализующих констант» (PDF) . Комплексная сеть архивов R. Проверено 11 сентября 2021 г.

[1]

[2]

[3]

[4]

[5]

[6]