Логарифм вероятности

В теории вероятностей и информатике логарифм вероятности это просто логарифм вероятности — . ^[1] Использование логарифмических вероятностей означает представление вероятностей в логарифмическом масштабе. $(-\inf ,0]$ , вместо стандартного $[0,1]$ единичный интервал .

Поскольку вероятности независимых событий умножаются, а логарифмы преобразуют умножение в сложение, логарифмические вероятности независимых событий складываются. Таким образом, логарифмические вероятности практичны для вычислений и имеют интуитивную интерпретацию с точки зрения теории информации : отрицательное ожидаемое значение логарифмических вероятностей представляет собой информационную энтропию события. Точно так же вероятности часто преобразуются в логарифмическую шкалу, и соответствующую логарифмическую вероятность можно интерпретировать как степень, в которой событие поддерживает статистическую модель . Логарифмическая вероятность широко используется в реализациях вероятностных вычислений и изучается как отдельная концепция в некоторых приложениях теории информации, таких как обработка естественного языка .

Мотивация

Представление вероятностей таким способом имеет несколько практических преимуществ:

Скорость. Поскольку умножение обходится дороже, чем сложение, произведение большого количества вероятностей часто происходит быстрее, если они представлены в логарифмической форме. (Преобразование в форму журнала является дорогостоящим, но производится только один раз.) Умножение возникает в результате расчета вероятности возникновения нескольких независимых событий: вероятность того, что все независимые события, представляющие интерес, произойдут, является произведением вероятностей всех этих событий.
Точность. Использование логарифмических вероятностей повышает числовую стабильность , когда вероятности очень малы, из-за того, как компьютеры аппроксимируют действительные числа . ^[1]
Простота. Многие распределения вероятностей имеют экспоненциальную форму. Логарифм этих распределений исключает экспоненциальную функцию, разворачивая экспоненту. Например, логарифмическая вероятность функции плотности вероятности нормального распределения равна $-((x-m_{x})/\sigma _{m})^{2}+C$ вместо $C_{2}\exp \left(-((x-m_{x})/\sigma _{m})^{2}\right)$ . Логарифмические вероятности облегчают выполнение некоторых математических манипуляций.
Оптимизация. Поскольку наиболее распространенные распределения вероятностей — особенно экспоненциальное семейство — являются только логарифмически вогнутыми , ^[2]^[3] а вогнутость целевой функции играет ключевую роль в максимизации такой функции, как вероятность, оптимизаторы лучше работают с логарифмическими вероятностями.

Проблемы представительства

Функция логарифма не определена для нуля, поэтому логарифмические вероятности могут представлять только ненулевые вероятности. Поскольку логарифм числа в $(0,1)$ интервал отрицательный, часто используются отрицательные логарифмические вероятности. В этом случае логарифмические вероятности в следующих формулах будут инвертированы .

Для логарифма можно выбрать любое основание.

Основные манипуляции

В этом разделе мы будем называть вероятности в логарифмическом пространстве. $x'$ и $y'$ для краткости:

x'=\log(x)\in \mathbb {R}

y'=\log(y)\in \mathbb {R}

Произведение вероятностей $x\cdot y$ соответствует сложению в логарифмическом пространстве.

\log(x\cdot y)=\log(x)+\log(y)=x'+y'.

Сумма вероятностей $x+y$ немного сложнее вычислить в логарифмическом пространстве, требуя вычисления одной экспоненты и одного логарифма.

Однако во многих приложениях умножение вероятностей (дающее вероятность наступления всех независимых событий) используется чаще, чем их сложение (дающее вероятность наступления хотя бы одного из взаимоисключающих событий). Кроме того, в некоторых ситуациях можно избежать затрат на вычисление сложения, просто используя в качестве приближения наибольшую вероятность. Поскольку вероятности неотрицательны, это дает нижнюю оценку. Это приближение используется в обратном порядке, чтобы получить непрерывное приближение функции max .

Дополнение в пространстве журнала

{\begin{aligned}&\log(x+y)\\={}&\log(x+x\cdot y/x)\\={}&\log(x+x\cdot \exp(\log(y/x)))\\={}&\log(x\cdot (1+\exp(\log(y)-\log(x))))\\={}&\log(x)+\log(1+\exp(\log(y)-\log(x)))\\={}&x'+\log \left(1+\exp \left(y'-x'\right)\right)\end{aligned}}

Приведенная выше формула является более точной, чем $\log \left(e^{x'}+e^{y'}\right)$ , если воспользоваться асимметрией формулы сложения. ${x'}$ должен быть большим (наименее отрицательным) из двух операндов. Это также приводит к правильному поведению, если один из операндов имеет значение с плавающей запятой отрицательной бесконечности , что соответствует нулевой вероятности.

-\infty +\log \left(1+\exp \left(y'-(-\infty )\right)\right)=-\infty +\infty

Эта величина неопределенна и в результате будет равна NaN .

x'+\log \left(1+\exp \left(-\infty -x'\right)\right)=x'+0

Это желаемый ответ.

Сама по себе приведенная выше формула неправильно даст неопределенный результат в случае, когда оба аргумента равны. $-\infty$ . Это следует проверить отдельно, чтобы вернуть $-\infty$ .

По численным причинам следует использовать функцию, которая вычисляет $\log(1+x)$ ( log1p ) напрямую.

См. также

Ссылки

^ Jump up to: ^а ^б Пих, Крис. «Вероятность для компьютерщиков — Логарифм вероятностей» . Проверено 20 июля 2023 г.
^ Касс, Роберт Э.; Вос, Пол В. (1997). Геометрические основы асимптотического вывода . Нью-Йорк: Джон Уайли и сыновья. п. 14. ISBN 0-471-82668-5 .
^ Пападопулос, Алекос (25 сентября 2013 г.). «Почему мы всегда помещаем log() перед совместным PDF-файлом, когда используем MLE (оценка максимального правдоподобия)?» . Обмен стеками .

[chrispiech-1] Jump up to: ^а ^б Пих, Крис. «Вероятность для компьютерщиков — Логарифм вероятностей» . Проверено 20 июля 2023 г.

[2] Касс, Роберт Э.; Вос, Пол В. (1997). Геометрические основы асимптотического вывода . Нью-Йорк: Джон Уайли и сыновья. п. 14. ISBN 0-471-82668-5 .

[3] Пападопулос, Алекос (25 сентября 2013 г.). «Почему мы всегда помещаем log() перед совместным PDF-файлом, когда используем MLE (оценка максимального правдоподобия)?» . Обмен стеками .

[1]

[2]

[3]