Теория больших отклонений

В теории вероятностей теория больших уклонений касается асимптотического поведения удаленных хвостов последовательностей вероятностных распределений. Хотя некоторые основные идеи теории можно отнести к Лапласу , формализация началась со страховой математики, а именно теории разорения с Крамера и Лундберга . Единая формализация теории больших отклонений была разработана в 1966 году в статье Варадхана . Теория больших уклонений формализует эвристические идеи концентрации мер и широко обобщает понятие сходимости вероятностных мер .

Грубо говоря, теория больших отклонений занимается экспоненциальным снижением показателей вероятности определенных видов экстремальных или хвостовых событий.

Вводные примеры

Любое большое отклонение совершается наименее вероятным из всех маловероятных способов!

- Франк ден Холландер, Большие отклонения, с. 10

Элементарный пример

Рассмотрим последовательность независимых подбрасываний честной монеты. Возможные исходы могут быть орел или решка. Обозначим возможный исход i-го процесса через $X_{i}$, где мы кодируем head как 1, а Tail как 0. Теперь позвольте $M_{N}$ обозначаем среднее значение после $N$ испытания, а именно

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$.

Затем $M_{N}$ лежит между 0 и 1. Из закона больших чисел следует, что с ростом N распределение $M_{N}$ сходится к $0.5=\operatorname {E} [X]$ (ожидаемая ценность одного броска монеты).

Более того, по центральной предельной теореме следует, что $M_{N}$ примерно нормально распределяется для больших $N$. Центральная предельная теорема может дать более подробную информацию о поведении $M_{N}$ чем закон больших чисел. Например, мы можем приблизительно найти хвостовую вероятность $M_{N}$ – вероятность того, что $M_{N}$ больше некоторого значения $x$ – за фиксированную стоимость $N$. Однако аппроксимация центральной предельной теоремой может быть неточной, если $x$ далеко от $\operatorname {E} [X_{i}]$ и $N$ недостаточно велик. Кроме того, он не дает информации о сходимости хвостовых вероятностей, поскольку $N\to \infty$. Однако теория больших отклонений может дать ответы на такие проблемы.

Давайте уточним это утверждение. За заданное значение $0.5<x<1$, вычислим вероятность хвоста $P(M_{N}>x)$. Определять

$I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}$.

Обратите внимание, что функция $I(x)$ — выпуклая неотрицательная функция, равная нулю в точке $x={\tfrac {1}{2}}$ и увеличивается по мере $x$ подходы $1$. Это отрицательная энтропия Бернулли с $p={\tfrac {1}{2}}$; То, что оно подходит для подбрасывания монеты, следует из свойства асимптотического равнораспределения, примененного к испытанию Бернулли . Тогда с помощью неравенства Чернова можно показать, что $P(M_{N}>x)<\exp(-NI(x))$. Эта граница довольно точна в том смысле, что $I(x)$ нельзя заменить большим числом, которое привело бы к строгому неравенству для всех положительных $N$. (Однако экспоненциальную границу все же можно уменьшить с помощью субэкспоненциального множителя порядка $1/{\sqrt {N}}$; это следует из приближения Стирлинга, примененного к биномиальному коэффициенту, входящему в распределение Бернулли .) Отсюда получаем следующий результат:

$P(M_{N}>x)\approx \exp(-NI(x))$.

Вероятность $P(M_{N}>x)$ экспоненциально затухает, так как $N\to \infty$ со скоростью, зависящей от x . Эта формула аппроксимирует любую хвостовую вероятность выборочного среднего переменных iid и дает ее сходимость по мере увеличения количества выборок.

Большие отклонения сумм

Основная статья: Теорема Крамера (большие уклонения)

В приведенном выше примере подбрасывания монеты мы явно предположили, что каждый подбрасывание являетсянезависимое разбирательство, и вероятность выпадения орла или решки всегда одинакова.

Позволять $X,X_{1},X_{2},\ldots$ быть независимыми и одинаково распределенными (iid) случайными величинами, общее распределение которых удовлетворяет определенному условию роста. Тогда существует следующий предел:

$\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)$.

Здесь

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$,

как раньше.

Функция $I(\cdot )$ называется « функцией скорости » или «функцией Крамера», а иногда и «функцией энтропии».

Вышеупомянутый предел означает, что для больших $N$,

$P(M_{N}>x)\approx \exp[-NI(x)]$,

что является основным результатом теории больших уклонений.

Если мы знаем распределение вероятностей $X$ . можно получить явное выражение для функции скорости Это дается преобразованием Лежандра – Фенхеля :

$I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]$,

где

$\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]$

называется кумулянтной производящей функцией (CGF) и $\operatorname {E}$ обозначает математическое ожидание .

Если $X$ следует нормальному распределению , функция скорости становится параболой с вершиной в среднем нормальном распределении.

Если $\{X_{i}\}$ является неприводимой и апериодической цепью Маркова , может иметь место изложенный выше вариант основного результата о больших уклонениях.

отклонения сумм независимых

Предыдущий пример контролировал вероятность события. $[M_{N}>x]$, то есть концентрация закона $M_{N}$ на компактном наборе $[-x,x]$. Также можно контролировать вероятность события. $[M_{N}>xa_{N}]$ для некоторой последовательности $a_{N}\to 0$. Ниже приводится пример принципа умеренных отклонений :

Теорема — Пусть $X_{1},X_{2},\dots$ быть последовательностью центрированных переменных iid с конечной дисперсией $\sigma ^{2}$ такой, что $\forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty$. Определять $M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}$. Тогда для любой последовательности $1\ll a_{N}\ll {\sqrt {N}}$:

$\lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}$

В частности, предельный случай $a_{N}={\sqrt {N}}$ является центральной предельной теоремой .

Формальное определение

Учитывая польское пространство ${\mathcal {X}}$ позволять $\{\mathbb {P} _{N}\}$ — последовательность борелевских вероятностных мер на ${\mathcal {X}}$, позволять $\{a_{N}\}$ — последовательность положительных действительных чисел такая, что $\lim _{N}a_{N}=\infty$, и, наконец, позвольте $I:{\mathcal {X}}\to [0,\infty ]$ — полунепрерывный снизу функционал на ${\mathcal {X}}.$ Последовательность $\{\mathbb {P} _{N}\}$ говорят, что он удовлетворяет принципу больших отклонений со скоростью $\{a_{n}\}$ и оцените $I$ тогда и только тогда, когда для каждого измеримого по Борелю множества $E\subset {\mathcal {X}}$,

$-\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)$,

где ${\overline {E}}$ и $E^{\circ }$ соответственно замыкание и внутренность обозначают $E$.

Краткая история

Первые строгие результаты, касающиеся больших отклонений, принадлежат шведскому математику Харальду Крамеру , который применил их для моделирования страхового бизнеса. С точки зренияС точки зрения страховой компании, заработок имеет постоянную ставку в месяц (ежемесячная премия), но претензии поступают случайным образом. Чтобы компания была успешной в течение определенного периода времени (желательно многих месяцев), общий доход должен превышать общую сумму претензий. Таким образом, чтобы оценить премию, необходимо задать следующий вопрос: «Что нам выбрать в качестве премии?» $q$ такой, что более $N$ месяцев общая сумма претензии $C=\Sigma X_{i}$ должно быть меньше, чем $Nq$Это явно тот же вопрос, который задает теория больших уклонений. Крамер дал решение этого вопроса для iid случайных величин , где функция скорости выражается в виде степенного ряда .

Очень неполный список математиков, добившихся важных успехов, включает Петрова , Санов , С.Р.С. Варадхан (лауреат Абелевской премии за вклад в теорию), Д. Рюэль , О. Э. Ланфорд , Амир Дембо и Офер Зейтуни .

Приложения

Принципы больших отклонений могут эффективно применяться для сбора информации из вероятностной модели. Таким образом, теория больших отклонений находит свое применение в теории информации и управлении рисками . В физике наиболее известные приложения теории больших уклонений возникают в термодинамике и статистической механике (в связи с связью энтропии с функцией скорости).

и

Основная статья: свойство асимптотического равнораспределения

Функция скорости связана с энтропией в статистической механике. Эвристически это можно увидеть следующим образом. В статистической механике энтропия конкретного макросостояния связана с числом микросостояний, соответствующих этому макросостоянию. В нашем примере с подбрасыванием монеты среднее значение $M_{N}$ может обозначать определенное макросостояние. И особая последовательность орлов и решек, которая порождает особую ценность $M_{N}$ представляет собой особое микрогосударство. Грубо говоря, макросостояние, имеющее большее количество порождающих его микросостояний, имеет более высокую энтропию. А состояние с более высокой энтропией имеет больше шансов реализоваться в реальных экспериментах. Макросостояние со средним значением 1/2 (столько же орлов, сколько решок) имеет наибольшее количество микросостояний, порождающих его, и это действительно состояние с самой высокой энтропией. И в большинстве практических ситуаций мы действительно получим это макросостояние при большом количестве испытаний. С другой стороны, «функция скорости» измеряет вероятность появления определенного макросостояния. Чем меньше функция скорости, тем выше вероятность появления макросостояния. В нашем подбрасывании монеты значение «функции скорости» для среднего значения, равного 1/2, равно нулю. Таким образом, можно рассматривать «функцию скорости» как отрицательную величину «энтропии».

существует связь Между «функцией скорости» в теории больших уклонений и расходимостью Кульбака–Лейблера , связь устанавливается теоремой Санова (см. Санова и Новак, гл. 14.5).

В частном случае большие отклонения тесно связаны с понятием пределов Громова – Хаусдорфа .

См. также

• Принцип большого отклонения
• Теорема Крамера о больших уклонениях
• Неравенство Чернова
• Теорема Санова
• Принцип сокращения (теория больших отклонений) , результат того, как принципы больших отклонений « продвигаются вперед ».
• Теорема Фрейдлина–Вентцелля , принцип больших уклонений для диффузии Ито.
• Преобразование Лежандра , на этом преобразовании основана ансамблевая эквивалентность.
• Принцип Лапласа , принцип больших уклонений в R ^д
• метод Лапласа
• Теорема Шильдера , принцип больших уклонений для броуновского движения.
• Лемма Варадхана
• Теория экстремальных ценностей
• Большие уклонения гауссовских случайных функций

Библиография

• Специальный приглашенный доклад: Большие отклонения , автор SRS Варадхан. Анналы вероятностей, 2008 г., Том. 36, № 2, 397–419. дои : 10.1214/07-AOP348
• Основное введение в большие отклонения: теория, приложения, моделирование , Хьюго Тушетт, arXiv:1106.4146.
• Энтропия, большие отклонения и статистическая механика, Р. С. Эллис, Springer Publication. ISBN   3-540-29059-1
• «Большие отклонения для анализа производительности», Алан Вайс и Адам Шварц. Чепмен и Холл ISBN   0-412-06311-5
• Методы и приложения больших отклонений Амира Дембо и Офера Зейтуни. Спрингер ISBN   0-387-98406-2
• Курс Фираса Рассула-Аги и Тимо Сеппяляйнена о больших отклонениях с введением в меры Гиббса. Град. Стад. Математика, 162. Американское математическое общество. ISBN   978-0-8218-7578-0
• Случайные возмущения динамических систем М.И. Фрейдлина и А.Д. Вентцеля. Спрингер ISBN   0-387-98362-7
• «Большие отклонения для двумерного уравнения Навье-Стокса с мультипликативным шумом», С. С. Сритаран и П. Сундар, «Стохастические процессы и их приложения», Vol. 116 (2006) 1636–1659. [2]
• «Большие отклонения для стохастической оболочечной модели турбулентности», У. Манна, С.С. Сритаран и П. Сундар, Приложение NoDEA для нелинейных дифференциальных уравнений. 16 (2009), вып. 4, 493–521. [3]