Теория вероятностей

Теория вероятностей или исчисление вероятностей — это раздел математики, изучающий вероятность . Хотя существует несколько различных интерпретаций вероятности , теория вероятностей рассматривает это понятие строгим математическим способом, выражая его через набор аксиом . Обычно эти аксиомы формализуют вероятность в терминах вероятностного пространства , которое присваивает меру, принимающую значения от 0 до 1, называемую вероятностной мерой , набору результатов, называемому выборочным пространством . Любое указанное подмножество выборочного пространства называется событием .

Центральные предметы теории вероятностей включают дискретные и непрерывные случайные величины , распределения вероятностей и случайные процессы (которые обеспечивают математические абстракции недетерминированных или неопределенных процессов или измеряемых величин , которые могут либо возникать единично, либо развиваться с течением времени случайным образом).Хотя невозможно точно предсказать случайные события, можно многое сказать об их поведении. Двумя основными результатами теории вероятностей, описывающими такое поведение, являются закон больших чисел и центральная предельная теорема .

В качестве математической основы статистики теория вероятностей важна для многих видов человеческой деятельности, связанных с количественным анализом данных. Методы теории вероятностей также применимы к описанию сложных систем при условии лишь частичного знания их состояния, как в статистической механике или последовательной оценке . Великим открытием физики двадцатого века стала вероятностная природа физических явлений на атомных масштабах, описанная в квантовой механике .

История вероятности

Основная статья: История вероятности

Современная математическая теория вероятностей уходит своими корнями в попытки проанализировать азартные игры Джероламо Кардано в шестнадцатом веке, а также Пьера Ферма и Блеза Паскаля в семнадцатом веке (например, « проблема очков »). Христиан Гюйгенс опубликовал книгу на эту тему в 1657 году. В 19 веке то, что считается классическим определением вероятности, было завершено Пьером Лапласом .

Первоначально теория вероятностей рассматривала в основном дискретные события, а ее методы были преимущественно комбинаторными . В конце концов, аналитические соображения вынудили включить непрерывные в теорию переменные.

Кульминацией этого стала современная теория вероятностей, основанная на основах, заложенных Андреем Николаевичем Колмогоровым . Колмогоров объединил понятие выборочного пространства , введенное Рихардом фон Мизесом , и теорию меры и представил свою систему аксиом теории вероятностей в 1933 году. Это стало в основном бесспорной аксиоматической основой современной теории вероятностей; но существуют альтернативы, такие как принятие Бруно де Финетти конечной, а не счетной аддитивности .

Уход

В большинстве введений в теорию вероятностей дискретные и непрерывные распределения вероятностей рассматриваются отдельно. Рассмотрение вероятности, основанное на теории меры, охватывает дискретное, непрерывное, сочетание этих двух и многое другое.

Мотивация

Рассмотрим эксперимент , который может привести к ряду результатов. Набор всех результатов называется выборочным пространством эксперимента. Набор мощности выборочного пространства (или, что то же самое, пространства событий) формируется путем рассмотрения всех различных наборов возможных результатов. Например, бросок честной кости дает один из шести возможных результатов. Одна совокупность возможных результатов соответствует получению нечетного числа. Таким образом, подмножество {1,3,5} является элементом набора мощности выборочного пространства бросков игральных костей. Эти коллекции называются событиями . В данном случае {1,3,5} — это событие, когда на игральной кости выпало нечетное число. Если результаты, которые действительно происходят, попадают в данное событие, говорят, что это событие произошло.

Вероятность — это способ присвоения каждому «событию» значения от нуля до единицы с требованием, чтобы событие состояло из всех возможных результатов (в нашем примере событие {1,2,3,4,5,6}). присвоить значение, равное единице. Чтобы квалифицироваться как распределение вероятностей , присвоение значений должно удовлетворять требованию, что если вы посмотрите на набор взаимоисключающих событий (событий, которые не содержат общих результатов, например, события {1,6}, {3} и { 2,4} являются взаимоисключающими), вероятность того, что любое из этих событий произойдет, определяется суммой вероятностей событий.

Вероятность того, что произойдет любое из событий {1,6}, {3} или {2,4}, равна 5/6. Это то же самое, что сказать, что вероятность события {1,2,3,4,6} равна 5/6. Это событие предполагает возможность выпадения любого числа, кроме пяти. Взаимно исключающее событие {5} имеет вероятность 1/6, а событие {1,2,3,4,5,6} имеет вероятность 1, то есть абсолютную достоверность.

При расчетах по результатам эксперимента необходимо, чтобы всем этим элементарным событиям был присвоен номер. Это делается с помощью случайной величины . Случайная величина — это функция, которая присваивает каждому элементарному событию в выборочном пространстве действительное число . Эту функцию обычно обозначают заглавной буквой. В случае с игральными костями присвоение числа определенным элементарным событиям можно выполнить с помощью функции идентичности . Это не всегда работает. Например, при подбрасывании монеты возможны два результата: «орёл» и «решка». В этом примере случайная величина X может присвоить результату «орёл» число «0» ( ${\textstyle X({\text{heads}})=0}$) и к исходу «решка» выпадет цифра «1» ( $X({\text{tails}})=1$).

Дискретные распределения вероятностей

Основная статья: Дискретное распределение вероятностей

Распределение Пуассона — дискретное распределение вероятностей.

Дискретная теория вероятностей имеет дело с событиями, которые происходят в счетных выборочных пространствах.

Примеры: бросание игральных костей , эксперименты с колодами карт , случайное блуждание и подбрасывание монет .

Классическое определение :Первоначально вероятность того, что событие произойдет, определялась как количество случаев, благоприятных для события, по отношению к общему числу возможных исходов в равновероятном пространстве выборки: см. Классическое определение вероятности .

Например, если событием является «появление четного числа при броске игральной кости», вероятность определяется выражением ${\tfrac {3}{6}}={\tfrac {1}{2}}$, поскольку 3 лица из 6 имеют четные номера и каждое лицо имеет одинаковую вероятность появления.

Современное определение :Современное определение начинается с конечного или счетного набора , называемого выборочным пространством , которое относится к множеству всех возможных результатов в классическом смысле, обозначаемому $\Omega$. При этом предполагается, что для каждого элемента $x\in \Omega \,$, внутреннее значение «вероятности» $f(x)\,$ прилагается, который удовлетворяет следующим свойствам:

1. $f(x)\in [0,1]{\mbox{ for all }}x\in \Omega \,;$
2. $\sum _{x\in \Omega }f(x)=1\,.$

То есть функция вероятности f ( x ) находится между нулем и единицей для каждого значения x в выборочном пространстве Ω , а сумма f ( x ) по всем значениям x в выборочном пространстве Ω равна 1. Событие определяется как любое подмножество $E\,$ пространства выборки $\Omega \,$. Вероятность ​ события $E\,$ определяется как

$P(E)=\sum _{x\in E}f(x)\,.$

Таким образом, вероятность всего выборочного пространства равна 1, а вероятность нулевого события равна 0.

Функция $f(x)\,$ Сопоставление точки выборочного пространства со значением «вероятности» называется функцией массы вероятности, сокращенно pmf .

Непрерывные распределения вероятностей

Основная статья: Непрерывное распределение вероятностей

Нормальное распределение , непрерывное распределение вероятностей

Теория непрерывной вероятности имеет дело с событиями, которые происходят в непрерывном выборочном пространстве.

Классическое определение :Классическое определение терпит неудачу при столкновении с непрерывным случаем. См. парадокс Бертрана .

Современное определение :Если выборочное пространство случайной величины X представляет собой набор действительных чисел ( $\mathbb {R}$) или его подмножество, тогда функция, называемая кумулятивной функцией распределения ( CDF ) $F\,$ существует, определяется $F(x)=P(X\leq x)\,$. То есть F ( x ) возвращает вероятность того, что X будет меньше или равно x .

CDF обязательно удовлетворяет следующим свойствам.

1. $F\,$ — монотонно неубывающая , непрерывная справа функция;
2. $\lim _{x\rightarrow -\infty }F(x)=0\,;$
3. $\lim _{x\rightarrow \infty }F(x)=1\,.$

Случайная величина $X$ Говорят, что распределение вероятностей непрерывно, если соответствующая CDF $F$ является непрерывным. Если $F\,$ абсолютно непрерывна , т. е. ее производная существует, и интегрирование производной снова дает нам CDF, тогда случайная величина X говорят, что имеет функцию плотности вероятности ( PDF ) или просто плотность $f(x)={\frac {dF(x)}{dx}}\,.$

Для набора $E\subseteq \mathbb {R}$, вероятность того, что случайная величина X находится в $E\,$ является

$P(X\in E)=\int _{x\in E}dF(x)\,.$

Если PDF-файл существует, это можно записать как

$P(X\in E)=\int _{x\in E}f(x)\,dx\,.$

В то время как PDF существует только для непрерывных случайных величин, CDF существует для всех случайных величин (включая дискретные случайные величины), которые принимают значения в $\mathbb {R} \,.$

Эти концепции можно обобщить для многомерных случаев на $\mathbb {R} ^{n}$ и другие непрерывные пространства выборки.

Теоретико-мерная теория вероятностей

Полезность теоретико-мерной трактовки вероятности состоит в том, что она объединяет дискретный и непрерывный случаи и делает различие вопросом о том, какая мера используется. Более того, он охватывает распределения, которые не являются ни дискретными, ни непрерывными, ни смесью того и другого.

Примером таких распределений может быть сочетание дискретного и непрерывного распределений — например, случайная величина, равная 0 с вероятностью 1/2 и принимающая случайное значение из нормального распределения с вероятностью 1/2. Его все еще можно изучить в некоторой степени, считая, что у него есть PDF-файл $(\delta [x]+\varphi (x))/2$, где $\delta [x]$ – дельта-функция Дирака .

Другие распределения могут даже не быть смешанными, например, распределение Кантора не имеет положительной вероятности для какой-либо отдельной точки и не имеет плотности. Современный подход к теории вероятностей решает эти проблемы, используя теорию меры для определения вероятностного пространства :

Учитывая любой набор $\Omega \,$ (также называемое выборочным пространством ) и σ-алгебра ${\mathcal {F}}\,$ на этом мера $P\,$ определено на ${\mathcal {F}}\,$ называется вероятностной мерой, если $P(\Omega )=1.\,$

Если ${\mathcal {F}}\,$ является борелевской σ-алгеброй на множестве действительных чисел, то существует единственная вероятностная мера на ${\mathcal {F}}\,$ для любого CDF, и наоборот. Говорят, что мера, соответствующая CDF, индуцирована CDF. Эта мера совпадает с pmf для дискретных переменных и PDF для непрерывных переменных, что делает теоретико-мерный подход свободным от ошибок.

Вероятность ​ набора $E\,$ в σ-алгебре ${\mathcal {F}}\,$ определяется как

$P(E)=\int _{\omega \in E}\mu _{F}(d\omega )\,$

где интегрирование ведется по мере $\mu _{F}\,$ вызванный $F\,.$

Наряду с обеспечением лучшего понимания и унификации дискретных и непрерывных вероятностей, теоретико-мерный подход также позволяет нам работать с вероятностями вне $\mathbb {R} ^{n}$, как в теории случайных процессов . Например, для изучения броуновского движения вероятность определяется в пространстве функций.

Когда удобно работать с доминирующей мерой, теорема Радона-Никодима используется для определения плотности как производной Радона-Никодима интересующего распределения вероятностей относительно этой доминирующей меры. Дискретные плотности обычно определяются как производная по счетной мере по множеству всех возможных результатов. Плотности для абсолютно непрерывных распределений обычно определяются как эта производная по мере Лебега . Если теорему можно доказать в этой общей ситуации, она справедлива как для дискретных, так и для непрерывных распределений, а также для других; для дискретных и непрерывных распределений отдельные доказательства не требуются.

Классические распределения вероятностей

Основная статья: Распределения вероятностей

Определенные случайные величины очень часто встречаются в теории вероятностей, поскольку они хорошо описывают многие естественные или физические процессы. Поэтому их распределения приобрели особое значение в теории вероятностей. Некоторыми фундаментальными дискретными распределениями являются дискретное равномерное распределение , распределение Бернулли , биномиальное , отрицательное биномиальное , распределение Пуассона и геометрическое распределение . Важные непрерывные распределения включают непрерывное равномерное , нормальное , экспоненциальное , гамма- и бета-распределения .

Сходимость случайных величин

Основная статья: Сходимость случайных величин

В теории вероятностей существует несколько понятий сходимости случайных величин . Они перечислены ниже в порядке силы, т. е. любое последующее понятие сходимости в списке подразумевает сходимость по всем предыдущим понятиям.

Слабая сходимость

Последовательность случайных величин $X_{1},X_{2},\dots ,\,$ сходится слабо к случайной величине $X\,$ если их соответствующие CDF сходятся $F_{1},F_{2},\dots \,$ сходится к CDF $F\,$ из $X\,$, где бы то ни было $F\,$ является непрерывным . Слабую сходимость также называют сходимостью по распределению .

Наиболее распространенные сокращенные обозначения: $\displaystyle X_{n}\,{\xrightarrow {\mathcal {D}}}\,X$

Сходимость по вероятности

Последовательность случайных величин $X_{1},X_{2},\dots \,$ говорят, что он сходится к случайной величине $X\,$ по вероятности, если $\lim _{n\rightarrow \infty }P\left(\left|X_{n}-X\right|\geq \varepsilon \right)=0$ для любого ε > 0.

Наиболее распространенные сокращенные обозначения: $\displaystyle X_{n}\,{\xrightarrow {P}}\,X$

Сильная конвергенция

Последовательность случайных величин $X_{1},X_{2},\dots \,$ говорят, что он сходится к случайной величине $X\,$ сильно, если $P(\lim _{n\rightarrow \infty }X_{n}=X)=1$. Сильная конвергенция также известна как почти уверенная конвергенция .

Наиболее распространенные сокращенные обозначения: $\displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X$

Как видно из названий, слабая сходимость слабее сильной. Фактически, сильная сходимость подразумевает сходимость по вероятности, а сходимость по вероятности предполагает слабую сходимость. Обратные утверждения не всегда верны.

Закон больших чисел

Основная статья: Закон больших чисел

Общая интуиция подсказывает, что если честную монету подбросить много раз, то примерно в половине случаев она выпадет орлом , а в другой половине — решкой . Кроме того, чем чаще подбрасывается монета, тем больше вероятность того, что отношение количества орлов к числу решок приблизится к единице. Современная теория вероятностей предлагает формальную версию этой интуитивной идеи, известной как закон больших чисел . Этот закон примечателен тем, что он не предполагается в основах теории вероятностей, а вытекает из этих основ в виде теоремы. Поскольку он связывает теоретически полученные вероятности с их фактической частотой возникновения в реальном мире, закон больших чисел считается краеугольным камнем в истории статистической теории и имеет широкое влияние.

Закон больших чисел (LLN) гласит, что выборочное среднее

${\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}$

последовательности и одинаково распределенных независимых случайных величин $X_{k}$ сходится к их общему ожиданию (ожидаемому значению) $\mu$, при условии, что ожидание $|X_{k}|$ конечно.

Именно разные формы сходимости случайных величин разделяют слабый и сильный закон больших чисел.

Слабый закон: $\displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu$ для $n\to \infty$

Сильный закон: $\displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu$ для $n\to \infty .$

Из LLN следует, что если событие вероятности p наблюдается неоднократно в ходе независимых экспериментов, отношение наблюдаемой частоты этого события к общему числу повторений сходится к p .

Например, если $Y_{1},Y_{2},...\,$ являются независимыми случайными величинами Бернулли, принимающими значения 1 с вероятностью p и 0 с вероятностью 1- p , тогда ${\textrm {E}}(Y_{i})=p$ для всех я , чтобы ${\bar {Y}}_{n}$ сходится к p почти наверняка .

Центральная предельная теорема

Основная статья: Центральная предельная теорема

Центральная предельная теорема (ЦПТ) объясняет повсеместное появление нормального распределения в природе, и эта теорема, по словам Дэвида Уильямса, «является одним из величайших результатов математики».

Теорема утверждает, что среднее значение многих независимых и одинаково распределенных случайных величин с конечной дисперсией стремится к нормальному распределению независимо от распределения, за которым следуют исходные случайные величины. Формально пусть $X_{1},X_{2},\dots \,$ быть независимыми случайными величинами со средним значением $\mu$ и дисперсия $\sigma ^{2}>0.\,$ Тогда последовательность случайных величин

$Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,$

сходится по распределению к стандартной нормальной случайной величине.

Для некоторых классов случайных величин классическая центральная предельная теорема работает довольно быстро, как показано в теореме Берри–Эссеена . Например, распределения с конечными первым, вторым и третьим моментами из экспоненциального семейства ; с другой стороны, для некоторых случайных величин типа « тяжелый хвост» и «толстый хвост» он работает очень медленно или может не работать вообще: в таких случаях можно использовать Обобщенную центральную предельную теорему (GCLT).

См. также

• Математическая статистика — раздел статистики. Страницы с краткими описаниями целей перенаправления.
• Ожидаемое значение – среднее значение случайной величины.
• Дисперсия – статистическая мера того, насколько далеко значения отклоняются от своего среднего значения.
• Нечеткая логика - система рассуждений о неопределенности.
• Теория нечеткой меры - теория обобщенных мер, в которой аддитивное свойство заменяется более слабым свойством монотонности. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Глоссарий вероятности и статистики - Список определений терминов и понятий статистики и вероятности.
• Функция правдоподобия - функция, связанная со статистикой и теорией вероятностей.
• Обозначение вероятности
• Прогнозное моделирование - форма моделирования, которая использует статистику для прогнозирования результатов.
• Вероятностная логика – использование вероятности и логики для решения неопределенных ситуаций. Страницы, отображающие описания викиданных в качестве запасного варианта.
• Вероятностные доказательства невероятностных теорем
• Распределение вероятностей - математическая функция вероятности возникновения данного результата в эксперименте.
• Аксиомы вероятности - Основы теории вероятностей
• Интерпретации вероятности - Философская интерпретация аксиом вероятности.
• Вероятностное пространство - математическая концепция
• Статистическая независимость — когда возникновение одного события не влияет на вероятность отображения на других страницах кратких описаний целей перенаправления.
• Статистическая физика – физика многих взаимодействующих частиц. Страницы с краткими описаниями целей перенаправления.
• Субъективная логика
• Парная независимость § Вероятность объединения попарно независимых событий - Набор случайных величин, из которых любые две независимы.

Списки

• Каталог статей по теории вероятностей
• Список вероятностных тем
• Список публикаций по статистике
• Список статистических тем . Вот список статей, подпадающих под категорию: Страницы статистики, отображающие краткие описания целей перенаправления.

Ссылки

Источники

• Пьер Симон де Лаплас (1812 г.). Аналитическая теория вероятностей .

Первый крупный трактат, сочетающий исчисление с теорией вероятностей, первоначально на французском языке: Théorie Analytique des Probabilités .

• А. Колмогоров (1933). Основные понятия расчета вероятностей . дои : 10.1007/978-3-642-49888-6 . ISBN  978-3-642-49888-6 .

Английский перевод Натана Моррисона появился под названием « Основы теории вероятностей» (Челси, Нью-Йорк) в 1950 году, а второе издание - в 1956 году.

• Патрик Биллингсли (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: Джон Уайли и сыновья.
• Олав Калленберг ; Основы современной вероятности, 2-е изд. Серия Спрингера по статистике. (2002). 650 стр. ISBN   0-387-95313-2
• Хенк Таймс (2004). Понимание вероятности . Кембриджский университет. Нажимать.

Живое введение в теорию вероятностей для начинающих.

• Олав Калленберг; Вероятностные симметрии и принципы инвариантности . Спрингер-Верлаг, Нью-Йорк (2005). 510 стр. ISBN   0-387-25115-4
• Дарретт, Рик (2019). Вероятность: теория и примеры, 5-е издание . Великобритания : Издательство Кембриджского университета . ISBN  9781108473682 .
• Гут, Аллан (2005). Вероятность: аспирантура . Спрингер-Верлаг. ISBN  0-387-22833-0 .