Процесс Бернулли

В теории вероятности и статистике процесс Бернулли (названный в честь Якоба Бернулли ) представляет собой конечную или бесконечную последовательность двоичных случайных величин , поэтому это случайный процесс с дискретным временем , который принимает только два значения, канонически 0 и 1. Компонентные переменные Бернулли X _Я одинаково распределен и независим . Прозаично, процесс Бернулли — это многократное подбрасывание монеты , возможно, с нечестной монетой (но с постоянной несправедливостью). Каждая переменная X _i в последовательности связана с испытанием или экспериментом Бернулли . Все они имеют одинаковое распределение Бернулли . Многое из того, что можно сказать о процессе Бернулли, можно также обобщить на более чем два результата (например, процесс для шестигранной игральной кости); это обобщение известно как схема Бернулли .

Проблему определения процесса, учитывая лишь ограниченную выборку испытаний Бернулли, можно назвать проблемой проверки того, честна ли монета .

Определение

Процесс Бернулли — это конечная или бесконечная последовательность независимых случайных величин X ₁ , X ₂ , X ₃ , ..., такая, что

для каждого i значение X _i равно 0 или 1;
для всех значений ${\textstyle i}$ , вероятность p того, что X _i = 1, та же самая.

Другими словами, процесс Бернулли — это последовательность независимых одинаково распределенных испытаний Бернулли .

Независимость испытаний подразумевает, что процесс не имеет памяти . Учитывая, что вероятность p известна, прошлые результаты не дают информации о будущих результатах. (Однако если p неизвестно, прошлое сообщает о будущем косвенно, через выводы о p .)

Если процесс бесконечен, то с любой точки будущие испытания представляют собой процесс Бернулли, идентичный всему процессу, - свойство нового начала.

Интерпретация

Два возможных значения каждого X _i часто называют «успехом» и «неудачей». Таким образом, если результат выражен числом 0 или 1, его можно назвать количеством успехов в i -м «испытании».

Две другие распространенные интерпретации значений: истина или ложь и да или нет. При любой интерпретации этих двух значений отдельные переменные X _i можно назвать испытаниями Бернулли с параметром p.

Во многих приложениях время между испытаниями проходит по мере увеличения индекса i. По сути, испытания X ₁ , X ₂ , ... X _i , ... происходят в «моменты времени» 1, 2, ..., i , .... Этот ход времени и связанные с ним понятия Однако «прошлое» и «будущее» не являются необходимыми. В большинстве случаев любые X _i и X _j в процессе — это просто две из набора случайных величин, индексированных {1, 2, ..., n }, конечные случаи, или {1, 2, 3, .. .}, бесконечные случаи.

Один эксперимент только с двумя возможными результатами, часто называемыми «успехом» и «неудачей», обычно кодируемыми как 1 и 0, можно смоделировать как распределение Бернулли . ^[1] Несколько случайных величин и распределений вероятностей , помимо Бернулли, могут быть получены из процесса Бернулли:

Число успехов в первых n испытаниях, имеющее биномиальное распределение B( n , p )
Число неудач, необходимых для получения r успехов, которое имеет отрицательное биномиальное распределение NB( r , p )
Число неудач, необходимых для достижения одного успеха, имеет геометрическое распределение NB(1, p ), частный случай отрицательного биномиального распределения.

Отрицательные биномиальные переменные можно интерпретировать как случайное время ожидания .

Формальное определение

Процесс Бернулли можно формализовать на языке вероятностных пространств как случайную последовательность независимых реализаций случайной величины, которая может принимать значения «орел» или «решка». Пространство состояний для отдельного значения обозначается $2=\{H,T\}.$

Борелевская алгебра

Рассмотрим счетное бесконечное прямое произведение копий $2=\{H,T\}$ . Обычно рассматривают либо одностороннее множество $\Omega =2^{\mathbb {N} }=\{H,T\}^{\mathbb {N} }$ или двусторонний набор $\Omega =2^{\mathbb {Z} }$ . В этом пространстве существует естественная топология , называемая топологией произведения . Множества в этой топологии представляют собой конечные последовательности подбрасываний монеты, то есть строки конечной длины из H и T ( H означает орел, а T означает решку), а остальная часть (бесконечно длинной) последовательности принимается как «не забота». Эти наборы конечных последовательностей называются множествами цилиндров в топологии произведения. Набор всех таких строк образует сигма-алгебру , в частности, борелевскую алгебру . Тогда эта алгебра обычно записывается как $(\Omega ,{\mathcal {B}})$ где элементы ${\mathcal {B}}$ — последовательности подбрасываний монеты конечной длины (множества цилиндров).

мера Бернулли

Если шансы выпадения орла или решки определяются вероятностями $\{p,1-p\}$ , то можно определить естественную меру в пространстве произведений, заданную формулой $P=\{p,1-p\}^{\mathbb {N} }$ (или через $P=\{p,1-p\}^{\mathbb {Z} }$ для двустороннего процесса). Другими словами, если дискретная случайная величина X имеет распределение Бернулли с параметром p , где 0 ≤ p ≤ 1, и ее массовая функция вероятности определяется выражением

pX(1)=P(X=1)=p

и

pX(0)=P(X=0)=1-p

.

Обозначим это распределение через Ber( p ). ^[1]

Учитывая набор цилиндров, то есть определенную последовательность результатов подбрасывания монеты. $[\omega _{1},\omega _{2},\cdots \omega _{n}]$ время от времени $1,2,\cdots ,n$ , вероятность наблюдения этой конкретной последовательности определяется выражением

P([\omega _{1},\omega _{2},\cdots ,\omega _{n}])=p^{k}(1-p)^{n-k}

где k — количество раз, когда H появляется в последовательности, а n − k — количество раз, когда T появляется в последовательности. Для вышеизложенного существует несколько различных типов обозначений; обычное дело - писать

P(X_{1}=x_{1},X_{2}=x_{2},\cdots ,X_{n}=x_{n})=p^{k}(1-p)^{n-k}

где каждый $X_{i}$ представляет собой двоичную случайную величину с $x_{i}=[\omega _{i}=H]$ в скобках Айверсона , что означает либо $1$ если $\omega _{i}=H$ или $0$ если $\omega _{i}=T$ . Эта вероятность $P$ обычно называют мерой Бернулли . ^[2]

Обратите внимание, что вероятность любой конкретной бесконечно длинной последовательности подбрасываний монеты равна нулю; это потому что $\lim _{n\to \infty }p^{n}=0$ , для любого $0\leq p<1$ . Вероятность, равная 1, означает, что любая данная бесконечная последовательность имеет нулевую меру . Тем не менее, все же можно сказать, что некоторые классы бесконечных последовательностей подбрасываний монеты гораздо более вероятны, чем другие, это определяется свойством асимптотического равнораспределения .

В заключение формального определения можно сказать, что процесс Бернулли задается тройкой вероятностей $(\Omega ,{\mathcal {B}},P)$ , как определено выше.

Закон больших чисел, биномиальное распределение и центральная предельная теорема

Предположим, что это канонический процесс с $H$ в лице $1$ и $T$ в лице $0$ . Закон больших чисел гласит, что среднее значение последовательности, т. е. ${\bar {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ , почти наверняка приблизится к ожидаемому значению , то есть события, не удовлетворяющие этому пределу, имеют нулевую вероятность. Ожидаемое значение выпадения орла , которое предполагается равным 1, определяется выражением $p$ . Фактически, у человека есть

\mathbb {E} [X_{i}]=\mathbb {P} ([X_{i}=1])=p,

для любой заданной случайной величины $X_{i}$ из бесконечной последовательности испытаний Бернулли, составляющих процесс Бернулли.

Часто интересно узнать, как часто можно наблюдать H в последовательности из n подбрасываний монеты. Это определяется простым подсчетом: при n последовательных подбрасываниях монеты, то есть при заданном наборе всех возможных строк длины n , количество N ( k , n ) таких строк, содержащих k вхождений H, определяется биномиальным коэффициентом.

N(k,n)={n \choose k}={\frac {n!}{k!(n-k)!}}

Если вероятность выпадения орла равна p , то общая вероятность увидеть строку длины n с k орлами равна

\mathbb {P} ([S_{n}=k])={n \choose k}p^{k}(1-p)^{n-k},

где $S_{n}=\sum _{i=1}^{n}X_{i}$ . Определенная таким образом вероятностная мера известна как биномиальное распределение .

Как мы видим из приведенной выше формулы, если n=1, биномиальное распределение превратится в распределение Бернулли . Таким образом, мы можем знать, что распределение Бернулли является частным случаем биномиального распределения, когда n равно 1.

Особый интерес представляет вопрос о стоимости $S_{n}$ для достаточно длинной последовательности подбрасываний монеты, т. е. для предела $n\to \infty$ . В этом случае можно воспользоваться приближением Стирлинга к факториалу и записать

n!={\sqrt {2\pi n}}\;n^{n}e^{-n}\left(1+{\mathcal {O}}\left({\frac {1}{n}}\right)\right)

Подставив это в выражение для P ( k , n ), получим нормальное распределение ; таково содержание центральной предельной теоремы , и это ее простейший пример.

Сочетание закона больших чисел вместе с центральной предельной теоремой приводит к интересному и, возможно, удивительному результату: свойству асимптотического равнораспределения . Говоря неформально, можно заметить, что да, при многих подбрасываниях монеты H будет наблюдаться ровно p долю времени, и что это точно соответствует пику гауссианы. Свойство асимптотического равнораспределения по существу утверждает, что этот пик бесконечно острый, с бесконечным спадом с обеих сторон. То есть, учитывая множество всех возможных бесконечно длинных строк H и T, встречающихся в процессе Бернулли, это множество разбивается на две: те строки, которые встречаются с вероятностью 1, и те, которые встречаются с вероятностью 0. Такое разбиение известно как Закон Колмогорова 0-1 .

Размер этого набора также интересен и может быть определен явно: его логарифм в точности равен энтропии процесса Бернулли. Еще раз рассмотрим набор всех строк длины n . Размер этого набора $2^{n}$ . Из них вероятны только определенные подмножества; размер этого набора $2^{nH}$ для $H\leq 1$ . Используя приближение Стирлинга, поместив его в выражение для P ( k , n ), определив местоположение и ширину пика и, наконец, взяв $n\to \infty$ человек обнаруживает, что

H=-p\log _{2}p-(1-p)\log _{2}(1-p)

Это значение представляет собой энтропию Бернулли процесса Бернулли. Здесь H означает энтропию; не путать с тем же символом H, обозначающим орел .

Джон фон Нейман поставил вопрос о процессе Бернулли относительно возможности того, что данный процесс изоморфен другому , в смысле изоморфизма динамических систем . Вопрос долго не поддавался анализу, но наконец и полностью был дан ответ с помощью теоремы об изоморфизме Орнштейна . Этот прорыв привел к пониманию того, что процесс Бернулли уникален и универсален ; в определенном смысле это самый случайный процесс; нет ничего «более» случайного, чем процесс Бернулли (хотя с этим неформальным утверждением следует быть осторожным; конечно, системы, которые смешиваются , в определенном смысле «сильнее», чем процесс Бернулли, который является просто эргодическим, но не смешивающим. Однако такие процессы не состоят из независимых случайных величин: действительно, смешиваться могут многие чисто детерминированные, неслучайные системы).

Динамические системы

Процесс Бернулли также можно понимать как динамическую систему , как пример эргодической системы и, в частности, динамической системы, сохраняющей меру , одним из нескольких различных способов. Один способ — это пространство смены , а другой — одометр . Они рассматриваются ниже.

сдвиг Бернулли

Один из способов создать динамическую систему на основе процесса Бернулли — создать пространство сдвига . В пространстве продукта существует естественная трансляционная симметрия. $\Omega =2^{\mathbb {N} }$ заданный оператором сдвига

T(X_{0},X_{1},X_{2},\cdots )=(X_{1},X_{2},\cdots )

Определенная выше мера Бернулли является трансляционно-инвариантной; то есть при любом наборе цилиндров $\sigma \in {\mathcal {B}}$ , у одного есть

P(T^{-1}(\sigma ))=P(\sigma )

и, таким образом, мера Бернулли является мерой Хаара ; это инвариантная мера в пространстве произведений.

Вместо вероятностной меры $P:{\mathcal {B}}\to \mathbb {R}$ , рассмотрим вместо этого некоторую произвольную функцию $f:{\mathcal {B}}\to \mathbb {R}$ . Продвижение вперед

f\circ T^{-1}

определяется $\left(f\circ T^{-1}\right)(\sigma )=f(T^{-1}(\sigma ))$ это снова какая-то функция ${\mathcal {B}}\to \mathbb {R} .$ Таким образом, карта $T$ вызывает другую карту ${\mathcal {L}}_{T}$ на пространстве всех функций ${\mathcal {B}}\to \mathbb {R} .$ То есть, учитывая некоторые $f:{\mathcal {B}}\to \mathbb {R}$ , один определяет

{\mathcal {L}}_{T}f=f\circ T^{-1}

Карта ${\mathcal {L}}_{T}$ является линейным оператором , поскольку (очевидно) имеется ${\mathcal {L}}_{T}(f+g)={\mathcal {L}}_{T}(f)+{\mathcal {L}}_{T}(g)$ и ${\mathcal {L}}_{T}(af)=a{\mathcal {L}}_{T}(f)$ для функций $f,g$ и постоянный $a$ . Этот линейный оператор называется оператором переноса или оператором Рюэля–Фробениуса–Перрона . Этот оператор имеет спектр , то есть набор собственных функций и соответствующих им собственных значений. Наибольшее собственное значение — это собственное значение Фробениуса–Перрона , и в данном случае оно равно 1. Соответствующий собственный вектор является инвариантной мерой: в данном случае это мера Бернулли. То есть, ${\mathcal {L}}_{T}(P)=P.$

Если кто-то ограничивает ${\mathcal {L}}_{T}$ действовать на полиномы, то собственными функциями являются (что любопытно) полиномы Бернулли ! ^[3]^[4] Это совпадение названий, по-видимому, не было известно Бернулли.

Карта 2x мод 1

Отображение T : [0,1) → [0,1), $x\mapsto 2x{\bmod {1}}$ сохраняет меру Лебега .

Вышеизложенное можно уточнить. Учитывая бесконечную строку двоичных цифр $b_{0},b_{1},\cdots$ писать

y=\sum _{n=0}^{\infty }{\frac {b_{n}}{2^{n+1}}}.

В результате $y$ действительное число в единичном интервале $0\leq y\leq 1.$ Смена $T$ индуцирует гомоморфизм , также называемый $T$ , на единичном интервале. С $T(b_{0},b_{1},b_{2},\cdots )=(b_{1},b_{2},\cdots ),$ это можно увидеть $T(y)=2y{\bmod {1}}.$ Эта карта называется диадической трансформацией ; для дважды бесконечной последовательности битов $\Omega =2^{\mathbb {Z} },$ индуцированный гомоморфизм есть отображение Бейкера .

Рассмотрим теперь пространство функций из $y$ . Учитывая некоторые $f(y)$ можно найти это

\left[{\mathcal {L}}_{T}f\right](y)={\frac {1}{2}}f\left({\frac {y}{2}}\right)+{\frac {1}{2}}f\left({\frac {y+1}{2}}\right)

Ограничение действий оператора ${\mathcal {L}}_{T}$ к функциям, состоящим из полиномов, обнаруживается, что он имеет дискретный спектр, определяемый формулой

{\mathcal {L}}_{T}B_{n}=2^{-n}B_{n}

где $B_{n}$ являются полиномами Бернулли . Действительно, полиномы Бернулли подчиняются тождеству

{\frac {1}{2}}B_{n}\left({\frac {y}{2}}\right)+{\frac {1}{2}}B_{n}\left({\frac {y+1}{2}}\right)=2^{-n}B_{n}(y)

Набор Кантора

Обратите внимание, что сумма

y=\sum _{n=0}^{\infty }{\frac {b_{n}}{3^{n+1}}}

дает функцию Кантора в ее традиционном определении. Это одна из причин, почему набор $\{H,T\}^{\mathbb {N} }$ иногда называют множеством Кантора .

Одометр

Другой способ создать динамическую систему — определить одометр . Неформально это звучит именно так: просто «добавьте единицу» в первую позицию, и дайте одометру «перевернуться», используя биты переноса , когда одометр перевернется. Это не что иное, как сложение по основанию два множества бесконечных строк. Поскольку сложение образует группу (математика) , а процессу Бернулли уже была задана топология выше, это дает простой пример топологической группы .

В этом случае преобразование $T$ дается

T\left(1,\dots ,1,0,X_{k+1},X_{k+2},\dots \right)=\left(0,\dots ,0,1,X_{k+1},X_{k+2},\dots \right).

Он оставляет меру Бернулли инвариантной только для частного случая $p=1/2$ («честная монета»); иначе нет. Таким образом, $T$ в этом случае является мерой, сохраняющей динамическую систему , в противном случае это просто консервативная система .

последовательность Бернулли

Термин «последовательность Бернулли» часто неофициально используется для обозначения реализации процесса Бернулли. Однако этот термин имеет совершенно другое формальное определение, приведенное ниже.

Предположим, что процесс Бернулли формально определен как одна случайная величина (см. предыдущий раздел). Для каждой бесконечной последовательности x подбрасываний монеты существует последовательность целых чисел

\mathbb {Z} ^{x}=\{n\in \mathbb {Z} :X_{n}(x)=1\}\,

называется последовательностью Бернулли ^{[ нужна проверка ]} связан с процессом Бернулли. Например, если x представляет собой последовательность подбрасываний монеты, то связанная с ней последовательность Бернулли представляет собой список натуральных чисел или моментов времени, для которых результатом подбрасывания монеты является орел .

Определенная таким образом последовательность Бернулли $\mathbb {Z} ^{x}$ также является случайным подмножеством набора индексов, натуральных чисел $\mathbb {N}$ .

Почти все последовательности Бернулли $\mathbb {Z} ^{x}$ являются эргодическими последовательностями . ^{[ нужна проверка ]}

Извлечение случайности

Из любого процесса Бернулли можно получить процесс Бернулли с p = 1/2 с помощью экстрактора фон Неймана , самого раннего экстрактора случайности , который фактически извлекает равномерную случайность.

Базовый экстрактор фон Неймана

Представьте наблюдаемый процесс как последовательность нулей и единиц или битов и сгруппируйте этот входной поток в непересекающиеся пары последовательных битов, например (11)(00)(10)... . Тогда для каждой пары

если биты равны, отбросить;
если биты не равны, выведите первый бит.

Эта таблица суммирует вычисления.

вход	выход
00	отказаться
01	0
10	1
11	отказаться

Например, входной поток из восьми бит 10011011 будет сгруппирован в пары как (10)(01)(10)(11) . Затем, согласно таблице выше, эти пары транслируются в выходные данные процедуры: (1)(0)(1)() (= 101 ).

В выходном потоке 0 и 1 одинаково вероятны, как 10 и 01 одинаково вероятны в исходном потоке, оба имеют вероятность p (1− p ) = (1− p ) p . Такое извлечение равномерной случайности не требует, чтобы входные испытания были независимыми, а только некоррелированными . В более общем смысле, это работает для любой заменяемой последовательности битов: все последовательности, которые являются конечными перестановками, одинаково вероятны.

Экстрактор фон Неймана использует два входных бита для получения либо нуля, либо одного выходного бита, поэтому выходной сигнал короче входного как минимум в 2 раза. В среднем при вычислении отбрасывается пропорция p. ² + (1 - п ) ² входных пар (00 и 11), которое близко к единице, когда p близко к нулю или единице, и минимизируется до 1/4, когда p = 1/2 для исходного процесса (в этом случае выходной поток равен 1/4 длина входного потока в среднем).

основной операции фон Неймана (классический) Псевдокод :

if (Bit1 ≠ Bit2) {
   output(Bit1)
}

Итерированный экстрактор фон Неймана

Это снижение эффективности или потеря случайности, присутствующей во входном потоке, можно смягчить путем итерации алгоритма по входным данным. Таким образом, результат можно сделать «произвольно близким к границе энтропии». ^[5]

Итерированная версия алгоритма фон Неймана, также известная как расширенная многоуровневая стратегия (AMLS), ^[6] был введен Ювалем Пересом в 1992 году. ^[5] Он работает рекурсивно, перерабатывая «потерянную случайность» из двух источников: последовательности отбрасывания-неотбрасывания и значений отброшенных пар (0 для 00 и 1 для 11). Он основан на том факте, что, учитывая уже сгенерированную последовательность, оба этих источника по-прежнему представляют собой заменяемые последовательности битов и, следовательно, имеют право на следующий раунд извлечения. Хотя такое создание дополнительных последовательностей можно повторять бесконечно, чтобы извлечь всю доступную энтропию, требуется бесконечное количество вычислительных ресурсов, поэтому количество итераций обычно фиксируется на низком значении — это значение либо фиксируется заранее, либо рассчитывается во время выполнения.

Более конкретно, во входной последовательности алгоритм использует входные биты парами, генерируя выходные данные вместе с двумя новыми последовательностями () дает бумажную нотацию AMLS:

вход	выход	новая последовательность 1(А)	новая последовательность 2(1)
00	никто	0	0
01	0	1	никто
10	1	1	никто
11	никто	0	1

(Если длина входных данных нечетная, последний бит полностью отбрасывается.) Затем алгоритм рекурсивно применяется к каждой из двух новых последовательностей, пока входные данные не станут пустыми.

Пример. Входной поток из документа AMLS, 11001011101110, с использованием 1 для H и 0 для T, обрабатывается следующим образом:

номер шага	вход	выход	новая последовательность 1(А)	новая последовательность 2(1)
0	(11)(00)(10)(11)(10)(11)(10)	()()(1)()(1)()(1)	(1)(1)(0)(1)(0)(1)(0)	(1)(0)()(1)()(1)()
1	(10)(11)(11)(01)(01)()	(1)()()(0)(0)	(0)(1)(1)(0)(0)	()(1)(1)()()
2	(11)(01)(10)()	()(0)(1)	(0)(1)(1)	(1)()()
3	(10)(11)	(1)	(1)(0)	()(1)
4	(11)()	()	(0)	(1)
5	(10)	(1)	(1)	()
6	()	()	()	()

Начиная с шага 1, входные данные представляют собой объединение последовательности 2 и последовательности 1 из предыдущего шага (порядок произволен, но должен быть фиксированным). Окончательный результат: ()()(1)()(1)()(1)(1)()()(0)(0)()(0)(1)(1)()(1) (= 1111000111 ), поэтому из 14 бит входных данных были сгенерированы 10 бит выходных данных, а не 3 бита только с помощью алгоритма фон Неймана. Постоянный вывод ровно 2 бита за раунд на пару бит (по сравнению с переменной от нуля до 1 бита в классической VN) также позволяет реализовать реализации с постоянным временем, устойчивые к атакам по времени .

Псевдокод основной операции Фон Неймана – Переса (итерированный):

if (Bit1 ≠ Bit2) {
   output(1, Sequence1)
   output(Bit1)
} else {
   output(0, Sequence1)
   output(Bit1, Sequence2)
}

Еще одна настройка была представлена в 2016 году, основанная на наблюдении, что канал Sequence2 не обеспечивает большую пропускную способность, и аппаратная реализация с конечным числом уровней может выиграть от его более раннего отказа в обмен на обработку большего количества уровней Sequence1. ^[7]

Ссылки

^ Jump up to: ^а ^б Декинг, FM; Краайкамп, К.; Лопухаа, Х.П.; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику . стр. 100-1 45–46. ISBN 9781852338961 .
^ Кленке, Ахим (2006). Теория вероятностей . Спрингер-Верлаг. ISBN 978-1-84800-047-6 .
^ Пьер Гаспар, « R -адические одномерные карты и формула суммирования Эйлера», Journal of Physics A , 25 (письмо) L483-L485 (1992).
^ Дин Дж. Дрибе, Полностью хаотические карты и нарушенная симметрия времени, (1999) Kluwer Academic Publishers, Дордрехт, Нидерланды ISBN 0-7923-5564-4
^ Jump up to: ^а ^б Перес, Юваль (март 1992 г.). «Итерация процедуры фон Неймана для извлечения случайных битов» . Анналы статистики . 20 (1): 590–597. дои : 10.1214/aos/1176348543 .
^ «Подбрасывание необъективной монеты» (PDF) . eecs.harvard.edu. Архивировано (PDF) из оригинала 31 марта 2010 г. Проверено 28 июля 2018 г.
^ Рожич, Владимир; Ян, Бохан; Деэн, Вим; Вербауведе, Ингрид (3–5 мая 2016 г.). Итерация постобработки фон Неймана при аппаратных ограничениях (PDF) . Международный симпозиум IEEE по аппаратно-ориентированной безопасности и доверию (HOST), 2016 г. Маклин, Вирджиния, США. дои : 10.1109/HST.2016.7495553 . Архивировано (PDF) из оригинала 12 февраля 2019 г.

Дальнейшее чтение

Карл В. Хелстром, Вероятность и случайные процессы для инженеров , (1984) Macmillan Publishing Company, Нью-Йорк ISBN 0-02-353560-1 .

Внешние ссылки

Использование диаграммы двоичного дерева для описания процесса Бернулли.

[:0-1] Jump up to: ^а ^б Декинг, FM; Краайкамп, К.; Лопухаа, Х.П.; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику . стр. 100-1 45–46. ISBN 9781852338961 .

[klenke-2] Кленке, Ахим (2006). Теория вероятностей . Спрингер-Верлаг. ISBN 978-1-84800-047-6 .

[3] Пьер Гаспар, « R -адические одномерные карты и формула суммирования Эйлера», Journal of Physics A , 25 (письмо) L483-L485 (1992).

[4] Дин Дж. Дрибе, Полностью хаотические карты и нарушенная симметрия времени, (1999) Kluwer Academic Publishers, Дордрехт, Нидерланды ISBN 0-7923-5564-4

[Peres-5] Jump up to: ^а ^б Перес, Юваль (март 1992 г.). «Итерация процедуры фон Неймана для извлечения случайных битов» . Анналы статистики . 20 (1): 590–597. дои : 10.1214/aos/1176348543 .

[6] «Подбрасывание необъективной монеты» (PDF) . eecs.harvard.edu. Архивировано (PDF) из оригинала 31 марта 2010 г. Проверено 28 июля 2018 г.

[7] Рожич, Владимир; Ян, Бохан; Деэн, Вим; Вербауведе, Ингрид (3–5 мая 2016 г.). Итерация постобработки фон Неймана при аппаратных ограничениях (PDF) . Международный симпозиум IEEE по аппаратно-ориентированной безопасности и доверию (HOST), 2016 г. Маклин, Вирджиния, США. дои : 10.1109/HST.2016.7495553 . Архивировано (PDF) из оригинала 12 февраля 2019 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

v т и Случайные процессы
Дискретное время	Процесс Бернулли Процесс ветвления процесс в китайском ресторане Процесс Гальтона – Ватсона Независимые и одинаково распределенные случайные величины Цепь Маркова Процесс Морана Случайное блуждание Петля стерта Самоизбегание Пристрастный Максимальная энтропия
Непрерывное время	Аддитивный процесс Бессельский процесс Процесс рождения-смерти чистое рождение Броуновское движение Мост Экскурсия Дробный Геометрический Меандр Процесс Коши Контактный процесс Случайное блуждание в непрерывном времени Процесс Кокса Процесс диффузии Броуновское движение Дайсона Эмпирический процесс Валочный процесс Процесс Флеминга-Вио Гамма-процесс Геометрический процесс Процесс Хоукса Процесс охоты Взаимодействующие системы частиц Это распространится Ито-процесс Прыжковая диффузия Процесс перехода Процесс Леви Местное время Марковский аддитивный процесс Процесс Маккина – Власова Процесс Орнштейна – Уленбека Пуассоновский процесс Сложный Неоднородный Эволюция Шрамма – Лёвнера Семимартингалы Сигма-мартингейл Стабильный процесс Суперпроцесс Телеграфный процесс Дисперсионный гамма-процесс Винеровский процесс Венская колбаса
Оба	Процесс ветвления Гауссов процесс Скрытая модель Маркова (HMM) Марковский процесс Мартингейл Различия Местный Суб- Супер- Случайная динамическая система Регенеративный процесс Процесс продления Стохастические цепочки с памятью переменной длины Белый шум
Поля и прочее	Процесс Дирихле Гауссово случайное поле Мера Гиббса Модель Хопфилда Модель Изинга Модель Поттса Логическая сеть Марковское случайное поле перколяция Процесс Питмана-Йора Точечный процесс Кокс Пуассон Случайное поле Случайный график
Модели временных рядов	Модель авторегрессионной условной гетероскедастичности (ARCH) Модель авторегрессионного интегрированного скользящего среднего (ARIMA) Авторегрессионная (AR) модель Модель авторегрессии – скользящего среднего (ARMA) Модель обобщенной авторегрессии условной гетероскедастичности (GARCH) Модель скользящего среднего (MA)
Финансовые модели	Модель ценообразования биномиальных опционов Черный–Дерман–Игрушка Блэк – Карасински Блэк – Скоулз Чан – Каройи – Лонгстафф – Сандерс (CKLS) Чен Постоянная эластичность отклонения (CEV) Кокс – Ингерсолл – Росс (CIR) Гарман-Кольхаген Хит – Джарроу – Мортон (HJM) Хестон Хо-Ли Корпус – Белый Корн-Креер-Ленссен рынок ЛИБОР Рендлман-Барттер Волатильность SABR Ваш Уилки
Актуарные модели	Бюльманн Крамер-Лундберг Процесс риска Спарре-Андерсон
Модели массового обслуживания	Масса Жидкость Обобщенная сеть массового обслуживания М/Г/1 М/М/1 М/М/с
Характеристики	Каталог путей Непрерывный Непрерывные пути Эргодический Сменный Феллер-непрерывный Гаусс–Марков Марков Смешивание Кусочно-детерминированный Предсказуемый Постепенно измеримый Самоподобный Стационарный обратимый во времени
Предельные теоремы	Центральная предельная теорема Теорема Донскера Теоремы о мартингальной сходимости Дуба Эргодическая теорема Теорема Фишера – Типпетта – Гнеденко. Принцип большого отклонения Закон больших чисел (слабый/сильный) Закон повторного логарифма Максимальная эргодическая теорема Теорема Санова Законы нуля и единицы ( Блюменталь , Борель-Кантелли , Энгельберт-Шмидт , Хьюитт-Сэвидж , Колмогоров , Леви )
Неравенства	Беркхолдер – Дэвис – Ганди Мартингейл Дуба Апкросс Дуба Кунита – Ватанабэ Марцинкевич–Зигмунд
Инструменты	Формула Кэмерона-Мартина Сходимость случайных величин Экспонента Долеана-Дада Теорема Дуба о разложении Теорема Дуба – Мейера о разложении Необязательная теорема Дуба об остановке Формула Дынкина Формула Фейнмана – Каца Фильтрация Теорема Гирсанова Бесконечно-малый генератор Его интеграл Лемма Ито Теорема Карунена – Лёва Теорема Колмогорова о непрерывности Теорема Колмогорова о продолжении Метрика Леви – Прохора Исчисление Маллявена Теорема о мартингальном представлении Необязательная теорема об остановке Prokhorov's theorem Квадратичная вариация Принцип отражения Skorokhod integral Теория представлений Скорохода Skorokhod space Снелл конверт Стохастическое дифференциальное уравнение Танака Остановка времени Stratonovich integral Равномерная интегрируемость Обычные гипотезы Винерское пространство Классический Абстрактный
Дисциплины	Актуарная математика Теория управления Эконометрика Эргодическая теория Теория экстремальных ценностей (EVT) Теория больших отклонений Математические финансы Математическая статистика Теория вероятностей Теория массового обслуживания Теория обновления Теория руин Обработка сигналов Статистика Стохастический анализ Анализ временных рядов Машинное обучение
Список тем Категория