Сменные случайные величины

В статистике — сменная последовательность случайных величин (также иногда взаимозаменяемых ). — это последовательность X ₁ , X ₂ , X ₃ , ... (которая может быть конечной или бесконечно длинной), совместное распределение вероятностей которой не меняется при изменении позиций в последовательности, в которой появляется конечное число из них. Другими словами, совместное распределение инвариантно к конечной перестановке. Так, например, последовательности

$X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ and }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}$

оба имеют одинаковое совместное распределение вероятностей.

Это тесно связано с использованием независимых и одинаково распределенных случайных величин в статистических моделях. Сменные последовательности случайных величин возникают в случаях простой случайной выборки .

Определение

Формально обменной последовательностью случайных величин называется конечная или бесконечная последовательность X ₁ , X ₂ , X ₃ , ... случайных величин такая, что для любой конечной перестановки σ индексов 1, 2, 3, ..., ( перестановка действует только на конечное число индексов, остальные фиксированы), совместное распределение вероятностей перестановочной последовательности

$X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots$

совпадает с совместным распределением вероятностей исходной последовательности.

(Последовательность событий E ₁ , E ₂ , E ₃ , ... называется обменной именно в том случае, если последовательность ее индикаторных функций является обменной.) Функция распределения F _{X 1 ,..., X n} ( x ₁ , ..., x _n ) конечной последовательности перестановочных случайных величин симметрична по своим аргументам x ₁ , ..., x _n . Олав Калленберг дал подходящее определение взаимозаменяемости для случайных процессов с непрерывным временем.

История

Эта концепция была представлена ​​Уильямом Эрнестом Джонсоном в его книге 1924 года «Логика, часть III: Логические основы науки» . Обмениваемость эквивалентна концепции статистического контроля, введенной Уолтером Шухартом также в 1924 году.

Взаимозаменяемость и статистическая модель iid

Свойство заменяемости тесно связано с использованием независимых и одинаково распределенных (iid) случайных величин в статистических моделях. Последовательность случайных величин, которые являются iid, зависящими от некоторой базовой формы распределения, можно обменивать. Это следует непосредственно из структуры совместного распределения вероятностей, генерируемого формой iid.

Смесь заменяемых последовательностей (в частности, последовательностей iid-переменных) заменяемы. Обратное утверждение можно установить для бесконечных последовательностей с помощью важной о представлении теоремы Бруно де Финетти (позже расширенной другими теоретиками вероятностей, такими как Халмош и Сэвидж ). Расширенные версии теоремы показывают, что в любой бесконечной последовательности заменяемых случайных величин случайные величины условно независимы и одинаково распределены , учитывая основную форму распределения. Эта теорема кратко сформулирована ниже. (Исходная теорема Де Финетти показала, что это верно только для случайных индикаторных переменных, но позже это было расширено, чтобы охватить все последовательности случайных величин.) Другой способ выразить это состоит в том, что теорема де Финетти характеризует заменяемые последовательности как смеси iid последовательностей - в то время как заменяемая последовательность сама по себе не обязательно должна быть безусловно iid, она может быть выражена как смесь лежащих в основе iid последовательностей.

Это означает, что бесконечные последовательности заменяемых случайных величин можно эквивалентно рассматривать как последовательности условно одинаковых случайных величин, основанных на некоторой базовой форме распределения. (Обратите внимание, что эта эквивалентность не совсем справедлива для конечной заменяемости. Однако для конечных векторов случайных величин существует близкое приближение к модели iid.) Бесконечная заменяемая последовательность строго стационарна , поэтому закон больших чисел имеет вид теорема Биркгофа – Хинчина . Применима Это означает, что базовому распределению можно дать оперативную интерпретацию как предельное эмпирическое распределение последовательности значений. Тесная связь между обменными последовательностями случайных величин и формой iid означает, что последняя может быть оправдана на основе бесконечной обмениваемости. Это понятие является центральным для Бруно де Финетти разработки прогнозирующего вывода и байесовской статистики . Также можно показать, что это полезное основополагающее предположение в частотной статистике и связывает две парадигмы.

Теорема о представлении: Это утверждение основано на представлении О'Нила (2009) в ссылках ниже. Учитывая бесконечную последовательность случайных величин $\mathbf {X} =(X_{1},X_{2},X_{3},\ldots )$ определим предельную эмпирическую функцию распределения $F_{\mathbf {X} }$ к

$F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).$

(Это предел Чезаро индикаторных функций. В тех случаях, когда предел Чезаро не существует, эту функцию фактически можно определить как банаховский предел индикаторных функций, который является расширением этого предела. Этот последний предел всегда существует для сумм индикаторных функций, так что эмпирическое распределение всегда четко определено.) Это означает, что для любого вектора случайных величин в последовательности мы имеем совместную функцию распределения, определяемую выражением

$\Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).$

Если функция распределения $F_{\mathbf {X} }$ индексируется другим параметром $\theta$ тогда (с соответствующим определением плотностей) мы имеем

$p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).$

Эти уравнения показывают совместное распределение или плотность, характеризуемую как смешанное распределение, основанное на базовом предельном эмпирическом распределении (или параметре, индексирующем это распределение).

Обратите внимание, что не все конечные заменяемые последовательности являются смесью iid. Чтобы убедиться в этом, рассмотрим выборку без замены из конечного набора до тех пор, пока не останется ни одного элемента. Результирующая последовательность является заменяемой, но не является смесью iid. Действительно, при условии, что все остальные элементы последовательности известны, оставшийся элемент известен.

Ковариация и корреляция

Заменяемые последовательности обладают некоторыми основными свойствами ковариации и корреляции, что означает, что они обычно положительно коррелируют. Для бесконечных последовательностей заменяемых случайных величин ковариация между случайными величинами равна дисперсии среднего значения базовой функции распределения. Для конечных взаимозаменяемых последовательностей ковариация также является фиксированной величиной, не зависящей от конкретных случайных величин в последовательности. Существует более слабая нижняя граница, чем для бесконечной обмениваемости, и возможно существование отрицательной корреляции.

Ковариация для заменяемых последовательностей (бесконечная): если последовательность $X_{1},X_{2},X_{3},\ldots$ взаимозаменяем, то

$\operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.$

Ковариация для заменяемых последовательностей (конечная): Если $X_{1},X_{2},\ldots ,X_{n}$ можно обменять на $\sigma ^{2}=\operatorname {var} (X_{i})$, затем

$\operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.$

Результат о конечной последовательности можно доказать следующим образом. Используя тот факт, что ценности взаимозаменяемы, мы имеем

${\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}$

Затем мы можем решить неравенство для ковариации, получив указанную нижнюю оценку. Неотрицательность ковариации для бесконечной последовательности может быть получена как предельный результат из этого результата для конечной последовательности.

Равенство нижней границы для конечных последовательностей достигается в простой модели урны: урна содержит 1 красный шарик и n - 1 зеленый шарик, и их образцы отбираются без замены, пока урна не опустеет. Пусть X _i = 1, если красный шарик вытащили в i -м испытании, и 0 в противном случае. Конечная последовательность, достигающая нижней границы ковариации, не может быть расширена до более длинной заменяемой последовательности.

Примеры

• Любая выпуклая комбинация или смешанное распределение - последовательностей iid случайных величин является взаимозаменяемой. Обратным утверждением является теорема де Финетти .
• Предположим, в урне находится $n$ красный и $m$ синие мраморы. Предположим, шарики вытягивают без замены, пока урна не опустеет. Позволять $X_{i}$ – индикаторная случайная величина события, которое $i$-й нарисованный шарик красный. Затем $\left\{X_{i}\right\}_{i=1,\dots ,n+m}$ является сменной последовательностью. Эта последовательность не может быть расширена до какой-либо более длинной заменяемой последовательности.
• Предположим, в урне находится $n$ красный и $m$ синие мраморы. Далее предположим, что из урны вытащили шарик, а затем заменили его дополнительным шариком того же цвета. Позволять $X_{i}$ – индикаторная случайная величина события, которое $i$-й нарисованный шарик красный. Затем $\left\{X_{i}\right\}_{i\in \mathbb {N} }$ является сменной последовательностью. Эта модель называется урна Поли .
• Позволять $(X,Y)$ имеют двумерное нормальное распределение с параметрами $\mu =0$, $\sigma _{x}=\sigma _{y}=1$ и произвольный коэффициент корреляции $\rho \in (-1,1)$. Случайные величины $X$ и $Y$ тогда взаимозаменяемы, но независимы только в том случае, если $\rho =0$. Функция плотности ​ $p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].$

Приложения

Экстрактор фон Неймана — это экстрактор случайности , который зависит от возможности обмена: он дает метод получения заменяемой последовательности нулей и единиц ( испытания Бернулли ) с некоторой вероятностью p , равной 0 и $q=1-p$ из 1 и создаем (более короткую) заменяемую последовательность нулей и единиц с вероятностью 1/2.

Разделите последовательность на непересекающиеся пары: если два элемента пары равны (00 или 11), отбросьте ее; если два элемента пары неравны (01 или 10), сохраните первый. Это дает последовательность испытаний Бернулли с $p=1/2,$ поскольку из-за возможности обмена шансы данной пары, равные 01 или 10, равны.

Заменяемые случайные величины возникают при изучении статистики U , особенно при разложении Хёффдинга.

Взаимозаменяемость является ключевым допущением метода конформного предсказания, основанного на выводе без распределения .

См. также

• Передискретизация
• Повторная выборка (статистика) § Критерии перестановки , статистические тесты, основанные на обмене между группами

Библиография

• Олдос, Дэвид Дж., Обмениваемость и смежные темы , в: École d'Été de Probabilités de Saint-Flour XIII — 1983, Конспекты лекций по математике. 1117, с. 1–198, Шпрингер, Берлин, 1985. ISBN   978-3-540-15203-3 два : 10.1007/BFb0099421
• Барлоу, Р.Э. и Ирони, Т.З. (1992) «Основы статистического контроля качества» в Гош, М. и Патхак, П.К. (ред.) Текущие проблемы статистического вывода: эссе в честь Д. Басу , Хейворд, Калифорния: Институт Математическая статистика, 99–112.
• Бергман, Б. (2009) «Концептуалистический прагматизм: основа байесовского анализа?», IIE Transactions , 41 , 86–93
• Borovskikh, Yu. V. (1996). U -statistics in Banach spaces . Utrecht: VSP. pp. xii+420. ISBN  90-6764-200-2 . МР   1419498 .
• Чоу, Юань Ши и Тейчер, Генри, Теория вероятностей. Независимость, взаимозаменяемость, мартингалы, «Тексты Спрингера в статистике», 3-е изд., Спрингер, Нью-Йорк, 1997. xxii+488 стр. ISBN   0-387-98228-0
• Диаконис, Перси (2009). «Рецензия на книгу: Вероятностные симметрии и принципы инвариантности (Олав Калленберг, Спрингер, Нью-Йорк, 2005)» . Бюллетень Американского математического общества . Новая серия. 46 (4): 691–696. дои : 10.1090/S0273-0979-09-01262-2 . МР   2525743 .
• Калленберг О. Вероятностные симметрии и принципы инвариантности . Спрингер-Верлаг, Нью-Йорк (2005). 510 стр. ISBN   0-387-25115-4 .
• Кингман, JFC, Использование взаимозаменяемости , Ann. Вероятность 6 (1978) 83–197 MR 494344 JSTOR   2243211
• О'Нил, Б. (2009) Обмениваемость, корреляция и эффект Байеса. Международное статистическое обозрение 77(2) , стр. 241–250. ISBN   978-3-540-15203-3 дои : 10.1111/j.1751-5823.2008.00059.x
• Тейлор, Роберт Ли; Даффер, Питер З.; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм перестановочных случайных величин . Роуман и Алланхельд. стр. 1–152. ISBN  9780847674350 .
• Забелл, С.Л. (1988) «Симметрия и ее недовольство», в Скирмс, Б. и Харпер, WL Causation, Chance and Credence, стр. 155-190, Kluwer
• Забелл, С.Л. (1992). «Предсказание непредсказуемого». Синтезируйте . 90 (2): 205. дои : 10.1007/bf00485351 . S2CID   9416747 .