Независимые и одинаково распределенные случайные величины

«IID» и «iid» перенаправляются сюда. Чтобы узнать о других значениях, см. IID (значения) .

Диаграмма, показывающая равномерное распределение

В теории вероятностей и статистике совокупность случайных величин является независимой и одинаково распределенной, если каждая случайная величина имеет такое же распределение вероятностей , как и другие, и все они взаимно независимы . Это свойство обычно обозначается сокращенно iid , iid или IID . IID был впервые определен в статистике и находит применение в различных областях, таких как интеллектуальный анализ данных и обработка сигналов .

Введение

Статистика обычно имеет дело со случайными выборками. Случайную выборку можно рассматривать как набор объектов, выбранных случайным образом. Более формально, это «последовательность независимых, одинаково распределенных (IID) случайных точек данных».

Другими словами, термины случайная выборка и IID — это одно и то же. В статистике типичным термином является «случайная выборка», но в теории вероятности чаще говорят «IID».

• Идентичное распределение означает отсутствие общих тенденций — распределение не колеблется, и все элементы выборки взяты из одного и того же распределения вероятностей.
• Независимость означает, что все элементы выборки являются независимыми событиями. Другими словами, они никак не связаны друг с другом; знание значения одной переменной не дает информации о значении другой, и наоборот.

Приложение

Независимые и одинаково распределенные случайные величины часто используются в качестве допущения, что имеет тенденцию упрощать лежащую в основе математику. Однако в практических приложениях статистического моделирования это предположение может быть, а может и не быть реалистичным.

Предположение iid также используется в центральной предельной теореме , которая утверждает, что распределение вероятностей суммы (или среднего) переменных iid с конечной дисперсией приближается к нормальному распределению .

Предположение iid часто возникает в контексте последовательностей случайных величин. Тогда «независимый и одинаково распределенный» означает, что элемент последовательности не зависит от случайных величин, которые были до него. Таким образом, последовательность iid отличается от последовательности Маркова , где распределение вероятностей для n- й случайной величины является функцией предыдущей случайной величины в последовательности (для последовательности Маркова первого порядка). Последовательность iid не подразумевает, что вероятности для всех элементов выборочного пространства или пространства событий должны быть одинаковыми. Например, повторные броски нагруженных игральных костей дадут последовательность, которая является iid, несмотря на то, что результаты являются предвзятыми.

В обработке сигналов и изображений понятие преобразования в iid подразумевает две спецификации: часть «id» и часть «i». часть:

id – Уровень сигнала должен быть сбалансирован по оси времени.

я. – Спектр сигнала должен быть сглажен, т.е. преобразован посредством фильтрации (например, деконволюции ) в сигнал белого шума (т.е. в сигнал, в котором все частоты присутствуют одинаково).

Определение

Определение двух случайных величин

Предположим, что случайные величины $X$ и $Y$ определены для принятия значений в $I\subseteq \mathbb {R}$. Позволять $F_{X}(x)=\operatorname {P} (X\leq x)$ и $F_{Y}(y)=\operatorname {P} (Y\leq y)$ быть кумулятивными функциями распределения $X$ и $Y$соответственно, и обозначим их совместную кумулятивную функцию распределения через $F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)$.

Две случайные величины $X$ и $Y$ тогда одинаково распределены и только тогда, когда $F_{X}(x)=F_{Y}(x)\,\forall x\in I$.

Две случайные величины $X$ и $Y$ независимы когда тогда и только тогда, $F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,\forall x,y\in I$. (См. далее Независимость (теория вероятностей) § Две случайные величины .)

Две случайные величины $X$ и $Y$ являются iid , если они независимы и одинаково распределены, т. е. тогда и только тогда, когда

${\begin{aligned}&F_{X}(x)=F_{Y}(x)\,&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,&\forall x,y\in I\end{aligned}}$ ( Уравнение 1 )

Определение для более чем двух случайных величин

Это определение естественным образом распространяется на более чем две случайные величины. Мы говорим, что $n$ случайные переменные $X_{1},\ldots ,X_{n}$ являются iid , если они независимы (см. далее Независимость (теория вероятностей) § Более двух случайных величин ) и одинаково распределены, т. е. тогда и только тогда, когда

${\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}$ ( Уравнение 2 )

где $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})$ обозначает совместную кумулятивную функцию распределения $X_{1},\ldots ,X_{n}$.

независимости

В теории вероятностей два события, ${\textstyle \color {red}A}$ и ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, называются независимыми тогда и только тогда, когда ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}\ \mathrm {and} \ {\color {green}B})=P({\color {red}A})P({\color {green}B})}$. В следующих, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}{\color {green}B})}$ это сокращение от ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}\ \mathrm {and} \ {\color {green}B})}$.

Предположим, что в эксперименте есть два события: ${\textstyle \color {red}A}$ и ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$. Если ${\textstyle P({\color {red}A})>0}$, есть вероятность ${\textstyle P({\color {green}B}|{\color {red}A})}$. Как правило, возникновение ${\textstyle \color {red}A}$ влияет на вероятность ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, которая называется условной вероятностью, и только тогда, когда наступление ${\textstyle \color {red}A}$ не влияет на возникновение ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, есть ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {green}B}|{\color {red}A})=P({\color {green}B})}$.

Примечание: Если ${\textstyle P({\color {red}A})>0}$ и ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {Green}B})>0}$, затем ${\textstyle \color {red}A}$ и ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$являются взаимонезависимыми, которые не могут быть установлены одновременно с взаимно несовместимыми; то есть независимость должна быть совместимой, а взаимное исключение должно быть взаимосвязанным.

Предполагать ${\textstyle \color {red}A}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, и ${\textstyle \definecolor {blue}{rgb}{0,0,1}\color {blue}C}$это три события. Если ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}P({\color {red}A}{\color {green}B})=P({\color {red}A})P({\color {green}B})}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\definecolor {blue}{rgb}{0,0,1}\definecolor {Blue}{rgb}{0,0,1}P({\color {green}B}{\color {blue}C})=P({\color {green}B})P({\color {blue}C})}$, ${\textstyle \definecolor {blue}{rgb}{0,0,1}P({\color {red}A}{\color {blue}C})=P({\color {red}A})P({\color {blue}C})}$, и ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\definecolor {blue}{rgb}{0,0,1}\definecolor {Blue}{rgb}{0,0,1}P({\color {red}A}{\color {green}B}{\color {blue}C})=P({\color {red}A})P({\color {green}B})P({\color {blue}C})}$ удовлетворены, то события ${\textstyle \color {red}A}$, ${\textstyle \definecolor {Green}{rgb}{0,0.5019607843137255,0}\definecolor {green}{rgb}{0,0.5019607843137255,0}\color {Green}B}$, и ${\textstyle \definecolor {blue}{rgb}{0,0,1}\color {blue}C}$ являются взаимно независимыми.

Более общее определение состоит в том, что существуют ${\textstyle n}$ события, ${\textstyle {\color {red}A}_{1},{\color {red}A}_{2},\ldots ,{\color {red}A}_{n}}$. Если вероятности событий произведения для любого ${\textstyle 2,3,\ldots ,n}$ события равны произведению вероятностей каждого события, то события ${\textstyle {\color {red}A}_{1},{\color {red}A}_{2},\ldots ,{\color {red}A}_{n}}$ независимы друг от друга.

Примеры

Пример 1

Последовательность результатов вращений справедливого или несправедливого колеса рулетки равна 1. Одним из следствий этого является то, что если шарик рулетки приземляется на «красное», например, 20 раз подряд, то следующее вращение не более или менее вероятно. быть «черным», чем при любом другом вращении (см. заблуждение игрока ).

Пример 2

Подбросьте монету 10 раз и запишите, сколько раз монета упадет орлом.

1. Независимый — каждый результат приземления не влияет на другой результат, что означает, что 10 результатов независимы друг от друга.
2. Одинаково распределено. Независимо от того, является ли монета честной (вероятность 1/2 орла) или нечестной, пока одна и та же монета используется для каждого подбрасывания, каждый подброс будет иметь ту же вероятность, что и каждый другой подброс.

Такая последовательность двух возможных исходов также называется процессом Бернулли .

Пример 3

Бросьте кубик 10 раз и запишите, сколько раз результат равен 1.

1. Независимый – каждый результат броска кубика не влияет на следующий, что означает, что 10 результатов независимы друг от друга.
2. Одинаково распределено. Независимо от того, является ли кубик честным или взвешенным, каждый бросок будет иметь ту же вероятность, что и каждый другой бросок. Напротив, бросок 10 разных кубиков, некоторые из которых имеют вес, а некоторые нет, не приведет к получению iid-переменных.

Пример 4

Выберите карту из стандартной колоды карт, содержащей 52 карты, затем поместите карту обратно в колоду. Повторите это 52 раза. Запишите количество появившихся королей.

1. Независимый – каждый результат карты не влияет на следующий, что означает, что 52 результата независимы друг от друга. Напротив, если каждая вытянутая карта не попадает в колоду, это повлияет на последующие взятия (вытягивание одного короля сделает вытягивание второго короля менее вероятным), и результат не будет независимым.
2. Одинаково распределено. После вытягивания из него одной карты каждый раз вероятность появления короля равна 4/52, что означает, что вероятность каждый раз одинакова.

Обобщения

Многие результаты, которые были впервые доказаны в предположении, что случайные величины являются iid, оказались верными даже при более слабом предположении о распределении.

Сменные случайные величины

Основная статья: Заменяемые случайные величины

Наиболее общим понятием, которое разделяет основные свойства iid-переменных, являются заменяемые случайные величины , введенные Бруно де Финетти . Заменяемость означает, что, хотя переменные не могут быть независимыми, будущие ведут себя как прошлые (формально любое значение конечной последовательности столь же вероятно, как и любая перестановка этих значений), совместное распределение вероятностей инвариантно относительно симметричной группы .

Это дает полезное обобщение: например, выборка без замены не является независимой, но ее можно заменить.

Процесс Леви

Основная статья: Процесс Леви

В стохастическом исчислении переменные iid рассматриваются как с дискретным временем процесс Леви : каждая переменная показывает, насколько она изменяется от одного момента времени к другому. Например, последовательность испытаний Бернулли интерпретируется как процесс Бернулли . Это можно обобщить, включив в него процессы Леви с непрерывным временем, и многие процессы Леви можно рассматривать как пределы переменных iid - например, процесс Винера является пределом процесса Бернулли.

В машинном обучении

Машинное обучение использует полученные в настоящее время огромные объемы данных для получения более быстрых и точных результатов. Поэтому нам необходимо использовать исторические данные с общей репрезентативностью. Если полученные данные не отражают общую ситуацию, то правила будут суммированы плохо или ошибочно.

Благодаря гипотезе iid количество отдельных случаев в обучающей выборке можно значительно сократить.

Это предположение делает максимизацию очень простой для математического расчета. Соблюдение предположения о независимом и одинаковом распределении в математике упрощает расчет функции правдоподобия в задачах оптимизации. Ввиду предположения независимости функцию правдоподобия можно записать следующим образом:

$l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )$.

Чтобы максимизировать вероятность наблюдаемого события, возьмите лог-функцию и максимизируйте параметр θ . То есть вычислить:

$\mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))$,

где

$\log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))$.

Компьютер очень эффективен для вычисления многократного сложения, но неэффективен для вычисления умножения. Это упрощение является основной причиной повышения вычислительной эффективности. И это логарифмическое преобразование также находится в процессе максимизации, превращая многие экспоненциальные функции в линейные.

По двум причинам эта гипотеза позволяет легко использовать центральную предельную теорему в практических приложениях.

1. Даже если выборка имеет более сложное негауссово распределение, она также может хорошо аппроксимироваться. Потому что это можно упростить от центральной предельной теоремы до распределения Гаусса. Для большого количества наблюдаемых выборок «сумма многих случайных величин будет иметь примерно нормальное распределение».
2. Вторая причина заключается в том, что точность модели зависит от простоты и репрезентативной способности модели, а также от качества данных. Потому что простота единицы облегчает интерпретацию и масштабирование, а репрезентативная мощность + масштаб единицы повышает точность модели. Как и в глубокой нейронной сети, каждый нейрон очень прост, но обладает сильной репрезентативной способностью, слой за слоем отображая более сложные функции для повышения точности модели.

См. также

• О теореме Финетти
• Попарно независимые переменные
• Центральная предельная теорема

Дальнейшее чтение

• Казелла, Джордж ; Бергер, Роджер Л. (2002), Статистический вывод , Расширенная серия Даксбери