Независимость (теория вероятностей)
Часть серии по статистике. |
Теория вероятностей |
---|
Независимость — фундаментальное понятие в теории вероятностей , а также в статистике и теории случайных процессов . Два события независимы статистически , независимы или стохастически независимы. [1] если, неформально говоря, появление одного не влияет на вероятность появления другого или, что то же самое, не влияет на шансы . Аналогично две случайные величины являются независимыми, если реализация одной не влияет на распределение вероятностей другой.
При работе с наборами из более чем двух событий необходимо различать два понятия независимости. События называются попарно независимыми, если любые два события в коллекции независимы друг от друга, тогда как взаимная независимость (или коллективная независимость ) событий означает, неформально говоря, что каждое событие не зависит от любой комбинации других событий в коллекции. Аналогичное понятие существует для наборов случайных величин. Взаимная независимость подразумевает попарную независимость, но не наоборот. В стандартной литературе по теории вероятностей, статистике и случайным процессам независимость без дополнительных уточнений обычно относится к взаимной независимости.
Определение
[ редактировать ]Для мероприятий
[ редактировать ]Два события
[ редактировать ]Два события и независимы (часто пишутся как или , где последний символ часто также используется для обозначения условной независимости ) тогда и только тогда, когда их совместная вероятность равна произведению их вероятностей: [2] : с. 29 [3] : с. 10
( Уравнение 1 ) |
указывает на то, что два независимых события и имеют общие элементы в своем пространстве выборки , так что они не являются взаимоисключающими (взаимоисключающими, если только ). Почему это определяет независимость, становится ясно, если переписать с условными вероятностями. как вероятность того, что событие происходит при условии, что событие произошло или предположительно произошло:
и аналогично
Таким образом, возникновение не влияет на вероятность , и наоборот. Другими словами, и независимы друг от друга. Хотя производные выражения могут показаться более интуитивными, они не являются предпочтительным определением, поскольку условные вероятности могут быть неопределенными, если или равны 0. Более того, предпочтительное определение в силу симметрии ясно дает понять, что когда не зависит от , также не зависит от .
Шансы
[ редактировать ]С точки зрения шансов , два события независимы тогда и только тогда, когда шансов отношение и — единица (1). Аналогично вероятности, это эквивалентно тому, что условные шансы равны безусловным:
или чтобы шансы на одно событие при условии, что другое событие были такими же, как и шансы на событие, при условии, что другое событие не произошло:
Отношение шансов можно определить как
или симметрично для коэффициентов дано и, следовательно, равен 1 тогда и только тогда, когда события независимы.
Более двух событий
[ редактировать ]Конечный набор событий если попарно независима, каждая пара событий независима [4] — то есть тогда и только тогда, когда для всех различных пар индексов ,
( Уравнение 2 ) |
Конечное множество событий является взаимно независимым , если каждое событие не зависит от любого пересечения других событий. [4] [3] : с. 11 - то есть тогда и только тогда, когда для каждого и для каждых k индексов ,
( Уравнение 3 ) |
Это называется правилом умножения независимых событий. Это не единственное условие, включающее в себя только произведение всех вероятностей всех отдельных событий; оно должно быть справедливым для всех подмножеств событий.
Для более чем двух событий взаимно независимый набор событий (по определению) попарно независим; но обратное не обязательно верно . [2] : с. 30
Вероятность регистрации и информационное содержание
[ редактировать ]С точки зрения логарифмической вероятности два события независимы тогда и только тогда, когда логарифмическая вероятность совместного события равна сумме логарифмических вероятностей отдельных событий:
В теории информации вероятность отрицательного журнала интерпретируется как информационное содержание , и, таким образом, два события независимы тогда и только тогда, когда информационное содержание объединенного события равно сумме информационного содержания отдельных событий:
см. в разделе «Информационное содержание § Аддитивность независимых событий» Подробности .
Для действительных случайных величин
[ редактировать ]Две случайные величины
[ редактировать ]Две случайные величины и независимы тогда и только тогда, когда элементы порожденной ими π -системы (и только тогда) независимы ; то есть для каждого и , события и являются независимыми событиями (как определено выше в уравнении 1 ). То есть, и с кумулятивными функциями распределения и , независимы тогда и только тогда, когда объединенная случайная величина имеет совместную кумулятивную функцию распределения [3] : с. 15
( Уравнение 4 ) |
или, что то же самое, если плотности вероятности и и совместная плотность вероятности существовать,
Более двух случайных величин
[ редактировать ]Конечное множество случайные величины попарно независима тогда и только тогда, когда каждая пара случайных величин независима. Даже если набор случайных величин попарно независим, он не обязательно является взаимно независимым, как определено ниже.
Конечное множество случайные величины тогда взаимно независимы и только тогда, когда для любой последовательности чисел , события являются взаимно независимыми событиями (как определено выше в уравнении 3 ). Это эквивалентно следующему условию для совместной кумулятивной функции распределения . Конечное множество случайные величины взаимно независимы тогда и только тогда, когда [3] : с. 16
( Уравнение 5 ) |
Здесь нет необходимости требовать, чтобы распределение вероятностей факторизовалось для всех возможных -подмножества элементов, как в случае с события. Это не требуется, потому что, например, подразумевает .
Сторонники теории меры могут предпочесть заменить события для мероприятий в приведенном выше определении, где любое множество Бореля . Это определение в точности эквивалентно приведенному выше, когда значения случайных величин являются действительными числами . Его преимущество заключается в том, что он работает также со случайными величинами с комплексными значениями или со случайными величинами, принимающими значения в любом измеримом пространстве (включая топологические пространства, наделенные соответствующими σ-алгебрами).
Для действительных случайных векторов
[ редактировать ]Два случайных вектора и называются независимыми, если [5] : с. 187
( Уравнение 6 ) |
где и обозначают кумулятивные функции распределения и и обозначает их совместную кумулятивную функцию распределения. Независимость и часто обозначается . Написано покомпонентно, и называются независимыми, если
Для случайных процессов
[ редактировать ]Для одного случайного процесса
[ редактировать ]Определение независимости может быть расширено от случайных векторов до случайного процесса . Следовательно, для независимого стохастического процесса требуется, чтобы случайные величины, полученные путем выборки процесса в любой раз являются независимыми случайными величинами для любых . [6] : с. 163
Формально случайный процесс называется независимым тогда и только тогда, когда для всех и для всех
( Уравнение 7 ) |
где . Независимость случайного процесса — это свойство внутри случайного процесса, а не между двумя случайными процессами.
Для двух случайных процессов
[ редактировать ]Независимость двух случайных процессов - это свойство двух случайных процессов. и которые определены в одном и том же вероятностном пространстве . Формально два случайных процесса и называются независимыми, если для всех и для всех , случайные векторы и независимы, [7] : с. 515 то есть если
( Уравнение 8 ) |
Независимые σ-алгебры
[ редактировать ]Оба определения, приведенные выше ( уравнение 1 и уравнение 2 ), обобщаются следующим определением независимости σ-алгебр . Позволять — вероятностное пространство и пусть и — две суб-σ-алгебры . и называются независимыми, если когда бы то ни было и ,
Аналогично, конечное семейство σ-алгебр , где является набором индексов , называется независимым тогда и только тогда, когда
и бесконечное семейство σ-алгебр называется независимым, если все его конечные подсемейства независимы.
Новое определение напрямую связано с предыдущими:
- Два события независимы (в старом смысле) тогда и только тогда, когда порождаемые ими σ-алгебры независимы (в новом смысле). σ-алгебра, порожденная событием это, по определению,
- Две случайные величины и определено более независимы (в старом смысле) тогда и только тогда, когда порождаемые ими σ-алгебры независимы (в новом смысле). σ-алгебра, порожденная случайной величиной принимая значения в некотором измеримом пространстве состоит по определению из всех подмножеств формы , где любое измеримое подмножество .
Используя это определение, легко показать, что если и являются случайными величинами и постоянно, то и независимы, поскольку σ-алгебра, порожденная постоянной случайной величиной, является тривиальной σ-алгеброй . События с нулевой вероятностью не могут повлиять на независимость, поэтому независимость также имеет место, если только Pr- почти наверняка постоянен.
Характеристики
[ редактировать ]Самостоятельность
[ редактировать ]Обратите внимание, что событие независимо от самого себя тогда и только тогда, когда
Таким образом, событие независимо от самого себя тогда и только тогда, когда оно почти наверняка произойдет или его дополнение почти наверняка произойдет; этот факт полезен при доказательстве законов нуля и единицы . [8]
Ожидание и ковариация
[ редактировать ]Если и являются статистически независимыми случайными величинами, то оператор ожидания имеет собственность
- [9] : с. 10
и ковариация равно нулю, как следует из
Обратное неверно: если две случайные величины имеют ковариацию 0, они все равно не могут быть независимыми.
Аналогично для двух случайных процессов и : Если они независимы, то они некоррелированы . [10] : с. 151
Характеристическая функция
[ редактировать ]Две случайные величины и независимы тогда и только тогда, когда характеристическая функция случайного вектора удовлетворяет
В частности, характеристическая функция их суммы является произведением их предельных характеристических функций:
хотя обратное импликация неверно. Случайные величины, удовлетворяющие последнему условию, называются субнезависимыми .
Примеры
[ редактировать ]Бросок кубиков
[ редактировать ]Событие выпадения 6 при первом броске кубика и событие выпадения 6 во второй раз независимы . Напротив, событие выпадения 6 при первом броске кубика и событие, когда сумма чисел, увиденных при первом и втором испытании, равна 8, не являются независимыми.
Вытягивание карт
[ редактировать ]карт взяты с Если из колоды заменой две карты, то события вытягивания красной карты при первой попытке и события вытягивания красной карты при второй попытке независимы . Напротив, если вытягиваются две карты без из колоды карт замены, события вытягивания красной карты в первой попытке и события вытягивания красной карты во второй попытке не являются независимыми, поскольку колода, в которой была красная карта, не является независимой. У удаленной карты пропорционально меньше красных карточек.
Парная и взаимная независимость
[ редактировать ]Рассмотрим два показанных вероятностных пространства. В обоих случаях и . Случайные величины в первом пространстве попарно независимы, поскольку , , и ; но три случайные величины не являются взаимно независимыми. Случайные величины во втором пространстве являются как попарно независимыми, так и взаимно независимыми. Чтобы проиллюстрировать разницу, рассмотрим обусловленность двумя событиями. В попарно независимом случае, хотя любое одно событие не зависит от каждого из двух других в отдельности, оно не является независимым от пересечения двух других:
Однако во взаимно независимом случае
Тройная независимость, но нет попарной независимости
[ редактировать ]Можно создать пример с тремя событиями, в котором
и все же никакие два из трех событий не являются попарно независимыми (и, следовательно, набор событий не является взаимно независимым). [11] Этот пример показывает, что взаимная независимость включает требования к произведениям вероятностей всех комбинаций событий, а не только отдельных событий, как в этом примере.
Условная независимость
[ редактировать ]Для мероприятий
[ редактировать ]События и условно независимы относительно события когда
.
Для случайных величин
[ редактировать ]Интуитивно, две случайные величины и условно независимы, учитывая если однажды известно, значение не добавляет никакой дополнительной информации о . Например, два измерения и того же базового количества не являются независимыми, но они являются условно независимыми при условии, что (если только ошибки в двух измерениях как-то не связаны).
Формальное определение условной независимости основано на идее условных распределений . Если , , и являются дискретными случайными величинами , то мы определяем и быть условно независимым, учитывая если
для всех , и такой, что . С другой стороны, если случайные величины непрерывны и имеют совместную функцию плотности вероятности , затем и условно независимы, учитывая если
для всех действительных чисел , и такой, что .
Если дискретный и условно независимы, учитывая , затем
для любого , и с . То есть условное распределение для данный и то же самое, что дано один. Аналогичное уравнение справедливо для функций условной плотности вероятности в непрерывном случае.
Независимость можно рассматривать как особый вид условной независимости, поскольку вероятность можно рассматривать как своего рода условную вероятность при отсутствии событий.
История
[ редактировать ]До 1933 года независимость в теории вероятностей определялась устно. Например, де Муавр дал следующее определение: «Два события независимы, когда они не имеют связи одно с другим и что возникновение одного не ускоряет и не препятствует совершению другого». [12] Если имеется n независимых событий, вероятность того, что все они произойдут, вычислялась как произведение вероятностей этих n событий. Видимо, существовало убеждение, что эта формула является следствием приведенного определения. (Иногда это называли теоремой умножения.) Конечно, доказательство его утверждения не может работать без дальнейших, более формальных неявных предположений.
Определение независимости, данное в этой статье, стало стандартным определением (ныне используемым во всех книгах) после того, как оно появилось в 1933 году как часть аксиоматизации вероятности Колмогорова. [13] Колмогоров приписал это С. Н. Бернштейну и процитировал публикацию, вышедшую на русском языке в 1927 году. [14]
К сожалению, ни Бернштейн, ни Колмогоров не знали о работах Георга Больмана . Больман дал одно и то же определение двум событиям 1901 года. [15] и для n событий 1908 г. [16] В последней статье он подробно изучил свою концепцию. Например, он привел первый пример, показывающий, что попарная независимость не означает взаимной независимости. Даже сегодня Больмана цитируют редко. Более подробную информацию о его работе можно найти в О вкладе Георга Больмана в теорию вероятностей» статье Ульриха Кренгеля « . [17]
См. также
[ редактировать ]- Копула (статистика)
- Независимые и одинаково распределенные случайные величины
- Средняя зависимость
- Нормально распределенные и некоррелированные не подразумевают независимость.
Ссылки
[ редактировать ]- ^ Рассел, Стюарт; Норвиг, Питер (2002). Искусственный интеллект: современный подход . Прентис Холл . п. 478 . ISBN 0-13-790395-2 .
- ^ Jump up to: а б Флореску, Ионут (2014). Вероятность и случайные процессы . Уайли. ISBN 978-0-470-62455-5 .
- ^ Jump up to: а б с д Галлагер, Роберт Г. (2013). Теория случайных процессов для приложений . Издательство Кембриджского университета. ISBN 978-1-107-03975-9 .
- ^ Jump up to: а б Феллер, В. (1971). «Стохастическая независимость». Введение в теорию вероятностей и ее приложения . Уайли .
- ^ Папулис, Афанасиос (1991). Вероятность, случайные величины и случайные процессы . МакГроу Хилл. ISBN 0-07-048477-5 .
- ^ Хвэй, Пяо (1997). Теория и проблемы вероятностей, случайных величин и случайных процессов . МакГроу-Хилл. ISBN 0-07-030644-3 .
- ^ Амос Лапидот (8 февраля 2017 г.). Фонд цифровых коммуникаций . Издательство Кембриджского университета. ISBN 978-1-107-17732-1 .
- ^ Дарретт, Ричард (1996). Вероятность: теория и примеры (Второе изд.). стр. 62
- ^ Э. Джейкман. МОДЕЛИРОВАНИЕ КОЛЕБАНИЙ В РАССЕЯННЫХ ВОЛНАХ . ISBN 978-0-7503-1005-5 .
- ^ Пак, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3 .
- ^ Джордж, Глин, «Проверка независимости трех событий», Mathematical Gazette 88, ноябрь 2004 г., 568. PDF
- ^ Цитируется по: «Введение в вероятность» Гринстеда и Снелла. В: Проект ШАНС. Версия от 4 июля 2006 г.
- ^ Колмогоров, Андрей (1933). Основные понятия расчета вероятностей (на немецком языке). Берлин: Юлиус Шпрингер Перевод: Колмогоров, Андрей (1956). Перевод:Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. ISBN 978-0-8284-0023-7.
- ↑ С. Н. Бернштейн , Теория вероятностей (рус.), Москва, 1927 (4 издания, последнее 1946 г.)
- ^ Георг Больманн : Математика страхования жизни, Энциклопедия математических наук, Том I, Часть 2, ID статьи 4b (1901), 852–917
- ^ Георг Больманн : Основные концепции расчета вероятности в их применении к страхованию жизни, Atti del IV. Межд. твой товарищ. Рим, Том III (1908), 244–278.
- ^ de: Ульрих Кренгель : О вкладе Георга Больмана в теорию вероятностей (PDF; 6,4 МБ), Электронный журнал истории вероятностей и статистики, 2011.
Внешние ссылки
[ редактировать ]- СМИ, связанные с независимостью (теория вероятностей) на Викискладе?