Функция плотности вероятности
Эта статья нуждается в дополнительных цитатах для проверки . ( июнь 2022 г. ) |
В теории вероятностей функция плотности вероятности ( PDF ), функция плотности или плотность — абсолютно непрерывной случайной величины это функция , значение которой в любой заданной выборке (или точке) в выборочном пространстве (набор возможных значений, принимаемых случайная величина) можно интерпретировать как предоставление относительной вероятности того, что значение случайной величины будет равно этой выборке. [2] [3] Другими словами, плотность вероятности — это вероятность на единицу длины, иными словами, в то время как абсолютная вероятность того, что непрерывная случайная величина примет какое-либо конкретное значение, равна 0 (поскольку изначально существует бесконечное множество возможных значений), значение PDF Для двух разных выборок можно использовать, чтобы в любом конкретном выборе случайной величины сделать вывод, насколько более вероятно, что случайная величина будет близка к одной выборке по сравнению с другой выборкой.
Точнее, PDF используется для указания вероятности случайной величины попадания в определенный диапазон значений , а не для принятия какого-либо одного значения. Эта вероятность определяется интегралом PDF этой переменной в этом диапазоне, то есть она определяется площадью под функцией плотности, но над горизонтальной осью и между самым низким и самым большим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а площадь под всей кривой равна 1.
Термины «функция распределения вероятностей» и «функция вероятности» также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди вероятностников и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не функция массы вероятности (PMF), а не функция распределения вероятностей. плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшей путанице. [4] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, которые принимают значения в счетном наборе), тогда как PDF используется в контексте непрерывных случайных величин.
Пример
[ редактировать ]Предположим, бактерии определенного вида обычно живут от 20 до 30 часов. Вероятность того, что бактерия проживет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет шанса, что какая-либо бактерия погибнет ровно через 5 часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ равен 0,02 (т. е. 2%). Тогда вероятность того, что бактерия погибнет между 5 и 5,001 часами, должна быть около 0,087, поскольку этот временной интервал составляет одну десятую длины предыдущего. Вероятность того, что бактерия погибнет в период от 5 часов до 5,0001 часа, должна составлять около 0,0087 и так далее.
В данном примере соотношение (вероятность проживания в течение интервала)/(продолжительность интервала) примерно постоянно и равно 2 в час (или 2 часа). −1 ). Например, существует вероятность 0,02 умереть в интервале 0,01 часа между 5 и 5,01 часами и (вероятность 0,02 / 0,01 часа) = 2 часа. −1 . Это количество 2 часа −1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, можно записать как (2 часа −1 ) дт . Это вероятность того, что бактерия погибнет в течение бесконечно малого промежутка времени около 5 часов, где dt — продолжительность этого окна. Например, вероятность того, что он проживет дольше 5 часов, но меньше (5 часов + 1 наносекунда), равна (2 часа −1 )×(1 наносекунда) ≈ 6 × 10 −13 (с использованием перевода единиц 3,6 × 10 12 наносекунды = 1 час).
Существует функция плотности вероятности f с f (5 часов) = 2 часа. −1 . Интеграл . от f в любом временном окне (не только в бесконечно малых, но и в больших окнах) представляет собой вероятность того, что бактерия погибнет в этом окне
Абсолютно непрерывные одномерные распределения
[ редактировать ]Функция плотности вероятности чаще всего связана с абсолютно непрерывными одномерными распределениями . величина Случайная имеет плотность , где является неотрицательной интегрируемой по Лебегу функцией, если:
Следовательно, если — распределения кумулятивная функция , затем: и (если является непрерывным в )
Интуитивно можно подумать как вероятность попадающий в бесконечно малый интервал .
Формальное определение
[ редактировать ]( Это определение можно распространить на любое распределение вероятностей, используя теоретико -мерное определение вероятности . )
величина Случайная со значениями в измеримом пространстве (обычно с борелевскими множествами как измеримыми подмножествами) имеет в качестве распределения вероятностей меру X ∗ P на : плотность относительно эталонной меры на – производная Радона–Никодима :
То есть f — это любая измеримая функция, обладающая свойством: для любого измеримого множества
Обсуждение
[ редактировать ]В описанном выше случае непрерывной одномерной меры эталонной мерой является мера Лебега . Функция массы вероятности дискретной случайной величины — это плотность относительно меры подсчета в выборочном пространстве (обычно наборе целых чисел или некотором его подмножестве).
Невозможно определить плотность относительно произвольной меры (например, нельзя выбрать меру отсчета в качестве эталона для непрерывной случайной величины). Более того, когда она существует, плотность почти уникальна, а это означает, что любые две такие плотности совпадают почти везде .
Дополнительная информация
[ редактировать ]В отличие от вероятности, функция плотности вероятности может принимать значения больше единицы; например, непрерывное равномерное распределение на интервале [0, 1/2] имеет плотность вероятности f ( x ) = 2 для 0 ≤ x ≤ 1/2 и f ( x ) = 0 в других местах.
Стандартное нормальное распределение имеет плотность вероятности
( если Если задана случайная величина X и ее распределение допускает функцию плотности вероятности ожидаемое значение существует ) f , то ожидаемое значение X можно рассчитать как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин ее не имеют; не делает этого и распределение Кантора , даже если оно не имеет дискретной компоненты, т. е. не приписывает положительную вероятность какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) непрерывна абсолютно . В этом случае: F дифференцируема почти всюду , и ее производную можно использовать в качестве плотности вероятности:
Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного набора { a } равна нулю; то же самое справедливо для конечных и счетных множеств.
Две плотности вероятности f и g представляют одно и то же распределение вероятностей , если они различаются только на множестве Лебега нулевой меры .
В области статистической физики неформальная переформулировка приведенного выше соотношения между производной кумулятивной функции распределения в качестве определения функции плотности вероятности обычно используется и функцией плотности вероятности. Это альтернативное определение следующее:
Если dt — бесконечно малое число, вероятность того, что X входит в интервал ( t , t + dt ) , равна f ( t ) dt , или:
Связь между дискретным и непрерывным распределениями
[ редактировать ]Некоторые дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную часть, можно представить с помощью обобщенной функции плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в том смысле, который определен выше, это можно сделать с распределением .) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера , то есть принимая в качестве значений -1 или 1, с вероятностью По 1 ⁄ 2 каждый. Плотность вероятности, связанная с этой переменной, равна:
В более общем смысле, если дискретная переменная может принимать n различных значений среди действительных чисел, то соответствующая функция плотности вероятности имеет вид: где дискретные значения, доступные переменной и — вероятности, связанные с этими значениями.
Это существенно унифицирует трактовку дискретных и непрерывных распределений вероятностей. Приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как среднее значение , дисперсия и эксцесс ), исходя из формул, данных для непрерывного распределения вероятности.
Семейства плотностей
[ редактировать ]Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неуказанными параметрами . Например, нормальное распределение параметризуется с точки зрения среднего значения и дисперсии , обозначаемых как и соответственно, давая семейство плотностей Разные значения параметров описывают разные распределения разных случайных величин на одном и том же выборочном пространстве (один и тот же набор всех возможных значений переменной); это выборочное пространство является областью семейства случайных величин, которые описывает это семейство распределений. Заданный набор параметров описывает одно распределение внутри семейства, имеющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициента нормализации распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью — вероятность того, что что-то произойдет в области, равна 1). Этот коэффициент нормализации находится за пределами ядра распределения.
Поскольку параметры являются постоянными, перепараметризация плотности с точки зрения других параметров, чтобы дать характеристику другой случайной величины в семействе, означает просто подстановку в формулу новых значений параметров вместо старых.
Плотности, связанные с несколькими переменными
[ редактировать ]Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с набором в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, такая, что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация набора область D переменные попадают в
Если F ( x 1 , ..., x n ) = Pr( X 1 ≤ x 1 , ..., X n ≤ x n ) является кумулятивной функцией распределения вектора ( X 1 , ..., X n ) , то совместную функцию плотности вероятности можно вычислить как частную производную
Предельная плотность
[ редактировать ]Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 , ..., X n, путем интегрирования по всем значениям других n - 1 переменных:
Независимость
[ редактировать ]Непрерывные случайные величины X 1 , ..., X n, допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда
Следствие
[ редактировать ]Если совместную функцию плотности вероятности вектора из n случайных величин можно разложить в произведение n функций одной переменной (где каждое f i не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, и предельная функция плотности вероятности каждой из них определяется выражением
Пример
[ редактировать ]Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции набора двух переменных. Давайте позвоним двумерный случайный вектор координат ( X , Y ) : вероятность получить в четверти плоскости x и y положительных
Функция случайных величин и замена переменных в функции плотности вероятности
[ редактировать ]Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ) , можно (но часто не обязательно; см. ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «заменой переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, однородного) генератора случайных чисел.
Соблазнительно думать, что для того, чтобы найти ожидаемое значение ( g ( X )) нужно сначала найти плотность вероятности fg E ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений вместо этого можно найти
Значения двух интегралов одинаковы во всех случаях, когда и X , и g ( X ) фактически имеют функции плотности вероятности. Не обязательно, чтобы g была взаимно однозначной функцией . В некоторых случаях последний интеграл вычисляется гораздо проще, чем первый. См. Закон бессознательного статистика .
Скаляр в скаляр
[ редактировать ]Позволять будет монотонной функцией , то результирующая функция плотности будет равна [5]
Здесь г −1 обозначает обратную функцию .
Это следует из того, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть, или
Для функций, которые не являются монотонными, функция плотности вероятности для y равна где n ( y ) — количество решений по x для уравнения , и это решения.
Вектор в вектор
[ редактировать ]Предположим, что x — n -мерная случайная величина с плотностью соединений f . Если y = G ( x ) , где — биективная дифференцируемая функция , то y имеет плотность pY G : с дифференциалом, рассматриваемым как якобиан обратного G (⋅) , оцененного в y . [6]
Например, в двумерном случае x = ( x 1 , x 2 ) предположим, что преобразование G задается как y 1 = G 1 ( x 1 , x 2 ) , y 2 = G 2 ( x 1 , x 2 ) ) с обратными x 1 = G 1 −1 ( y1 , y2 2 ) , x2 2 = GG2 −1 ( у 1 , у 2 ) . Совместное распределение для y = ( y 1 , y 2 ) имеет плотность [7]
Вектор в скаляр
[ редактировать ]Позволять быть дифференцируемой функцией и быть случайным вектором, принимающим значения в , быть функцией плотности вероятности и быть дельта-функцией Дирака . Используя приведенные выше формулы, можно определить , функция плотности вероятности , который будет задан
Этот результат приводит к закону бессознательного статистика :
Доказательство:
Позволять быть сжатой случайной величиной с функцией плотности вероятности (т.е. константа, равная нулю). Пусть случайный вектор и преобразование быть определен как
Ясно, что является биективным отображением, а якобиан дается: которая представляет собой верхнетреугольную матрицу с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что которые, если их маргинализировать приводит к желаемой функции плотности вероятности.
Суммы независимых случайных величин
[ редактировать ]Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:
Предыдущее соотношение можно обобщить на сумму N независимых случайных величин с плотностями 1 , ..., UN : U
Это можно получить в результате двусторонней замены переменных, включающей Y = U + V и Z = V , аналогично примеру ниже для фактора независимых случайных величин.
Произведения и факторы независимых случайных величин
[ редактировать ]Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность произведения Y = UV и частного Y = U / V можно вычислить путем замены переменных.
Пример: распределение частных
[ редактировать ]Чтобы вычислить частное Y = U / V двух независимых случайных величин U и V , определите следующее преобразование:
Затем плотность соединений p ( y , z ) можно вычислить путем замены переменных с U , V на Y , Z , а Y можно получить, исключив Z из плотности соединений.
Обратное преобразование
Абсолютное значение матрицы Якоби определителя этого преобразования:
Таким образом:
А распределение Y можно вычислить, исключив Z :
Этот метод критически требует, чтобы преобразование от U , V к Y , Z было биективным . Вышеупомянутое преобразование удовлетворяет этому требованию, поскольку Z можно напрямую отобразить обратно в V , и для данного V частное U / V является монотонным . То же самое относится и к сумме U + V , разности U − V и произведению UV .
Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.
Пример: частное двух стандартных нормалей.
[ редактировать ]Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:
Трансформируем, как описано выше:
Это приводит к:
Это плотность стандартного распределения Коши .
См. также
[ редактировать ]- Оценка плотности - оценка ненаблюдаемой основной функции плотности вероятности.
- Оценка плотности ядра —
- Функция правдоподобия - функция, связанная со статистикой и теорией вероятностей.
- Список вероятностных распределений
- Амплитуда вероятности - комплексное число, квадрат абсолютного значения которого является вероятностью.
- Функция массы вероятности - Распределение вероятностей дискретной переменной
- Вторичная мера
- используется В качестве плотности вероятности позиции :
- Атомная орбиталь - функция, описывающая электрон в атоме.
- Домашний ареал – территория, на которой животное живет и периодически перемещается.
Ссылки
[ редактировать ]- ^ «Обзор статистики AP - кривые плотности и нормальное распределение» . Архивировано из оригинала 2 апреля 2015 года . Проверено 16 марта 2015 г.
- ^ Гринстед, Чарльз М.; Снелл, Дж. Лори (2009). «Условная вероятность — дискретная условная» (PDF) . Введение Гринстеда и Снелла в вероятность . Тексты апельсиновой рощи. ISBN 978-1616100469 . Архивировано (PDF) из оригинала 25 апреля 2003 г. Проверено 25 июля 2019 г.
- ^ «вероятность. Является ли равномерно случайное число на действительной линии допустимым распределением?» . Крест проверен . Проверено 6 октября 2021 г.
- ^ Орд, Дж. К. (1972) Семейства частотных распределений , Гриффин. ISBN 0-85264-137-0 (например, Таблица 5.1 и Пример 5.4)
- ^ Зигрист, Кайл. «Преобразования случайных величин» . Статистика LibreTexts . Проверено 22 декабря 2023 г.
- ^ Девор, Джей Л.; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями . Сенгаге. п. 263. ИСБН 978-0-534-40473-4 .
- ^ Дэвид, Стирзакер (1 января 2007 г.). Элементарная вероятность . Издательство Кембриджского университета. ISBN 978-0521534284 . OCLC 851313783 .
Дальнейшее чтение
[ редактировать ]- Биллингсли, Патрик (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: Джон Уайли и сыновья. ISBN 0-471-00710-2 .
- Казелла, Джордж ; Бергер, Роджер Л. (2002). Статистический вывод (второе изд.). Томсон Обучение. стр. 34–37. ISBN 0-534-24312-6 .
- Стирзакер, Дэвид (2003). Элементарная вероятность . Издательство Кембриджского университета. ISBN 0-521-42028-8 . Главы с 7 по 9 посвящены непрерывным переменным.
Внешние ссылки
[ редактировать ]- Ушаков, Н.Г. (2001) [1994], «Плотность распределения вероятностей» , Энциклопедия математики , EMS Press
- Вайсштейн, Эрик В. «Функция плотности вероятности» . Математический мир .