Функция плотности вероятности

Из Википедии, бесплатной энциклопедии

Ящичный график и функция плотности вероятности нормального распределения N (0, σ 2 ) .
Геометрическая визуализация моды , медианы и среднего значения произвольной унимодальной функции плотности вероятности. [1]

В теории вероятностей функция плотности вероятности ( PDF ), функция плотности или плотность абсолютно непрерывной случайной величины это функция , значение которой в любой заданной выборке (или точке) в выборочном пространстве (набор возможных значений, принимаемых случайная величина) можно интерпретировать как предоставление относительной вероятности того, что значение случайной величины будет равно этой выборке. [2] [3] Другими словами, плотность вероятности — это вероятность на единицу длины, иными словами, в то время как абсолютная вероятность того, что непрерывная случайная величина примет какое-либо конкретное значение, равна 0 (поскольку изначально существует бесконечное множество возможных значений), значение PDF Для двух разных выборок можно использовать, чтобы в любом конкретном отборе случайной величины сделать вывод, насколько более вероятно, что случайная величина будет близка к одной выборке по сравнению с другой выборкой.

Точнее, PDF используется для указания вероятности случайной величины попадания в определенный диапазон значений , а не для принятия какого-либо одного значения. Эта вероятность определяется интегралом PDF этой переменной в этом диапазоне, то есть она определяется площадью под функцией плотности, но над горизонтальной осью и между самым низким и самым большим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а площадь под всей кривой равна 1.

Термины «функция распределения вероятностей» и «функция вероятности» также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди вероятностников и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция распределения вероятностей. функция массы вероятности (PMF), а не функция распределения вероятностей (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшей путанице. [4] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, которые принимают значения в счетном наборе), тогда как PDF используется в контексте непрерывных случайных величин.

Пример [ править ]

Примеры четырех непрерывных функций плотности вероятности.

Предположим, бактерии определенного вида обычно живут от 20 до 30 часов. Вероятность того, что бактерия проживет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что какая-либо бактерия погибнет ровно через 5 часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ равен 0,02 (т. е. 2%). Тогда вероятность того, что бактерия погибнет между 5 и 5,001 часами, должна составлять около 0,087, поскольку этот временной интервал составляет одну десятую длины предыдущего. Вероятность того, что бактерия погибнет в период от 5 часов до 5,0001 часа, должна составлять около 0,0087 и так далее.

В данном примере соотношение (вероятность проживания в течение интервала)/(продолжительность интервала) примерно постоянно и равно 2 в час (или 2 часа). −1 ). Например, существует вероятность 0,02 умереть в интервале 0,01 часа между 5 и 5,01 часами и (вероятность 0,02 / 0,01 часа) = 2 часа. −1 . Это количество 2 часа −1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, можно записать как (2 часа −1 ) дт . Это вероятность того, что бактерия погибнет в течение бесконечно малого промежутка времени около 5 часов, где dt — продолжительность этого окна. Например, вероятность того, что он проживет дольше 5 часов, но меньше (5 часов + 1 наносекунда), равна (2 часа −1 )×(1 наносекунда) ≈ 6 × 10 −13 (с использованием перевода единиц 3,6 × 10 12 наносекунды = 1 час).

Существует функция плотности вероятности f с f (5 часов) = 2 часа. −1 . Интеграл в любом временном окне (не только в бесконечно малых, но и в больших окнах) представляет собой вероятность того , от f что бактерия погибнет в этом окне.

непрерывные распределения Абсолютно одномерные

Функция плотности вероятности чаще всего связана с абсолютно непрерывными одномерными распределениями . величина Случайная имеет плотность , где является неотрицательной интегрируемой по Лебегу функцией, если:

Следовательно, если кумулятивная функция распределения , затем:

и если является непрерывным в )

Интуитивно можно подумать как вероятность попадающий в бесконечно малый интервал .

Формальное определение [ править ]

( Это определение можно распространить на любое распределение вероятностей, используя теоретико-мерное определение вероятности . )

величина Случайная со значениями в измеримом пространстве (обычно с борелевскими множествами как измеримыми подмножествами) имеет в качестве распределения вероятностей меру X P на : плотность относительно эталонной меры на производная Радона–Никодима :

То есть f — это любая измеримая функция, обладающая свойством:

для любого измеримого множества

Обсуждение [ править ]

В рассмотренном выше случае непрерывной одномерной меры эталонной мерой является мера Лебега . Функция массы вероятности дискретной случайной величины — это плотность относительно меры подсчета в выборочном пространстве (обычно наборе целых чисел или некотором его подмножестве).

Невозможно определить плотность относительно произвольной меры (например, нельзя выбрать меру отсчета в качестве эталона для непрерывной случайной величины). Более того, когда она существует, плотность почти уникальна, а это означает, что любые две такие плотности совпадают почти везде .

Подробности [ править ]

В отличие от вероятности, функция плотности вероятности может принимать значения больше единицы; например, непрерывное равномерное распределение на интервале [0, 1/2] имеет плотность вероятности f ( x ) = 2 для 0 ≤ x ≤ 1/2 и f ( x ) = 0 в других местах.

Стандартное нормальное распределение имеет плотность вероятности

случайная величина X Если задана и ее распределение допускает функцию плотности вероятности f , то ожидаемое значение X ( если ожидаемое значение существует) можно рассчитать как

Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин ее не имеют; не делает этого и распределение Кантора , даже если оно не имеет дискретной компоненты, т. е. не приписывает положительную вероятность какой-либо отдельной точке.

Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F почти всюду дифференцируема , и ее производную можно использовать в качестве плотности вероятности:

Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного набора { a } равна нулю; то же самое справедливо для конечных и счетных множеств.

Две плотности вероятности f и g представляют одно и то же распределение вероятностей , если они различаются только на множестве Лебега нулевой меры .

В области статистической физики неформальная переформулировка приведенного выше соотношения между производной кумулятивной функции распределения в качестве определения функции плотности вероятности обычно используется и функцией плотности вероятности. Это альтернативное определение следующее:

Если dt — бесконечно малое число, вероятность того, что X входит в интервал ( t , t + dt ), равна f ( t ) dt , или:

между дискретным и распределениями Связь непрерывным

Некоторые дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную часть, можно представить с помощью обобщенной функции плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в том смысле, который определен выше, это можно сделать с распределением . ) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера , то есть принимая в качестве значений -1 или 1, с вероятностью По 1 2 каждый. Плотность вероятности, связанная с этой переменной, равна:

В более общем смысле, если дискретная переменная может принимать n различных значений среди действительных чисел, то соответствующая функция плотности вероятности имеет вид:

где дискретные значения, доступные переменной и — вероятности, связанные с этими значениями.

Это существенно унифицирует трактовку дискретных и непрерывных распределений вероятностей. Приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности.

Семейства плотностей [ править ]

Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неуказанными параметрами . Например, нормальное распределение параметризуется с точки зрения среднего значения и дисперсии , обозначаемых как и соответственно, давая семейство плотностей

Разные значения параметров описывают разные распределения разных случайных величин на одном и том же выборочном пространстве (один и тот же набор всех возможных значений переменной); это выборочное пространство является областью семейства случайных величин, которые описывает это семейство распределений. Заданный набор параметров описывает одно распределение внутри семейства, имеющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициента нормализации распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью — вероятность того, что что-то произойдет в области, равна 1). Этот коэффициент нормализации находится за пределами ядра распределения.

Поскольку параметры являются константами, перепараметризация плотности с точки зрения других параметров, чтобы дать характеристику другой случайной величины в семействе, означает просто подстановку в формулу новых значений параметров вместо старых.

Плотности, связанные с несколькими переменными [ править ]

Для непрерывных случайных величин X 1 , ..., X n также можно определить функцию плотности вероятности, связанную с набором в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, такая, что для любой области D в n -мерном пространстве значений переменных X 1 , ..., X n вероятность того, что реализация набора в область D переменные попадают

Если F ( x 1 , ..., x n ) = Pr( X 1 x 1 , ..., X n x n ) является кумулятивной функцией распределения вектора ( X 1 , ..., X n ) , то совместную функцию плотности вероятности можно вычислить как частную производную

плотность Предельная

Для i = 1, 2, ..., n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 , ..., X n, путем интегрирования по всем значениям других n - 1 переменных:

Независимость [ править ]

Непрерывные случайные величины X 1 , ..., X n , допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда

Следствие [ править ]

Если совместную функцию плотности вероятности вектора из n случайных величин можно разложить в произведение n функций одной переменной

(где каждое f i не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, и предельная функция плотности вероятности каждой из них определяется выражением

Пример [ править ]

Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции набора двух переменных. Давайте позвоним двумерный случайный вектор координат ( X , Y ) : вероятность получить положительных x и y в четверти плоскости

изменение переменных в функции вероятности плотности Функция случайных величин и

Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ) , можно (но часто не обязательно; см. ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «заменой переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, однородного) генератора случайных чисел.

Соблазнительно думать, что для того, чтобы найти ожидаемое значение ( g ( X )) нужно сначала найти плотность вероятности fg E ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений

вместо этого можно найти

Значения двух интегралов одинаковы во всех случаях, когда и X , и g ( X ) фактически имеют функции плотности вероятности. Не обязательно, чтобы g была взаимно однозначной функцией . В некоторых случаях последний интеграл вычисляется гораздо проще, чем первый. См. Закон бессознательного статистика .

Скаляр в скаляр [ править ]

Позволять будет монотонной функцией , то результирующая функция плотности будет равна [5]

Здесь г −1 обозначает обратную функцию .

Это следует из того, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть,

или

Для функций, которые не являются монотонными, функция плотности вероятности для y равна

где n ( y ) — количество решений по x для уравнения , и это решения.

Вектор в вектор [ править ]

Предположим, что x n -мерная случайная величина с плотностью соединений f . Если y = G ( x ) , где G биективная дифференцируемая функция , то y имеет pY плотность :

с дифференциалом, рассматриваемым как якобиан обратного G (⋅) , оцененного в y . [6]

Например, в двумерном случае x = ( x 1 , x 2 ) предположим, что преобразование G задается как y 1 = G 1 ( x 1 , x 2 ) , y 2 = G 2 ( x 1 , x 2 ) ) с обратными x 1 = G 1 −1 ( y1 , y2 2 ) , x2 2 = GG2 −1 ( у 1 , у 2 ) . Совместное распределение для y = ( y 1 , y 2 ) имеет плотность [7]

Вектор в скаляр [ править ]

Позволять быть дифференцируемой функцией и быть случайным вектором, принимающим значения в , быть функцией плотности вероятности и быть дельта-функцией Дирака . Используя приведенные выше формулы, можно определить , функция плотности вероятности , который будет задан

Этот результат приводит к закону бессознательного статистика :

Доказательство:

Позволять быть сжатой случайной величиной с функцией плотности вероятности (т.е. константа, равная нулю). Пусть случайный вектор и преобразование быть определен как

Ясно, что является биективным отображением, а якобиан дан кем-то:

которая представляет собой верхнетреугольную матрицу с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что
которые, если их маргинализировать приводит к желаемой функции плотности вероятности.

Суммы независимых случайных величин [ править ]

Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:

Предыдущее соотношение можно обобщить на сумму N независимых случайных величин с плотностями 1 , ..., UN : U

Это можно получить путем двусторонней замены переменных, включающей Y = U + V и Z = V , аналогично примеру ниже для фактора независимых случайных величин.

Произведения и коэффициенты независимых случайных величин [ править ]

Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность произведения Y = UV и частного Y = U / V можно вычислить путем замены переменных.

Пример: распределение коэффициентов [ править ]

Чтобы вычислить частное Y = U / V двух независимых случайных величин U и V , определите следующее преобразование:

Затем плотность соединений p ( y , z ) можно вычислить путем замены переменных с U , V на Y , Z , а Y можно получить путем исключения Z из плотности соединений.

Обратное преобразование

Абсолютное значение матрицы Якоби определителя этого преобразования:

Таким образом:

А распределение Y можно вычислить, исключив Z :

Этот метод критически требует, чтобы преобразование от U , V к Y , Z было биективным . Вышеупомянутое преобразование удовлетворяет этому требованию, поскольку Z можно напрямую отобразить обратно в V , и для данного V частное U / V является монотонным . То же самое относится и к сумме U + V , разности U V и произведению UV .

Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.

Пример: частное двух стандартных нормалей [ править ]

Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:

Трансформируем, как описано выше:

Это ведет к:

Это плотность стандартного распределения Коши .

См. также [ править ]

Ссылки [ править ]

  1. ^ «Обзор статистики AP - кривые плотности и нормальное распределение» . Архивировано из оригинала 2 апреля 2015 года . Проверено 16 марта 2015 г.
  2. ^ Гринстед, Чарльз М.; Снелл, Дж. Лори (2009). «Условная вероятность — дискретная условная» (PDF) . Введение Гринстеда и Снелла в вероятность . Тексты апельсиновой рощи. ISBN  978-1616100469 . Архивировано (PDF) из оригинала 25 апреля 2003 г. Проверено 25 июля 2019 г.
  3. ^ «вероятность. Является ли равномерно случайное число на действительной линии допустимым распределением?» . Крест проверен . Проверено 6 октября 2021 г.
  4. ^ Орд, Дж. К. (1972) Семейства частотных распределений , Гриффин. ISBN   0-85264-137-0 (например, Таблица 5.1 и Пример 5.4)
  5. ^ Зигрист, Кайл. «Преобразования случайных величин» . Статистика LibreTexts . Проверено 22 декабря 2023 г.
  6. ^ Девор, Джей Л.; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями . Сенгаге. п. 263. ИСБН  978-0-534-40473-4 .
  7. ^ Дэвид, Стирзакер (1 января 2007 г.). Элементарная вероятность . Издательство Кембриджского университета. ISBN  978-0521534284 . OCLC   851313783 .

Дальнейшее чтение [ править ]

Внешние ссылки [ править ]