Усеченное распространение

Усеченное распределение
	Функция плотности вероятности Функция плотности вероятности для усеченного нормального распределения для разных наборов параметров. Во всех случаях a = −10 и b = 10. Для чёрного: µ = −8, σ = 2; синий: μ = 0, σ = 2; красный: μ = 9, σ = 10; оранжевый: μ = 0, σ = 10.
Поддерживать
PDF
CDF
Иметь в виду
медиана

В статистике усеченное распределение — это условное распределение , возникающее в результате ограничения области действия некоторого другого распределения вероятностей . Усеченные распределения возникают в практической статистике в тех случаях, когда возможность фиксировать события или даже знать о них ограничивается значениями, которые лежат выше или ниже заданного порога или внутри определенного диапазона. Например, если проверяются даты рождения детей в школе, они, как правило, подлежат усечению по сравнению с датами рождения всех детей в этом районе, учитывая, что в конкретную дату школа принимает только детей определенного возрастного диапазона. Не было бы никакой информации о том, сколько детей в данной местности родились до или после дат закрытия школы, если бы для получения информации использовался только прямой подход к школе.

Если выборка предназначена для сохранения знаний об элементах, выходящих за пределы требуемого диапазона, без регистрации фактических значений, это называется цензурированием , в отличие от усечения , описанного здесь. ^[1]

Определение

Следующее обсуждение ведется с точки зрения случайной величины, имеющей непрерывное распределение , хотя те же идеи применимы и к дискретным распределениям . Аналогично, в обсуждении предполагается, что усечение производится до полуоткрытого интервала y ∈ ( a,b ], но другие возможности можно реализовать напрямую.

Предположим, у нас есть случайная величина, $X$ который распределяется в соответствии с некоторой функцией плотности вероятности, $f(x)$ , с кумулятивной функцией распределения $F(x)$ оба из которых имеют бесконечную поддержку . Предположим, мы хотим узнать плотность вероятности случайной величины после ограничения поддержки между двумя константами, чтобы поддержка $y=(a,b]$ . То есть, предположим, мы хотим знать, как $X$ распространяется с учетом $a<X\leq b$ .

f(x|a<X\leq b)={\frac {g(x)}{F(b)-F(a)}}={\frac {f(x)\cdot I(\{a<x\leq b\})}{F(b)-F(a)}}\propto _{x}f(x)\cdot I(\{a<x\leq b\})

где $g(x)=f(x)$ для всех $a<x\leq b$ и $g(x)=0$ везде еще. То есть, $g(x)=f(x)\cdot I(\{a<x\leq b\})$ где $I$ – индикаторная функция. Обратите внимание, что знаменатель усеченного распределения постоянен по отношению к $x$ .

Обратите внимание, что на самом деле $f(x|a<X\leq b)$ плотность:

\int _{a}^{b}f(x|a<X\leq b)dx={\frac {1}{F(b)-F(a)}}\int _{a}^{b}g(x)dx=1

.

В усеченных дистрибутивах не обязательно удалять части сверху и снизу. Усеченное распределение, в котором удалена только нижняя часть распределения, выглядит следующим образом:

f(x|X>y)={\frac {g(x)}{1-F(y)}}

где $g(x)=f(x)$ для всех $y<x$ и $g(x)=0$ везде еще и $F(x)$ – кумулятивная функция распределения .

Усеченное распределение, в котором удалена верхняя часть распределения, выглядит следующим образом:

f(x|X\leq y)={\frac {g(x)}{F(y)}}

где $g(x)=f(x)$ для всех $x\leq y$ и $g(x)=0$ везде еще и $F(x)$ – кумулятивная функция распределения .

Ожидание усеченной случайной величины

Предположим, мы хотим найти ожидаемое значение случайной величины, распределенной в соответствии с плотностью $f(x)$ и совокупное распределение $F(x)$ учитывая, что случайная величина, $X$ , больше некоторого известного значения $y$ . Таким образом, математическое ожидание усеченной случайной величины равно:

E(X|X>y)={\frac {\int _{y}^{\infty }xg(x)dx}{1-F(y)}}

где снова $g(x)$ является $g(x)=f(x)$ для всех $x>y$ и $g(x)=0$ везде еще.

Сдача в аренду $a$ и $b$ быть нижним и верхним пределами соответственно поддержки исходной функции плотности $f$ (который мы считаем непрерывным), свойства $E(u(X)|X>y)$ , где $u$ — некоторая непрерывная функция с непрерывной производной, включают:

$\lim _{y\to a}E(u(X)|X>y)=E(u(X))$
$\lim _{y\to b}E(u(X)|X>y)=u(b)$
${\frac {\partial }{\partial y}}[E(u(X)|X>y)]={\frac {f(y)}{1-F(y)}}[E(u(X)|X>y)-u(y)]$

и

{\frac {\partial }{\partial y}}[E(u(X)|X<y)]={\frac {f(y)}{F(y)}}[-E(u(X)|X<y)+u(y)]

$\lim _{y\to a}{\frac {\partial }{\partial y}}[E(u(X)|X>y)]=f(a)[E(u(X))-u(a)]$
$\lim _{y\to b}{\frac {\partial }{\partial y}}[E(u(X)|X>y)]={\frac {1}{2}}u'(b)$

При условии, что ограничения существуют, то есть: $\lim _{y\to c}u'(y)=u'(c)$ , $\lim _{y\to c}u(y)=u(c)$ и $\lim _{y\to c}f(y)=f(c)$ где $c$ представляет либо $a$ или $b$ .

Примеры

Усеченное нормальное распределение является важным примером. ^[2]

Модель Тобита использует усеченные распределения.Другие примеры включают усеченный бином при x=0 и усеченный пуассон при x=0.

Случайное усечение

Предположим, у нас есть следующая настройка: значение усечения, $t$ , выбирается случайным образом из плотности, $g(t)$ , но это значение не наблюдается. Тогда значение, $x$ , выбирается случайным образом из усеченного распределения, $f(x|t)=Tr(x)$ . Предположим, мы наблюдаем $x$ и хотим обновить наше представление о плотности $t$ учитывая наблюдение.

Во-первых, по определению:

f(x)=\int _{x}^{\infty }f(x|t)g(t)dt

, и

F(a)=\int _{x}^{a}\left[\int _{-\infty }^{\infty }f(x|t)g(t)dt\right]dx.

Обратите внимание, что $t$ должно быть больше, чем $x$ , следовательно, когда мы интегрируем по $t$ , мы устанавливаем нижнюю границу $x$ . Функции $f(x)$ и $F(x)$ – безусловная плотность и безусловная кумулятивная функция распределения соответственно.

По правилу Байеса ,

g(t|x)={\frac {f(x|t)g(t)}{f(x)}},

который расширяется до

g(t|x)={\frac {f(x|t)g(t)}{\int _{x}^{\infty }f(x|t)g(t)dt}}.

Два равномерных распределения (пример)

Предположим, мы знаем, что t равномерно распределено из [0, T ] и x | t распределено равномерно на [0, t ]. Пусть g ( t ) и f ( x | t ) — плотности, которые описывают t и x соответственно. Предположим, мы наблюдаем значение x и хотим знать распределение t при этом значении x .

g(t|x)={\frac {f(x|t)g(t)}{f(x)}}={\frac {1}{t(\ln(T)-\ln(x))}}\quad {\text{for all }}t>x.

См. также

Усеченное среднее

Ссылки

^ Додж, Ю. (2003) Оксфордский словарь статистических терминов . ОУП. ISBN 0-19-920613-9
^ Джонсон, Н.Л., Коц, С., Балакришнан, Н. (1994) Непрерывные одномерные распределения, Том 1 , Wiley. ISBN 0-471-58495-9 (раздел 10.1)

[1] Додж, Ю. (2003) Оксфордский словарь статистических терминов . ОУП. ISBN 0-19-920613-9

[2] Джонсон, Н.Л., Коц, С., Балакришнан, Н. (1994) Непрерывные одномерные распределения, Том 1 , Wiley. ISBN 0-471-58495-9 (раздел 10.1)

[1]

[2]