Свойства скручивания

Свойства скручивания в общих чертах связаны со свойствами выборок, идентифицирующими со статистикой, пригодной для обмена.

Описание

Начиная с образца $\{x_{1},\ldots ,x_{m}\}$ наблюдаемой из случайной величины X, имеющей заданный закон распределения с неустановленным параметром, задача параметрического вывода состоит в вычислении подходящих значений – назовем их оценками – этого параметра именно на основе выборки. Оценка подходит, если замена ее неизвестным параметром не приведет к серьезным повреждениям в следующих вычислениях. В алгоритмическом выводе пригодность оценки определяется с точки зрения совместимости с наблюдаемой выборкой.

В свою очередь, совместимость параметров — это вероятностная мера, которую мы получаем из распределения вероятностей случайной величины, к которой относится параметр. Таким образом мы идентифицируем случайный параметр Θ, совместимый с наблюдаемой выборкой.Учитывая механизм выборки $M_{X}=(g_{\theta },Z)$, смысл этой операции заключается в использовании закона распределения затравки Z для определения как закона распределения X для данного θ, так и закона распределения Θ для данного X. образца Следовательно, мы можем вывести последнее распределение непосредственно из первого, если сможем связать области выборочного пространства с подмножествами поддержки Θ . В более абстрактных терминах мы говорим о скручивании свойств выборок со свойствами параметров и отождествляем первые со статистикой, подходящей для этого обмена, обозначая таким образом поведение скважины относительно неизвестных параметров. Операционная цель — написать аналитическое выражение кумулятивной функции распределения. $F_{\Theta }(\theta )$, в свете наблюдаемого значения s статистики S , как функции закона распределения S, когда параметр X равен точно θ.

Метод

Учитывая механизм выборки $M_{X}=(g_{\theta },Z)$ для случайной величины X мы моделируем ${\boldsymbol {X}}=\{X_{1},\ldots ,X_{m}\}$ быть равным $\{g_{\theta }(Z_{1}),\ldots ,g_{\theta }(Z_{m})\}$. Сосредоточение внимания на соответствующей статистике $S=h_{1}(X_{1},\ldots ,X_{m})$ для параметра θ основное уравнение имеет вид

$s=h(g_{\theta }(z_{1}),\ldots ,g_{\theta }(z_{m}))=\rho (\theta ;z_{1},\ldots ,z_{m}).$

Когда s является статистикой с хорошим поведением относительно параметра, мы уверены, что для каждого параметра существует монотонное соотношение. ${\boldsymbol {z}}=\{z_{1},\ldots ,z_{m}\}$ между s и θ. Мы также уверены, что Θ как функция ${\boldsymbol {Z}}$ для данного s является случайной величиной, поскольку основное уравнение дает решения, которые осуществимы и не зависят от других (скрытых) параметров.

Направление монотонности определяет для любого ${\boldsymbol {z}}$ связь между событиями типа $s\geq s'\leftrightarrow \theta \geq \theta '$ или наоборот $s\geq s'\leftrightarrow \theta \leq \theta '$, где $s'$ вычисляется по основному уравнению с $\theta '$. В случае, когда s принимает дискретные значения, первое соотношение меняется на $s\geq s'\rightarrow \theta \geq \theta '\rightarrow s\geq s'+\ell$ где $\ell >0$ - размер зерна дискретизации s , то же самое с противоположной тенденцией монотонности. Возобновляя эти отношения для всех начальных чисел, для непрерывного s мы имеем либо

$F_{\Theta \mid S=s}(\theta )=F_{S\mid \Theta =\theta }(s)$

или

$F_{\Theta \mid S=s}(\theta )=1-F_{S\mid \Theta =\theta }(s)$

Для дискретного s у нас есть интервал, где $F_{\Theta \mid S=s}(\theta )$ ложь, потому что $\ell >0$. Вся эта логическая конструкция называется искажающим аргументом . Процедура его реализации заключается в следующем.

Алгоритм

Генерация закона распределения параметров с помощью искажающего аргумента

Учитывая образец $\{x_{1},\ldots ,x_{m}\}$ от случайной величины с неизвестным параметром θ, Определите статистику S хорошего поведения для параметра θ и его зерна дискретизации. $\ell$ (если есть); решить монотонность против; вычислить $F_{\Theta }(\theta )\in \left(q_{1}(F_{S|\Theta =\theta }(s)),q_{2}(F_{S|\Theta =\theta }(s))\right)$ где: если S непрерывен $q_{1}=q_{2}$ если S дискретно $q_{2}(F_{S}(s))=q_{1}(F_{S}(s-\ell )$ если s не уменьшается с ростом θ $q_{1}(F_{S}(s))=q_{2}(F_{S}(s-\ell )$ если s не увеличивается с ростом θ и $q_{i}(F_{S})=1-F_{S}$ если s не уменьшается с ростом θ и $q_{i}(F_{S})=F_{S}$ если s не увеличивается с ростом θ для $i=1,2$.

Примечание

Обоснование искажения аргументов не меняется, когда параметрами являются векторы, хотя некоторые сложности возникают из-за управления совместными неравенствами. Вместо этого сложность работы с вектором параметров оказалась ахиллесовой пятой подхода Фишера к доверительному распределению параметров. Также конструктивные вероятности Фрейзера разработанные для той же цели, не рассматривают этот вопрос полностью.

Пример

Для ${\boldsymbol {x}}$ взятое из гамма-распределения , спецификация которого требует значений параметров λ и k , аргумент скручивания можно сформулировать, следуя приведенной ниже процедуре. Учитывая значение этих параметров, мы знаем, что

$(k\leq k')\leftrightarrow (s_{k}\leq s_{k'}){\text{ for fixed }}\lambda ,$

$(\lambda \leq \lambda ')\leftrightarrow (s_{\lambda '}\leq s_{\lambda }){\text{ for fixed }}k,$

где $s_{k}=\prod _{i=1}^{m}x_{i}$ и $s_{\lambda }=\sum _{i=1}^{m}x_{i}$. Это приводит к совместной кумулятивной функции распределения

$F_{\Lambda ,K}(\lambda ,k)=F_{\Lambda \,\mid \,K=k}(\lambda )F_{K}(k)=F_{K\,\mid \,\Lambda =\lambda }(k)F_{\Lambda }(\lambda ).$

Используя первую факторизацию и замену $s_{k}$ с $r_{k}={\frac {s_{k}}{s_{\lambda }^{m}}}$ для того, чтобы иметь распределение $K$ это независимо от $\Lambda$, у нас есть

$F_{\Lambda \,\mid \,K=k}(\lambda )=1-{\frac {\Gamma (km,\lambda s_{\Lambda })}{\Gamma (km)}}$

$F_{K}(k)=1-F_{R_{k}}(r_{K})$

где m обозначает размер выборки, $s_{\Lambda }$ и $r_{K}$ - наблюдаемая статистика (следовательно, индексы обозначены заглавными буквами), $\Gamma (a,b)$ неполная гамма-функция и $F_{R_{k}}(r_{K})$ функция Фокса H , которую можно снова аппроксимировать гамма-распределением с соответствующими параметрами (например, оцененными методом моментов ) как функцию k и m .

Совместная функция плотности вероятности параметров $(K,\Lambda )$ гамма-случайной величины.

Маргинальная кумулятивная функция распределения параметра K гамма-случайной величины.

С размером выборки $m=30,s_{\Lambda }=72.82$ и $r_{K}=$ $4.5\times 10^{-46}$, вы можете найти совместный PDF-файл параметров гаммы K и $\Lambda$ слева. Маргинальное распределение K показано на рисунке справа.

Ссылки

• Фишер, Массачусетс (1935). «Доверительный аргумент в статистическом выводе». Анналы евгеники . 6 (4): 391–398. дои : 10.1111/j.1469-1809.1935.tb02120.x . hdl : 2440/15222 .
• Фрейзер, DAS (1966). «Структурная вероятность и обобщение». Биометрика . 53 (1/2): 1–9. дои : 10.2307/2334048 . JSTOR   2334048 .
• Аполлони, Б; Мальчиоди, Д.; Гайто, С. (2006). Алгоритмический вывод в машинном обучении . Международная серия по передовому интеллекту. Том. 5 (2-е изд.). Аделаида: Мэгилл. Передовые знания Международные