Правило рандомизированного принятия решения

В статистической теории принятия решений рандомизированное правило принятия решения или смешанное правило принятия решения — это правило принятия решения , которое связывает вероятности с детерминированными правилами принятия решений. В задачах с конечным решением рандомизированные правила принятия решения определяют набор рисков , который представляет собой выпуклую оболочку точек риска нерандомизированных правил принятия решений.

Поскольку рандомизированным правилам Байеса всегда существуют нерандомизированные альтернативы, рандомизация не требуется в байесовской статистике , хотя частотная статистическая теория иногда требует использования рандомизированных правил для удовлетворения условий оптимальности, таких как минимакс , особенно при получении доверительных интервалов и проверке гипотез о дискретных распределениях вероятностей. .

Статистический тест, в котором используется рандомизированное правило принятия решений, называется рандомизированным тестом .

Определение и интерпретация

Позволять ${\mathcal {D}}=\{d_{1},d_{2}...,d_{h}\}$ быть набором нерандомизированных правил принятия решений со связанными вероятностями $p_{1},p_{2},...,p_{h}$ . Тогда рандомизированное решающее правило $d^{*}$ определяется как $\sum _{i=1}^{h}p_{i}d_{i}$ и связанная с ней функция риска $R(\theta ,d^{*})$ является $\sum _{i=1}^{h}p_{i}R(\theta ,d_{i})$ . ^[1] Это правило можно рассматривать как случайный эксперимент , в котором правила принятия решений $d_{1},...,d_{h}\in {\mathcal {D}}$ выбираются с вероятностями $p_{1},...p_{h}$ соответственно. ^[2]

Альтернативно, рандомизированное правило принятия решений может назначать вероятности непосредственно элементам пространства действий. ${\mathcal {A}}$ для каждого члена выборочного пространства. Более формально, $d^{*}(x,A)$ обозначает вероятность того, что действие $a\in {\mathcal {A}}$ выбран. В соответствии с этим подходом его функция потерь также определяется непосредственно как: $\int _{A\in {\mathcal {A}}}d^{*}(x,A)L(\theta ,A)dA$ . ^[3]

Таким образом, введение рандомизированных правил принятия решений создает более широкое пространство для принятия решений, из которого статистик может выбирать свое решение. Поскольку нерандомизированные правила принятия решений представляют собой особый случай рандомизированных правил принятия решений, где одно решение или действие имеет вероятность 1, исходное пространство решений ${\mathcal {D}}$ является правильным подмножеством нового пространства решений ${\mathcal {D}}^{*}$ . ^[4]

Выбор рандомизированных правил принятия решений

Как и в случае с нерандомизированными правилами принятия решений, рандомизированные правила принятия решений могут удовлетворять таким благоприятным свойствам, как допустимость, минимаксность и Байес. Это будет проиллюстрировано на примере конечной задачи решения, т. е. задачи, в которой пространство параметров представляет собой конечный набор, скажем, $k$ элементы.Набор рисков, далее обозначаемый как ${\mathcal {S}}$ , представляет собой набор всех векторов, в котором каждая запись представляет собой значение функции риска, связанной со рандомизированным правилом принятия решения при определенном параметре: он содержит все векторы вида $(R(\theta _{1},d^{*}),...R(\theta _{k},d^{*})),d^{*}\in {\mathcal {D}}^{*}$ . Обратите внимание, что по определению рандомизированного правила принятия решений набор рисков представляет собой выпуклую оболочку рисков. $(R(\theta _{1},d),...R(\theta _{k},d)),d\in {\mathcal {D}}$ . ^[5]

В случае, когда пространство параметров имеет только два элемента $\theta _{1}$ и $\theta _{2}$ , это представляет собой подмножество $\mathbb {R} ^{2}$ , поэтому его можно нарисовать относительно осей координат $R_{1}$ и $R_{2}$ соответствующие рискам, предусмотренным $\theta _{1}$ и $\theta _{2}$ соответственно. ^[6] Пример показан справа.

Приемлемость

Допустимым правилом принятия решения является правило, над которым не доминирует какое-либо другое правило принятия решения, т.е. не существует правила принятия решения, которое имело бы такой же или меньший риск, чем оно, для всех параметров и строго меньший риск, чем оно, для некоторого параметра. В конечной задаче принятия решения точка риска допустимого правила решения имеет либо более низкие координаты x или y, чем все остальные точки риска, либо, более формально, это набор правил с точками риска вида $(a,b)$ такой, что $\{(R_{1},R_{2}):R_{1}\leq a,R_{2}\leq b\}\cap {\mathcal {S}}=(a,b)$ . Таким образом, левая часть нижней границы множества рисков представляет собой множество допустимых решающих правил. ^[6]^[7]

Минимакс

Минимаксное правило Байеса – это правило, которое минимизирует риск супремума. $\sup _{\theta \in \Theta }R(\theta ,d^{*})$ среди всех правил принятия решений в ${\mathcal {D}}^{*}$ . Иногда в этом отношении рандомизированное правило принятия решения может работать лучше, чем все другие нерандомизированные правила принятия решения. ^[1]

В конечной задаче решения с двумя возможными параметрами правило минимакса можно найти, рассматривая семейство квадратов $Q(c)=\{(R_{1},R_{2}):0\leq R_{1}\leq c,0\leq R_{2}\leq c\}$ . ^[8] Стоимость $c$ для наименьшего из таких квадратов, соприкасающегося ${\mathcal {S}}$ — это минимаксный риск, а соответствующая точка или точки в наборе рисков — это правило минимакса.

Если набор рисков пересекает линию $R_{1}=R_{2}$ , то допустимое решающее правило, лежащее на прямой, является минимаксным. Если $R_{2}>R_{1}$ или $R_{1}>R_{2}$ справедливо для каждой точки в наборе рисков, то правило минимакса может быть либо крайней точкой (т. е. нерандомизированным правилом принятия решения), либо линией, соединяющей две крайние точки (нерандомизированным правилом принятия решения). ^[9]^[6]

Правило минимакса – это правило рандомизированного принятия решений. $(1-p)d_{1}+pd_{2}$ .
Правило минимакса – это $d_{2}$ .
Правила минимакса – это все правила вида $(1-p)d_{1}+pd_{2}$ , $0\leq p\leq 1$ .

Байес

Рандомизированное правило Байеса – это правило, имеющее минимальный байесовский риск. $r(\pi ,d^{*})$ среди всех правил принятия решений. В особом случае, когда пространство параметров состоит из двух элементов, строка $\pi _{1}R_{1}+(1-\pi _{1})R_{2}=c$ , где $\pi _{1}$ и $\pi _{2}$ обозначают априорные вероятности $\theta _{1}$ и $\theta _{2}$ соответственно, представляет собой семейство точек с байесовским риском $c$ . Таким образом, минимальный байесовский риск для задачи принятия решения является наименьшим. $c$ так, чтобы линия касалась набора рисков. ^[10]^[11] Эта линия может либо касаться только одной крайней точки набора рисков, т. е. соответствовать нерандомизированному правилу принятия решений, либо перекрываться со всей стороной набора рисков, т. е. соответствовать двум нерандомизированным правилам принятия решений и рандомизированным правилам принятия решений, объединяющим их. Это иллюстрируется тремя ситуациями ниже:

Правила Байеса представляют собой набор решающих правил вида $(1-p)d_{1}+pd_{2}$ , $0\leq p\leq 1$ .
Правило Байеса – это $d_{1}$ .
Правило Байеса – это $d_{2}$ .

Поскольку разные априоры приводят к разным наклонам, набор всех правил Байеса по отношению к некоторому априору совпадает с набором допустимых правил. ^[12]

Обратите внимание, что невозможна ситуация, в которой не существует нерандомизированного правила Байеса, а существует рандомизированное правило Байеса. Существование рандомизированного правила Байеса подразумевает существование нерандомизированного правила Байеса. Это верно и в общем случае, даже при бесконечном пространстве параметров, бесконечном байесовском риске и независимо от того, может ли быть достигнут минимальный байесовский риск. ^[3]^[12] Это подтверждает интуитивное представление о том, что статистикам не нужно использовать рандомизацию для принятия статистических решений. ^[4]

На практике

Поскольку рандомизированные правила Байеса всегда имеют нерандомизированные альтернативы, они не нужны в байесовской статистике . Однако в частотной статистике рандомизированные правила теоретически необходимы в определенных ситуациях. ^[13] и считались полезными на практике, когда они были впервые изобретены: Эгон Пирсон предсказал, что они «не встретят серьезных возражений». ^[14] Однако в настоящее время лишь немногие статистики реализуют их. ^[14]^[15]

Рандомизированный тест

Рандомизированные тесты не следует путать с тестами перестановок . ^[16]

В обычной формулировке теста отношения правдоподобия нулевая гипотеза отклоняется всякий раз, когда отношение правдоподобия $\Lambda$ меньше некоторой константы $K$ , и принято иначе. Однако иногда это становится проблематичным, когда $\Lambda$ дискретна когда при нулевой гипотезе, $\Lambda =K$ возможно.

Решение состоит в том, чтобы определить тестовую функцию $\phi (x)$ , значением которого является вероятность принятия нулевой гипотезы: ^[17]^[18]

$\phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}\Lambda >K\\p(x)&{\text{ if }}\Lambda =K\\0&{\text{ if }}\Lambda <K\end{array}}\right.$

Это можно интерпретировать как подбрасывание смещенной монеты с вероятностью $p(x)$ возвращать головы всякий раз, когда $\Lambda =k$ и отклонение нулевой гипотезы, если выпадет решка. ^[15]

Обобщенная форма леммы Неймана-Пирсона гласит, что этот тест имеет максимальную мощность среди всех тестов на одном и том же уровне значимости. $\alpha$ , что такой тест должен существовать для любого уровня значимости $\alpha$ и что тест уникален в нормальных ситуациях. ^[19]

В качестве примера рассмотрим случай, когда базовым распределением является распределение Бернулли с вероятностью $p$ , и мы хотели бы проверить нулевую гипотезу $p\leq \lambda$ против альтернативной гипотезы $p>\lambda$ . Естественно выбрать несколько $k$ такой, что $P({\hat {p}}>k|H_{0})=\alpha$ и отклонять ноль всякий раз, когда ${\hat {p}}>k$ , где ${\hat {p}}$ это тестовая статистика. Однако следует учитывать случаи, когда ${\hat {p}}=k$ , мы определяем тестовую функцию:

$\phi (x)=\left\{{\begin{array}{l}1&{\text{ if }}{\hat {p}}>k\\\gamma &{\text{ if }}{\hat {p}}=k\\0&{\text{ if }}{\hat {p}}<k\end{array}}\right.$

где $\gamma$ выбирается таким, что $P({\hat {p}}>k|H_{0})+\gamma P({\hat {p}}=k|H_{0})=\alpha$ .

Рандомизированные доверительные интервалы

Аналогичная проблема возникает при построении доверительных интервалов. Например, интервал Клоппера-Пирсона всегда консервативен из-за дискретного характера биномиального распределения. Альтернативой является нахождение верхнего и нижнего доверительных пределов. $U$ и $L$ решив следующие уравнения: ^[14]

$\left\{{\begin{array}{l}Pr({\hat {p}}<k|p=U)+\gamma P({\hat {p}}=k|p=U)&=\alpha /2\\Pr({\hat {p}}>k|p=L)+\gamma P({\hat {p}}=k|p=L)&=\alpha /2\end{array}}\right.$

где $\gamma$ — равномерная случайная величина на (0, 1).

См. также

Сноски

^ Jump up to: ^а ^б Янг и Смит, с. 11
^ Бикель и Доксум, с. 28
^ Jump up to: ^а ^б Пармиджани, с. 132
^ Jump up to: ^а ^б ДеГрут, стр.128-129.
^ Бикель и Доксум, стр.29.
^ Jump up to: ^а ^б ^с Янг и Смит, стр.12.
^ Бикель и Доксум, с. 32
^ Бикель и Доксум, стр.30.
^ Янг и Смит, стр. 14–16.
^ Янг и Смит, с. 13
^ Бикель и Доксум, стр. 29–30.
^ Jump up to: ^а ^б Бикель и Доксум, стр.31.
^ Роберт, стр.66
^ Jump up to: ^а ^б ^с Агрести и Готтар, стр.367
^ Jump up to: ^а ^б Бикель и Доксум, стр.224.
^ Онгена, Патрик (30 октября 2017 г.), Бергер, Вэнс В. (ред.), «Тесты рандомизации или тесты перестановки? Историческое и терминологическое уточнение» , Рандомизация, маскирование и сокрытие распределения (1-е изд.), Бока-Ратон , Флорида: Чепмен и Холл/CRC, стр. 209–228, doi : 10.1201/9781315305110-14 , ISBN. 978-1-315-30511-0 , получено 8 октября 2021 г.
^ Янг и Смит, стр.68.
^ Роберт, стр.243
^ Янг и Смит, стр.68.

Библиография

Агрести, Алан; Готтард, Анна (2005). «Комментарий: рандомизированные доверительные интервалы и подход Mid-P» (PDF) . Статистическая наука . 5 (4): 367–371. дои : 10.1214/088342305000000403 .
Бикель, Питер Дж.; Доксум, Кьелл А. (2001). Математическая статистика: основные идеи и избранные темы (2-е изд.). Река Аппер-Сэддл, Нью-Джерси: Прентис-Холл. ISBN 978-0138503635 .
ДеГрут, Моррис Х. (2004). Оптимальные статистические решения . Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0471680291 .
Пармиджани, Джованни; Иноуэ, Лурдес Ю.Т. (2009). Теория принятия решений: принципы и подходы . Чичестер, Западный Суссекс: Джон Уайли и сыновья. ISBN 9780470746684 .
Роберт, Кристиан П. (2007). Байесовский выбор: от основ теории принятия решений к вычислительной реализации . Нью-Йорк: Спрингер. ISBN 9780387715988 .
Янг, Джорджия; Смит, Р.Л. (2005). Основы статистического вывода . Кембридж: Издательство Кембриджского университета. ISBN 9780521548663 .

[ys11-1] Jump up to: ^а ^б Янг и Смит, с. 11

[2] Бикель и Доксум, с. 28

[parm-3] Jump up to: ^а ^б Пармиджани, с. 132

[groot-4] Jump up to: ^а ^б ДеГрут, стр.128-129.

[bd29-5] Бикель и Доксум, стр.29.

[ys12-6] Jump up to: ^а ^б ^с Янг и Смит, стр.12.

[7] Бикель и Доксум, с. 32

[bd30-8] Бикель и Доксум, стр.30.

[9] Янг и Смит, стр. 14–16.

[10] Янг и Смит, с. 13

[11] Бикель и Доксум, стр. 29–30.

[bd31-12] Jump up to: ^а ^б Бикель и Доксум, стр.31.

[13] Роберт, стр.66

[ag-14] Jump up to: ^а ^б ^с Агрести и Готтар, стр.367

[bd224-15] Jump up to: ^а ^б Бикель и Доксум, стр.224.

[16] Онгена, Патрик (30 октября 2017 г.), Бергер, Вэнс В. (ред.), «Тесты рандомизации или тесты перестановки? Историческое и терминологическое уточнение» , Рандомизация, маскирование и сокрытие распределения (1-е изд.), Бока-Ратон , Флорида: Чепмен и Холл/CRC, стр. 209–228, doi : 10.1201/9781315305110-14 , ISBN. 978-1-315-30511-0 , получено 8 октября 2021 г.

[17] Янг и Смит, стр.68.

[18] Роберт, стр.243

[19] Янг и Смит, стр.68.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]