Допустимое решающее правило

В статистической теории принятия решений — допустимое правило принятия решения это правило принятия решения , при котором не существует другого правила, которое всегда было бы «лучше», чем это правило. ^[1] (или, по крайней мере, иногда лучше и никогда хуже) в том самом смысле слова «лучше», который определен ниже. Эта концепция аналогична эффективности Парето .

Определение

Определить наборы $\Theta \,$ , ${\mathcal {X}}$ и ${\mathcal {A}}$ , где $\Theta \,$ являются состояниями природы, ${\mathcal {X}}$ возможные наблюдения и ${\mathcal {A}}$ действия, которые могут быть предприняты. Наблюдение за $x\in {\mathcal {X}}\,\!$ распространяется как $F(x\mid \theta )\,\!$ и, следовательно, предоставляет доказательства о состоянии природы $\theta \in \Theta \,\!$ . – Решающее правило это функция $\delta :{\mathcal {X}}\rightarrow {\mathcal {A}}$ , где при наблюдении $x\in {\mathcal {X}}$ , мы решаем действовать $\delta (x)\in {\mathcal {A}}\,\!$ .

Также определите функцию потерь $L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R}$ , который определяет потери, которые мы понесем, приняв меры $a\in {\mathcal {A}}$ когда истинное состояние природы $\theta \in \Theta$ . Обычно мы предпринимаем это действие после наблюдения за данными. $x\in {\mathcal {X}}$ , так что потеря составит $L(\theta ,\delta (x))\,\!$ . (Можно, хотя это и нетрадиционно, переформулировать следующие определения в терминах функции полезности , которая является отрицанием потерь.)

Определите функцию риска как ожидание

R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!

Является ли правило принятия решения $\delta \,\!$ имеет низкий риск, зависит от истинного состояния природы $\theta \,\!$ . Правило принятия решения $\delta ^{*}\,\!$ доминирует в решающем правиле $\delta \,\!$ тогда и только тогда, когда $R(\theta ,\delta ^{*})\leq R(\theta ,\delta )$ для всех $\theta \,\!$ , причем неравенство является строгим для некоторых $\theta \,\!$ .

Решающее правило допустимо (относительно функции потерь) тогда и только тогда, когда никакое другое правило не доминирует над ним; в противном случае это недопустимо . Таким образом, допустимое решающее правило является максимальным элементом относительно указанного выше частичного порядка.Недопустимое правило не является предпочтительным (за исключением соображений простоты или вычислительной эффективности), поскольку по определению существует какое-то другое правило, которое обеспечит равный или меньший риск для всех. $\theta \,\!$ . Но только потому, что правило $\delta \,\!$ допустимо, не означает, что его можно использовать. Приемлемость означает, что не существует другого единого правила, которое всегда было бы столь же хорошим или лучшим, но другие допустимые правила могли бы обеспечить меньший риск для большинства $\theta \,\!$ которые происходят на практике. (Байесовский риск, обсуждаемый ниже, представляет собой способ явного рассмотрения того, какие $\theta \,\!$ встречаются на практике.)

Правила Байеса и обобщенные правила Байеса

Правила Байеса

Позволять $\pi (\theta )\,\!$ — распределение вероятностей состояний природы. С байесовской точки зрения мы бы рассматривали это как априорное распределение . То есть это наше предполагаемое распределение вероятностей состояний природы до наблюдения данных. Для частого пользователя это просто функция $\Theta \,\!$ без такой специальной интерпретации. Байесовский риск правила принятия решения $\delta \,\!$ относительно $\pi (\theta )\,\!$ это ожидание

r(\pi ,\delta )=\operatorname {E} _{\pi (\theta )}[R(\theta ,\delta )].\,\!

Правило принятия решения $\delta \,\!$ что сводит к минимуму $r(\pi ,\delta )\,\!$ называется правилом Байеса относительно $\pi (\theta )\,\!$ . Таких правил Байеса может быть несколько. Если байесовский риск бесконечен для всех $\delta \,\!$ , то правило Байеса не определено.

Обобщенные правила Байеса

В байесовском подходе к теории принятия решений наблюдаемое $x\,\!$ считается фиксированным . В то время как частотный подход (т.е. риск) усредняет возможные выборки $x\in {\mathcal {X}}\,\!$ , байесианство зафиксирует наблюдаемую выборку $x\,\!$ и среднее значение по гипотезам $\theta \in \Theta \,\!$ . Таким образом, байесовский подход должен учитывать наши наблюдаемые $x\,\!$ ожидаемая потеря

\rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\!

где ожидание находится над задней частью $\theta \,\!$ данный $x\,\!$ (получено из $\pi (\theta )\,\!$ и $F(x\mid \theta )\,\!$ используя теорему Байеса ).

Выявив ожидаемые потери для каждого данного $x\,\!$ отдельно мы можем определить решающее правило $\delta \,\!$ указав для каждого $x\,\!$ действие $\delta (x)\,\!$ это минимизирует ожидаемые потери. Это известно как обобщенное правило Байеса относительно $\pi (\theta )\,\!$ . Может существовать более одного обобщенного правила Байеса, поскольку может быть несколько вариантов выбора. $\delta (x)\,\!$ которые достигают тех же ожидаемых потерь.

На первый взгляд это может показаться отличным от подхода, основанного на правиле Байеса из предыдущего раздела, а не от обобщения. Однако обратите внимание, что байесовский риск уже усредняется по $\Theta \,\!$ байесовским способом, и байесовский риск может быть восстановлен как математическое ожидание ${\mathcal {X}}$ ожидаемого убытка (где $x\sim \theta \,\!$ и $\theta \sim \pi \,\!$ ). Грубо говоря, $\delta \,\!$ минимизирует это ожидание ожидаемых потерь (т. е. является правилом Байеса) тогда и только тогда, когда оно минимизирует ожидаемые потери для каждого $x\in {\mathcal {X}}$ отдельно (т.е. является обобщенным правилом Байеса).

Тогда почему понятие обобщенного правила Байеса является улучшением? Это действительно эквивалентно понятию правила Байеса, когда правило Байеса существует и все $x\,\!$ имеют положительную вероятность. Однако никакого правила Байеса не существует, если риск Байеса бесконечен (для всех $\delta \,\!$ ). В этом случае все же полезно определить обобщенное правило Байеса. $\delta \,\!$ , который по крайней мере выбирает действие с минимальным ожидаемым убытком $\delta (x)\!\,$ для тех $x\,\!$ для которого действительно существует действие с конечным ожидаемым убытком. Кроме того, может оказаться желательным обобщенное правило Байеса, поскольку оно должно выбирать действие с минимальным ожидаемым убытком. $\delta (x)\,\!$ для каждого $x\,\!$ , тогда как правилу Байеса будет разрешено отклоняться от этой политики на множестве $X\subseteq {\mathcal {X}}$ меры 0, не влияя на байесовский риск.

Что еще более важно, иногда удобно использовать неправильный априорный $\pi (\theta )\,\!$ . В этом случае байесовский риск даже не определен четко, как и не существует четкого распределения по $x\,\!$ . Однако задняя часть $\pi (\theta \mid x)\,\!$ — и, следовательно, ожидаемые потери — могут быть четко определены для каждого $x\,\!$ , так что все еще возможно определить обобщенное правило Байеса.

Допустимость (обобщенных) правил Байеса

Согласно теоремам о полных классах, при мягких условиях каждое допустимое правило является (обобщенным) правилом Байеса (относительно некоторого предшествующего правила). $\pi (\theta )\,\!$ — возможно, неправильный — который благоприятствует распределению $\theta \,\!$ где это правило обеспечивает низкий риск). Таким образом, в частотной теории принятия решений достаточно рассматривать только (обобщенные) правила Байеса.

И наоборот, хотя правила Байеса в отношении правильных априорных значений практически всегда допустимы, обобщенные правила Байеса, соответствующие неправильным априорным значениям , не обязательно должны приводить к допустимым процедурам. Пример Штейна — одна из таких известных ситуаций.

Примеры

Оценка Джеймса – Стейна представляет собой нелинейную оценку среднего значения гауссовских случайных векторов, и можно показать, что она доминирует над обычным методом наименьших квадратов по отношению к функции потерь среднеквадратической ошибки. ^[2] Таким образом, оценка методом наименьших квадратов не является допустимой процедурой оценки в этом контексте. Недопустимы и некоторые другие стандартные оценки, связанные с нормальным распределением : например, выборочная оценка дисперсии , когда генеральное среднее и дисперсия неизвестны. ^[3]

Примечания

^ Додж, Ю. (2003) Оксфордский словарь статистических терминов . ОУП. ISBN 0-19-920613-9 (запись о допустимой функции принятия решения)
^ Кокс и Хинкли, 1974 , раздел 11.8.
^ Кокс и Хинкли, 1974 , Упражнение 11.7.

Ссылки

Кокс, доктор медицинских наук; Хинкли, Д.В. (1974). Теоретическая статистика . Уайли. ISBN 0-412-12420-3 .
Бергер, Джеймс О. (1980). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Спрингер-Верлаг. ISBN 0-387-96098-8 .
ДеГрут, Моррис (2004) [1-й. паб. 1970]. Оптимальные статистические решения . Библиотека классической литературы Уайли. ISBN 0-471-68029-Х .
Роберт, Кристиан П. (1994). Байесовский выбор . Спрингер-Верлаг. ISBN 3-540-94296-3 .

[1] Додж, Ю. (2003) Оксфордский словарь статистических терминов . ОУП. ISBN 0-19-920613-9 (запись о допустимой функции принятия решения)

[2] Кокс и Хинкли, 1974 , раздел 11.8.

[3] Кокс и Хинкли, 1974 , Упражнение 11.7.

[1]

[2]

[3]