Минимаксная оценка

В статистической теории принятия решений , где мы сталкиваемся с проблемой оценки детерминированного параметра (вектора) $\theta \in \Theta$ из наблюдений $x\in {\mathcal {X}},$ оценщик ) (правило оценки $\delta ^{M}\,\!$ называется минимаксом, если его максимальный риск минимален среди всех оценок $\theta \,\!$. В каком-то смысле это означает, что $\delta ^{M}\,\!$ — это средство оценки, которое работает лучше всего в наихудшем возможном случае, разрешенном в задаче.

Проблема с настройкой

Рассмотрим задачу оценки детерминированного (не байесовского ) параметра $\theta \in \Theta$ из зашумленных или поврежденных данных $x\in {\mathcal {X}}$ связаны через условное распределение вероятностей $P(x\mid \theta )\,\!$. Наша цель — найти «хорошего» оценщика. $\delta (x)\,\!$ для оценки параметра $\theta \,\!$, который минимизирует некоторую заданную функцию риска $R(\theta ,\delta )\,\!$. Здесь функция риска (технически это функционал или оператор , поскольку $R$ — это функция функции, а НЕ композиция функций) — это математическое ожидание некоторой функции потерь. $L(\theta ,\delta )\,\!$ относительно $P(x\mid \theta )\,\!$. Популярный пример функции потерь это квадрат ошибки ошибки $L(\theta ,\delta )=\|\theta -\delta \|^{2}\,\!$, а функцией риска для этой потери является среднеквадратическая ошибка (MSE).

К сожалению, в целом риск не может быть минимизирован, поскольку он зависит от неизвестного параметра. $\theta \,\!$ (Если бы мы знали, какова реальная стоимость $\theta \,\!$, нам не нужно будет его оценивать). Поэтому требуются дополнительные критерии для поиска оптимальной в некотором смысле оценки. Одним из таких критериев является минимаксный критерий.

Определение

Определение : Оценщик. $\delta ^{M}:{\mathcal {X}}\rightarrow \Theta \,\!$ называется минимаксом относительно функции риска $R(\theta ,\delta )\,\!$ если он достигает наименьшего максимального риска среди всех оценок, то есть он удовлетворяет

$\sup _{\theta \in \Theta }R(\theta ,\delta ^{M})=\inf _{\delta }\sup _{\theta \in \Theta }R(\theta ,\delta ).\,$

Наименее благоприятное распределение

Логично, что оценка является минимаксной, когда она является лучшей в худшем случае. Продолжая эту логику, минимаксная оценка должна быть оценкой Байеса относительно наименее благоприятного предварительного распределения $\theta \,\!$. Чтобы продемонстрировать это понятие, обозначим средний риск оценки Байеса. $\delta _{\pi }\,\!$ относительно предыдущего распределения $\pi \,\!$ как

$r_{\pi }=\int R(\theta ,\delta _{\pi })\,d\pi (\theta )\,$

Определение: априорное распределение. $\pi \,\!$ называется наименее благоприятным, если для любого другого распределения $\pi '\,\!$ средний риск удовлетворяет $r_{\pi }\geq r_{\pi '}\,$.

Теорема 1: Если $r_{\pi }=\sup _{\theta }R(\theta ,\delta _{\pi }),\,$ затем:

1. $\delta _{\pi }\,\!$ является минимаксом.
2. Если $\delta _{\pi }\,\!$ является уникальной байесовской оценкой, а также уникальной минимаксной оценкой.
3. $\pi \,\!$ является наименее благоприятным.

Следствие: если байесовская оценка имеет постоянный риск, она минимаксна. Обратите внимание, что это не является обязательным условием.

Пример 1: Нечестная монета : Рассмотрим задачу оценки степени «успеха» биномиальной переменной, $x\sim B(n,\theta )\,\!$. Это можно рассматривать как оценку скорости, с которой несправедливая монета выпадает «орлом» или «решкой». В этом случае байесовская оценка относительно бета -распределенного априора: $\theta \sim {\text{Beta}}({\sqrt {n}}/2,{\sqrt {n}}/2)\,$ является

$\delta ^{M}={\frac {x+0.5{\sqrt {n}}}{n+{\sqrt {n}}}},\,$

с постоянным байесовским риском

$r={\frac {1}{4(1+{\sqrt {n}})^{2}}}\,$

и, согласно следствию, является минимаксным.

Определение: последовательность предыдущих распределений. $\pi _{n}\,\!$ называется наименее благоприятным, если для любого другого распределения $\pi '\,\!$,

$\lim _{n\rightarrow \infty }r_{\pi _{n}}\geq r_{\pi '}.\,$

Теорема 2: Если существует последовательность априорных значений $\pi _{n}\,\!$ и оценщик $\delta \,\!$ такой, что $\sup _{\theta }R(\theta ,\delta )=\lim _{n\rightarrow \infty }r_{\pi _{n}}\,\!$, затем :

1. $\delta \,\!$ является минимаксом.
2. Последовательность $\pi _{n}\,\!$ является наименее благоприятным.

Обратите внимание, что здесь уникальность не гарантируется. Например, оценка ML из предыдущего примера может быть достигнута как предел оценок Байеса относительно однородного априора, $\pi _{n}\sim U[-n,n]\,\!$ с возрастающей поддержкой, а также по отношению к нормальному априорному значению нулевого среднего. $\pi _{n}\sim N(0,n\sigma ^{2})\,\!$ с увеличением дисперсии. Таким образом, ни результирующая оценка ML не является уникальной минимаксной, ни наименее благоприятная априорная оценка не является уникальной.

Пример 2. Рассмотрим задачу оценки среднего значения $p\,\!$ размерный гауссовский случайный вектор, $x\sim N(\theta ,I_{p}\sigma ^{2})\,\!$. Оценка максимального правдоподобия (ML) для $\theta \,\!$ в данном случае это просто $\delta _{\text{ML}}=x\,\!$, и его риск

$R(\theta ,\delta _{\text{ML}})=E{\|\delta _{ML}-\theta \|^{2}}=\sum _{i=1}^{p}E(x_{i}-\theta _{i})^{2}=p\sigma ^{2}.\,$

СКО оценки максимального правдоподобия по сравнению с оценкой Джеймса – Стейна

Риск постоянен, но оценка ML на самом деле не является оценкой Байеса, поэтому следствие теоремы 1 неприменимо. Однако оценка ML является пределом оценок Байеса относительно предыдущей последовательности. $\pi _{n}\sim N(0,n\sigma ^{2})\,\!$, а значит, и минимакс согласно теореме 2. Тем не менее минимаксность не всегда влечет за собой допустимость . Фактически в этом примере известно, что оценка ML недопустима (недопустима) всякий раз, когда $p>2\,\!$. Знаменитая оценка Джеймса–Стейна доминирует над ML всякий раз, когда $p>2\,\!$. Хотя обе оценки имеют одинаковый риск $p\sigma ^{2}\,\!$ когда $\|\theta \|\rightarrow \infty \,\!$, и оба они минимаксны, оценка Джеймса – Стейна имеет меньший риск для любого конечного $\|\theta \|\,\!$. Этот факт иллюстрируется на следующем рисунке.

Некоторые примеры

В общем, определить минимаксную оценку сложно, а зачастую и невозможно. Тем не менее во многих случаях минимаксная оценка была определена.

Пример 3. Ограниченное нормальное среднее: при оценке среднего вектора нормали. $x\sim N(\theta ,I_{n}\sigma ^{2})\,\!$, где известно, что $\|\theta \|^{2}\leq M\,\!$. Известно , что оценка Байеса относительно априора, равномерно распределенного на краю ограничивающей сферы, является минимаксной, если $M\leq n\,\!$. Аналитическое выражение для этой оценки:

$\delta ^{M}(x)={\frac {MJ_{n+1}(M\|x\|)}{\|x\|J_{n}(M\|x\|)}}x,\,$

где $J_{n}(t)\,\!$, — модифицированная функция Бесселя первого рода порядка n .

Асимптотическая минимаксная оценка

Трудность определения точной минимаксной оценки побудила к изучению оценок асимптотического минимакса - оценки $\delta '$ называется $c$-асимптотический (или приближенный) минимакс, если

$\sup _{\theta \in \Theta }R(\theta ,\delta ')\leq c\inf _{\delta }\sup _{\theta \in \Theta }R(\theta ,\delta ).$

Для многих задач оценивания, особенно в случае непараметрического оценивания, были установлены различные приближенные минимаксные оценки. Конструкция приближенной минимаксной оценки тесно связана с геометрией, такой как метрическое энтропийное число , $\Theta$.

Рандомизированная минимаксная оценка

Иногда минимаксная оценка может принимать форму рандомизированного правила принятия решений . Пример показан слева. Пространство параметров состоит всего из двух элементов, и каждая точка на графике соответствует риску правила принятия решения: координата x представляет собой риск, когда параметр $\theta _{1}$ а координата Y — это риск, когда параметр $\theta _{2}$. В этой задаче принятия решения минимаксная оценка лежит на отрезке, соединяющем две детерминированные оценки. Выбор $\delta _{1}$ с вероятностью $1-p$ и $\delta _{2}$ с вероятностью $p$ минимизирует предельный риск.

Связь с надежной оптимизацией

Робастная оптимизация — это подход к решению задач оптимизации в условиях неопределенности в знании основных параметров. Например, байесовская оценка параметра MMSE требует знания корреляционной функции параметра. Если знание этой корреляционной функции не совсем доступно, можно воспользоваться популярным минимаксным подходом к устойчивой оптимизации. заключается в определении набора, характеризующего неопределенность корреляционной функции, а затем проведении минимаксной оптимизации набора неопределенностей и средства оценки соответственно. Подобную минимаксную оптимизацию можно провести, чтобы сделать оценки устойчивыми к определенным неточно известным параметрам. Например, недавнее исследование, посвященное таким методам в области обработки сигналов, можно найти здесь.

В R. Fandom Noubiap и W. Seidel (2001) был разработан алгоритм расчета гамма-минимаксного решающего правила, когда гамма задается конечным числом обобщенных моментных условий. Такое решающее правило минимизирует максимум интегралов функции риска по отношению ко всем распределениям в Гамме. Гамма-минимаксные правила принятия решений представляют интерес для исследований устойчивости байесовской статистики.

Ссылки

• Э. Л. Леманн и Г. Казелла (1998), Теория точечной оценки, 2-е изд. Нью-Йорк: Springer-Verlag.
• Ф. Перрон и Э. Маршан (2002), «О минимаксной оценке ограниченного нормального среднего», « Статистика и вероятностные письма » 58 : 327–333.
• Р. Фэндом Нубиап и В. Зайдель (2001), «Алгоритм расчета гамма-минимаксных правил принятия решений в условиях обобщенного момента», Анналы статистики , август 2001 г., том. 29, нет. 4, стр. 1094–1116.
• Штейн, К. (1981). «Оценка среднего многомерного нормального распределения» . Анналы статистики . 9 (6): 1135–1151. дои : 10.1214/aos/1176345632 . МР   0630098 . Збл   0476.62035 .