Инвариантная оценка

В статистике понятие инвариантной оценки — это критерий, который можно использовать для сравнения свойств разных оценок одной и той же величины. Это способ формализовать идею о том, что оценщик должен обладать определенными интуитивно привлекательными качествами. Строго говоря, «инвариантность» будет означать, что сами оценки не изменяются, когда и измерения, и параметры преобразуются совместимым образом, но значение было расширено, чтобы позволить оценкам изменяться соответствующим образом при таких преобразованиях. Термин «эквивариантная оценка» используется в формальных математических контекстах, которые включают точное описание отношения того, как оценка изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию « эквивариантности » в более общей математике.

Общие настройки

Фон

В статистическом выводе существует несколько подходов к теории оценивания , которые можно использовать для немедленного принятия решения о том, какие оценщики следует использовать в соответствии с этими подходами. Например, идеи байесовского вывода приведут непосредственно к байесовским оценкам . Точно так же теория классического статистического вывода иногда может привести к убедительным выводам о том, какую оценку следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанной статистической модели , а также может зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом, можно провести байесовский анализ , ведущий к апостериорному распределению соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Затем идеи инвариантности можно применить к задаче суммирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценку, концепция инвариантности оценки может применяться при поиске оценок альтернативных форм либо ради простоты применения оценки, либо для того, чтобы оценка была крепкий .

Концепция инвариантности иногда используется сама по себе как способ выбора между оценщиками, но это не обязательно является окончательным. Например, требование инвариантности может быть несовместимо с требованием того, чтобы оценщик был несмещенным по среднему значению ; с другой стороны, критерий несмещенности медианы определяется в терминах выборочного распределения оценщика и поэтому инвариантен при многих преобразованиях.

Одним из вариантов использования концепции инвариантности является предложение класса или семейства оценок, среди которых необходимо выбрать конкретную формулировку. Одна из процедур состоит в том, чтобы наложить соответствующие свойства инвариантности, а затем найти в этом классе формулировку, которая обладает лучшими свойствами, что приводит к так называемой оптимальной инвариантной оценке.

Некоторые классы инвариантных оценок

Существует несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценками. Каждый из них порождает класс оценок, инвариантных к этим конкретным типам преобразований.

• Инвариантность сдвига: теоретически оценки параметра местоположения должны быть инвариантны к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на ту же величину. При рассмотрении оценки с использованием средневзвешенного значения это требование инвариантности немедленно подразумевает, что сумма весов должна равняться единице. Хотя тот же результат часто получается из требования несмещенности, использование «инвариантности» не требует существования среднего значения и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: обратите внимание, что эту тему об инвариантности масштабного параметра оценки не следует путать с более общей масштабной инвариантностью поведения систем при совокупных свойствах (в физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что на основе данных и модели, включающей параметр θ, следует сделать по существу тот же самый вывод, который был бы сделан на основе тех же данных, если бы в модели использовался параметр φ, где φ — взаимно однозначное преобразование θ, φ= h (θ). В соответствии с этим типом инвариантности результаты оценок, инвариантных к преобразованию, также должны быть связаны соотношением φ = h (θ). Оценщики максимального правдоподобия обладают этим свойством, когда преобразование является монотонным . Хотя асимптотические свойства средства оценки могут быть инвариантными, свойства небольшой выборки могут быть разными, и необходимо получить конкретное распределение.
• Инвариантность перестановок: если набор значений данных может быть представлен статистической моделью, согласно которой они являются результатами независимых и одинаково распределенных случайных величин , разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам. : в частности, оценщик, рассматриваемый как функция набора значений данных, не должен меняться, если элементы данных меняются местами внутри набора данных.

Сочетание инвариантности перестановок и инвариантности местоположения для оценки параметра местоположения из независимого и одинаково распределенного набора данных с использованием средневзвешенного значения подразумевает, что веса должны быть идентичными и в сумме равняться единице. Конечно, предпочтительнее могут быть другие оценки, кроме средневзвешенного.

Оптимальные инвариантные оценки

В рамках этой настройки нам предоставляется набор измерений $x$ который содержит информацию о неизвестном параметре $\theta$. Размеры $x$ моделируются как векторная случайная величина, имеющая функцию плотности вероятности $f(x|\theta )$ который зависит от вектора параметров $\theta$.

Проблема в том, чтобы оценить $\theta$ данный $x$. Оценка, обозначаемая $a$, является функцией измерений и принадлежит множеству $A$. Качество результата определяется функцией потерь $L=L(a,\theta )$ которая определяет функцию риска $R=R(a,\theta )=E[L(a,\theta )|\theta ]$. Наборы возможных значений $x$, $\theta$, и $a$ обозначаются $X$, $\Theta$, и $A$, соответственно.

В классификации

В статистической классификации правило, которое присваивает класс новому элементу данных, можно рассматривать как специальный тип оценщика. можно учитывать ряд соображений типа инвариантности При формулировании предварительных знаний для распознавания образов .

Математическая установка

Определение

Инвариантная оценка — это оценка, которая подчиняется следующим двум правилам:

1. Принцип рациональной инвариантности: действие, предпринимаемое при решении проблемы, не должно зависеть от преобразования используемого измерения.
2. Принцип инвариантности: если две задачи решения имеют одинаковую формальную структуру (с точки зрения $X$, $\Theta$, $f(x|\theta )$ и $L$), то в каждой задаче следует использовать одно и то же решающее правило.

Чтобы формально определить инвариантную или эквивариантную оценку, сначала необходимы некоторые определения, связанные с группами преобразований. Позволять $X$ обозначают набор возможных выборок данных. Группа преобразований ​ $X$, который будет обозначаться $G$, представляет собой набор (измеримых) 1:1 и преобразований $X$ в себя, что удовлетворяет следующим условиям:

1. Если $g_{1}\in G$ и $g_{2}\in G$ затем $g_{1}g_{2}\in G\,$
2. Если $g\in G$ затем $g^{-1}\in G$, где $g^{-1}(g(x))=x\,.$ (То есть каждое преобразование имеет обратное внутри группы.)
3. $e\in G$ (т.е. происходит тождественное преобразование $e(x)=x\,$)

Наборы данных $x_{1}$ и $x_{2}$ в $X$ эквивалентны, если $x_{1}=g(x_{2})$ для некоторых $g\in G$. Все эквивалентные точки образуют класс эквивалентности . Такой класс эквивалентности называется орбитой ( в $X$). $x_{0}$ орбита, $X(x_{0})$, это набор $X(x_{0})=\{g(x_{0}):g\in G\}$. Если $X$ состоит из одной орбиты, тогда $g$ называется транзитивным.

Семья плотностей $F$ называется инвариантным относительно группы $G$ если для каждого $g\in G$ и $\theta \in \Theta$ существует уникальный $\theta ^{*}\in \Theta$ такой, что $Y=g(x)$ имеет плотность $f(y|\theta ^{*})$. $\theta ^{*}$ будет обозначен ${\bar {g}}(\theta )$.

Если $F$ инвариантен относительно группы $G$ тогда функция потерь $L(\theta ,a)$ называется инвариантным относительно $G$ если для каждого $g\in G$ и $a\in A$ существует $a^{*}\in A$ такой, что $L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})$ для всех $\theta \in \Theta$. Преобразованное значение $a^{*}$ будет обозначаться ${\tilde {g}}(a)$.

В приведенном выше ${\bar {G}}=\{{\bar {g}}:g\in G\}$ представляет собой группу преобразований из $\Theta$ себе и ${\tilde {G}}=\{{\tilde {g}}:g\in G\}$ представляет собой группу преобразований из $A$ самому себе.

Задача оценивания инвариантна (эквивариантна) относительно $G$ если существуют три группы $G,{\bar {G}},{\tilde {G}}$ как определено выше.

Для задачи оценивания, которая инвариантна относительно $G$, оценщик $\delta (x)$ является инвариантной оценкой относительно $G$ если для всех $x\in X$ и $g\in G$,

$\delta (g(x))={\tilde {g}}(\delta (x)).$

Характеристики

1. Функция риска инвариантной оценки, $\delta$, постоянна на орбитах $\Theta$. Эквивалентно $R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )$ для всех $\theta \in \Theta$ и ${\bar {g}}\in {\bar {G}}$.
2. Функция риска инвариантной оценки с транзитивным ${\bar {g}}$ является постоянным.

Для данной задачи инвариантная оценка с наименьшим риском называется «лучшей инвариантной оценкой». Наилучшую инвариантную оценку не всегда можно получить. Частным случаем, для которого это может быть достигнуто, является случай, когда ${\bar {g}}$ является транзитивным.

Пример: параметр местоположения

Предполагать $\theta$ является параметром местоположения, если плотность $X$ имеет форму $f(x-\theta )$. Для $\Theta =A=\mathbb {R} ^{1}$ и $L=L(a-\theta )$, задача инвариантна относительно $g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}$. Инвариантная оценка в этом случае должна удовлетворять

$\delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,$

таким образом, он имеет вид $\delta (x)=x+K$ ( $K\in \mathbb {R}$). ${\bar {g}}$ является транзитивным по $\Theta$ поэтому риск не зависит от $\theta$: то есть, $R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]$. Лучшая инвариантная оценка — это та, которая приносит риск $R(\theta ,\delta )$ до минимума.

В случае, когда L — квадрат ошибки $\delta (x)=x-\operatorname {E} [X|\theta =0].$

Оценщик Питмана

Проблема оценки состоит в том, что $X=(X_{1},\dots ,X_{n})$ имеет плотность $f(x_{1}-\theta ,\dots ,x_{n}-\theta )$, где θ — оцениваемый параметр, а функция потерь равна $L(|a-\theta |)$. Эта проблема инвариантна со следующими (аддитивными) группами преобразований:

$G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},$

${\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},$

${\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.$

Лучшая инвариантная оценка $\delta (x)$ это тот, который минимизирует

${\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},$

а это оценщик Питмана (1939).

Для случая потерь с квадратичной ошибкой результат:

$\delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.$

Если $x\sim N(\theta 1_{n},I)\,\!$ (т.е. многомерное нормальное распределение с независимыми компонентами единичной дисперсии), тогда

$\delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.$

Если $x\sim C(\theta 1_{n},I\sigma ^{2})\,\!$ (независимые компоненты, имеющие распределение Коши с масштабным параметром σ ), тогда $\delta _{\text{Pitman}}\neq \delta _{ML}$,. Однако результат

$\delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,$

с

$w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].$

Ссылки

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN  0-387-96098-8 . МР   0804611 .
• Фрой, Габриэла В. Коэн (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и выводов . 137 (6): 1900–1913. дои : 10.1016/j.jspi.2006.05.002 .
• Питман, EJG (1939). «Оценка местоположения и масштабных параметров непрерывной популяции любой заданной формы». Биометрика . 30 (3/4): 391–421. дои : 10.1093/biomet/30.3-4.391 . JSTOR   2332656 .
• Питман, EJG (1939). «Проверка гипотез относительно параметров местоположения и масштаба». Биометрика . 31 (1/2): 200–215. дои : 10.1093/biomet/31.1-2.200 . JSTOR   2334983 .