Оценка минимального расстояния

Оценка минимального расстояния ( MDE ) — это концептуальный метод подбора статистической модели к данным, обычно эмпирическому распределению . Часто используемые методы оценки, такие как обычные методы наименьших квадратов, можно рассматривать как особые случаи оценки минимального расстояния.

Хотя непротиворечивы и асимптотически нормальны оценки минимального расстояния , они, как правило, не являются статистически эффективными по сравнению с оценками максимального правдоподобия , поскольку они пропускают якобиан, обычно присутствующий в функции правдоподобия . Однако это существенно снижает вычислительную сложность задачи оптимизации.

Определение

Позволять $\displaystyle X_{1},\ldots ,X_{n}$ быть независимой и одинаково распределенной (iid) случайной выборкой из совокупности с распределением $F(x;\theta )\colon \theta \in \Theta$ и $\Theta \subseteq \mathbb {R} ^{k}(k\geq 1)$ .

Позволять $\displaystyle F_{n}(x)$ — эмпирическая функция распределения, основанная на выборке.

Позволять ${\hat {\theta }}$ быть оценщиком $\displaystyle \theta$ . Затем $F(x;{\hat {\theta }})$ является оценщиком $\displaystyle F(x;\theta )$ .

Позволять $d[\cdot ,\cdot ]$ быть функционалом, возвращающим некоторую меру «расстояния» между двумя своими аргументами. Функционал $\displaystyle d$ также называется целевой функцией.

Если существует ${\hat {\theta }}\in \Theta$ такой, что $d[F(x;{\hat {\theta }}),F_{n}(x)]=\inf\{d[F(x;\theta ),F_{n}(x)];\theta \in \Theta \}$ , затем ${\hat {\theta }}$ называется минимального расстояния оценкой $\displaystyle \theta$ .

( Дроссос и Филиппу 1980 , стр. 121)

Статистика, используемая при оценке

В большинстве теоретических исследований оценки минимального расстояния и в большинстве приложений используются меры «расстояния», которые лежат в основе уже установленных тестов согласия : статистика теста, используемая в одном из этих тестов, используется в качестве меры расстояния, которую необходимо минимизировать. Ниже приведены некоторые примеры статистических тестов, которые использовались для оценки минимального расстояния.

Критерий хи-квадрат

Критерий хи-квадрат использует в качестве критерия сумму по заранее определенным группам квадратичной разницы между приростами эмпирического распределения и расчетным распределением, взвешенную по увеличению оценки для этой группы.

Критерий Крамера – фон Мизеса

Критерий Крамера -фон Мизеса использует интеграл квадрата разности между эмпирической и расчетной функциями распределения ( Parr & Schucany 1980 , стр. 616).

Критерий Колмогорова–Смирнова

Критерий Колмогорова-Смирнова использует верхнюю границу абсолютной разницы между эмпирической и расчетной функциями распределения ( Parr & Schucany 1980 , стр. 616).

Критерий Андерсона-Дарлинга

Критерий Андерсона-Дарлинга аналогичен критерию Крамера-фон Мизеса, за исключением того, что интеграл представляет собой взвешенную версию квадрата разности, где взвешивание связывает дисперсию эмпирической функции распределения ( Parr & Schucany 1980 , стр. 616).

Теоретические результаты

Теория оценки минимального расстояния связана с теорией асимптотического распределения соответствующих статистических критериев согласия . Часто случаи критерия Крамера–фон Мизеса , критерия Колмогорова–Смирнова и критерия Андерсона–Дарлинга рассматриваются одновременно, рассматривая их как частные случаи более общей формулировки меры расстояния. Примерами имеющихся теоретических результатов являются: согласованность оценок параметров; асимптотические ковариационные матрицы оценок параметров.

См. также

Ссылки

Боос, Деннис Д. (1982). «Минимальная оценка Андерсона-Дарлинга». Коммуникации в статистике – теория и методы . 11 (24): 2747–2774. дои : 10.1080/03610928208828420 . S2CID 119812213 .
Блит, Колин Р. (июнь 1970 г.). «О моделях вывода и принятия решений в статистике» . Анналы математической статистики . 41 (3): 1034–1058. дои : 10.1214/aoms/1177696980 .
Дроссос, Константин А.; Филиппу, Андреас Н. (декабрь 1980 г.). «Примечание об оценках минимального расстояния». Летопись Института статистической математики . 32 (1): 121–123. дои : 10.1007/BF02480318 . S2CID 120207485 .
Парр, Уильям К.; Шукани, Уильям Р. (1980). «Минимальное расстояние и робастная оценка». Журнал Американской статистической ассоциации . 75 (371): 616–624. CiteSeerX 10.1.1.878.5446 . дои : 10.1080/01621459.1980.10477522 . JSTOR 2287658 .
Вулфовиц, Дж. (март 1957 г.). «Метод минимального расстояния» . Анналы математической статистики . 28 (1): 75–88. дои : 10.1214/aoms/1177707038 .