Оценка максимального расстояния

Метод максимального интервала пытается найти функцию распределения, при которой все интервалы D _{( i )} имеют примерно одинаковую длину. Это делается путем максимизации их среднего геометрического .

В статистике — оценка максимального интервала ( MSE или MSP ) или максимальный продукт оценки интервала (MPS) это метод оценки параметров одномерной статистической модели . Этот метод требует максимизации среднего геометрического расстояний в данных, которые представляют собой разности между значениями кумулятивной функции распределения в соседних точках данных.

Концепция, лежащая в основе метода, основана на преобразовании интеграла вероятности , заключающемся в том, что набор независимых случайных выборок, полученных из любой случайной величины, должен в среднем быть равномерно распределен относительно кумулятивной функции распределения случайной величины. Метод MPS выбирает значения параметров, которые делают наблюдаемые данные максимально однородными, в соответствии с конкретной количественной мерой однородности.

Один из наиболее распространенных методов оценки параметров распределения по данным, метод максимального правдоподобия (MLE), может выйти из строя в различных случаях, например, при использовании определенных смесей непрерывных распределений. В этих случаях может оказаться успешным метод оценки максимального расстояния.

Помимо использования в чистой математике и статистике, сообщалось о пробном применении этого метода с использованием данных из таких областей, как гидрология , эконометрика , магнитно-резонансная томография , и другие.

История и использование

Метод MSE был независимо разработан Расселом Ченгом и Ником Амином из Института науки и технологий Уэльского университета и Бо Раннеби из Шведского университета сельскохозяйственных наук . Авторы объяснили, что из-за преобразования интеграла вероятности при истинном параметре «интервал» между каждым наблюдением должен быть равномерно распределен. Это означало бы, что разность значений кумулятивной функции распределения при последовательных наблюдениях должна быть одинаковой. Это тот случай, когда максимизирует среднее геометрическое таких расстояний, поэтому решение параметров, которые максимизируют среднее геометрическое, позволит достичь «наилучшего» соответствия, определенного таким образом. Раннеби (1984) обосновал этот метод, продемонстрировав, что он является оценкой расхождения Кульбака-Лейблера , аналогичной оценке максимального правдоподобия , но с более устойчивыми свойствами для некоторых классов задач.

Существуют определенные распределения, особенно с тремя или более параметрами, вероятность которых может стать бесконечной на определенных путях в пространстве параметров . Использование максимального правдоподобия для оценки этих параметров часто дает сбой: один параметр стремится к определенному значению, из-за чего вероятность становится бесконечной, что делает другие параметры несогласованными. Однако метод максимальных расстояний, поскольку он зависит от разницы между точками кумулятивной функции распределения, а не от отдельных точек правдоподобия, не имеет этой проблемы и будет возвращать действительные результаты в гораздо более широком массиве распределений.

Распределения, которые имеют тенденцию иметь проблемы с правдоподобием, часто используются для моделирования физических явлений. Холл и др. (2004) стремятся проанализировать методы смягчения последствий наводнений, что требует точных моделей последствий речных паводков. Все распределения, которые лучше моделируют эти эффекты, представляют собой трехпараметрические модели, которые страдают от описанной выше проблемы бесконечного правдоподобия, что привело к исследованию Холлом процедуры максимального интервала. Вонг и Ли (2006) при сравнении метода с максимальным правдоподобием использовали различные наборы данных, начиная от набора самых старых возрастов смерти в Швеции между 1905 и 1958 годами и заканчивая набором, содержащим годовые максимальные скорости ветра.

Определение

Учитывая iid случайную выборку { x ₁ , ..., x _n } размера n из одномерного распределения с непрерывной кумулятивной функцией распределения F ( x ; θ ₀ ), где θ ₀ ∈ Θ - неизвестный параметр, который нужно оценить , пусть { x ₍₁₎ , ..., x _{( n )} } — соответствующая упорядоченная выборка, то есть результат сортировки всех наблюдений от наименьшего к наибольшему. Для удобства также обозначим x ₍₀₎ = −∞ и x _{( n +1)} = +∞.

Определим расстояния как «промежутки» между значениями функции распределения в соседних упорядоченных точках: $$D_{i}(\theta )=F(x_{(i)};\,\theta )-F(x_{(i-1)};\,\theta ),\quad i=1,\ldots ,n+1.$$

Тогда оценка максимального расстояния θ логарифм ₀ определяется как значение, которое максимизирует среднего расстояния геометрического между образцами: $${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\;S_{n}(\theta ),\quad {\text{where }}\ S_{n}(\theta )=\ln \!\!{\sqrt[{n+1}]{D_{1}D_{2}\cdots D_{n+1}}}={\frac {1}{n+1}}\sum _{i=1}^{n+1}\ln {D_{i}}(\theta ).$$

В силу неравенства средних арифметических и геометрических функция Sn _{+1), и} ( θ ) ограничена сверху величиной −ln( n , таким образом, максимум должен существовать по крайней мере в смысле супремума .

что некоторые авторы определяют функцию Sn _{Заметим ,} ( θ ) несколько иначе. В частности, Раннеби (1984) умножает каждое D _i на коэффициент ( n +1), тогда как Ченг и Стивенс (1989) опускают 1 ⁄ n +1 Перед суммой умножьте множитель и добавьте знак «-», чтобы превратить максимизацию в минимизацию. Поскольку это константы по отношению к θ положение максимума функции Sn _{, модификации не изменяют} .

Примеры

В этом разделе представлены два примера расчета оценки максимального расстояния.

Пример 1

Графики логарифмического значения λ для упрощенного примера при оценке правдоподобия и интервала. Определены значения, для которых и вероятность, и интервал максимальны, а также оценки максимального правдоподобия и максимального интервала.

Предположим, что два значения x ₍₁₎ = 2, x ₍₂₎ = 4 были выбраны из экспоненциального распределения F ( x ; λ ) = 1 − e ^{− хλ} , x ≥ 0 с неизвестным параметром λ > 0. Чтобы построить СКО, нам нужно сначала найти расстояния:

я	F ( Икс ( я ) )	F ( Икс ( я -1) )	D я знак равно F ( Икс ( я ) ) - F ( Икс ( я -1) )
1	1 - и −2 мин.	0	1 - и −2 мин.
2	1 - и -4 мин.	1 - и −2 мин.	и −2 мин. − и -4 мин.
3	1	1 - и -4 мин.	и -4 мин.

Процесс продолжается поиском λ , который максимизирует среднее геометрическое столбца «разности». Используя соглашение, которое игнорирует взятие корня ( n +1), это превращается в максимизацию следующего произведения: (1 − e ^{−2 мин.} ) · (и ^{−2 мин.} − и ^{-4 мин.} ) · (и ^{-4 мин.} ). Полагая µ = e ^{−2 мин.} , проблема заключается в нахождении максимума µ ⁵ -2 м ⁴ + м ³ . Дифференцируя, µ должен удовлетворять 5 µ ⁴ -8 м ³ +3 м ² = 0. Это уравнение имеет корни 0, 0,6 и 1. Поскольку µ на ​​самом деле равно e ^{−2 мин.} , оно должно быть больше нуля, но меньше единицы. Поэтому единственным приемлемым решением является $$\mu =0.6\quad \Rightarrow \quad \lambda _{\text{MSE}}={\frac {\ln 0.6}{-2}}\approx 0.255,$$что соответствует экспоненциальному распределению со средним значением 1 ⁄ λ ≈ 3,915. Для сравнения: оценка максимального правдоподобия λ является обратной выборочной средней, равной 3, поэтому λ _MLE = ⅓ ≈ 0,333.

Пример 2

Предположим, { x ₍₁₎ , ..., x _{( n )} } — упорядоченная выборка из равномерного распределения U ( a , b ) с неизвестными конечными точками a и b . Кумулятивная функция распределения равна F ( x ; a , b ) = ( x - a )/( b - a ), когда x ∈ [ a , b ]. Таким образом, отдельные расстояния определяются выражением $$D_{1}={\frac {x_{(1)}-a}{b-a}},\ \ D_{i}={\frac {x_{(i)}-x_{(i-1)}}{b-a}}\ {\text{for }}i=2,\ldots ,n,\ \ D_{n+1}={\frac {b-x_{(n)}}{b-a}}\ \$$

Вычислив среднее геометрическое и затем логарифмировав, статистика S _n будет равна $$S_{n}(a,b)={\tfrac {\ln(x_{(1)}-a)}{n+1}}+{\tfrac {\sum _{i=2}^{n}\ln(x_{(i)}-x_{(i-1)})}{n+1}}+{\tfrac {\ln(b-x_{(n)})}{n+1}}-\ln(b-a)$$Здесь только три слагаемых зависят от параметров a и b . Дифференцируя по этим параметрам и решая полученную линейную систему, максимальные оценки расстояния будут равны

${\hat {a}}={\frac {nx_{(1)}-x_{(n)}}{n-1}},\ \ {\hat {b}}={\frac {nx_{(n)}-x_{(1)}}{n-1}}.$

Известно, что это несмещенные оценки с равномерно минимальной дисперсией (UMVU) для непрерывного равномерного распределения. Для сравнения, оценки максимального правдоподобия для этой задачи $\scriptstyle {\hat {a}}=x_{(1)}$ и $\scriptstyle {\hat {b}}=x_{(n)}$ являются предвзятыми и имеют более высокую среднеквадратическую ошибку .

Характеристики

Последовательность и эффективность

Плотность

Распределение

График «J-образной» функции плотности и ее соответствующего распределения. Смещенный Вейбулл с параметром масштаба 15, параметром формы 0,5 и параметром местоположения 10. Плотность асимптотически приближается к бесконечности, когда x приближается к 10, что делает оценки других параметров противоречивыми. нет точки перегиба . Обратите внимание, что на графике распределения

Оценка максимального интервала является последовательной оценкой в ​​том смысле, что она сходится по вероятности к истинному значению параметра θ ₀ , когда размер выборки увеличивается до бесконечности. Согласованность оценки максимального расстояния сохраняется при гораздо более общих условиях, чем для оценок максимального правдоподобия . В частности, в случаях, когда базовое распределение имеет J-образную форму, метод максимальной вероятности не будет работать там, где MSE преуспевает. Примером J-образной плотности является распределение Вейбулла , в частности , сдвинутое распределение Вейбулла с параметром формы меньше 1. Плотность будет стремиться к бесконечности по мере того, как x приближается к параметру местоположения, что делает оценки других параметров несогласованными.

Оценщики максимального расстояния также, по крайней мере, так же асимптотически эффективны , как и оценки максимального правдоподобия, если последние существуют. Однако MSE могут существовать в тех случаях, когда MLE отсутствуют.

Чувствительность

Оценщики максимального расстояния чувствительны к близко расположенным наблюдениям и особенно к связям. Данный $$X_{i+k}=X_{i+k-1}=\cdots =X_{i},\,$$мы получаем $$D_{i+k}(\theta )=D_{i+k-1}(\theta )=\cdots =D_{i+1}(\theta )=0.\,$$

Если связи обусловлены множественными наблюдениями, повторяющиеся интервалы (те, которые в противном случае были бы равны нулю) должны быть заменены соответствующей вероятностью. То есть следует заменить $f_{i}(\theta )$ для $D_{i}(\theta )$, как $$\lim _{x_{i}\to x_{i-1}}{\frac {\int _{x_{i-1}}^{x_{i}}f(t;\theta )\,dt}{x_{i}-x_{i-1}}}=f(x_{i-1},\theta )=f(x_{i},\theta ),$$с $x_{i}=x_{i-1}$.

Когда связи возникают из-за ошибки округления, Ченг и Стивенс (1989) предлагают другой метод устранения последствий. Учитывая r связанных наблюдений от x _i до x _{i + r −1} , пусть δ представляет ошибку округления . Тогда все истинные значения должны попадать в диапазон $x\pm \delta$. Соответствующие точки распределения теперь должны находиться между $y_{L}=F(x-\delta ,{\hat {\theta }})$ и $y_{U}=F(x+\delta ,{\hat {\theta }})$. Ченг и Стивенс предлагают предположить, что округленные значения равномерно распределены в этом интервале, определив $$D_{j}={\frac {y_{U}-y_{L}}{r-1}}\quad (j=i+1,\ldots ,i+r-1).$$

Метод MSE также чувствителен к вторичной кластеризации. Одним из примеров этого явления является ситуация, когда считается, что набор наблюдений происходит из одного нормального распределения , но на самом деле он представляет собой смесь нормалей с разными средними значениями. Второй пример – когда считается, что данные поступают из экспоненциального распределения , но на самом деле они происходят из гамма-распределения . В последнем случае в нижнем хвосте могут возникнуть меньшие зазоры. Высокое значение M ( θ ) указывает на этот вторичный эффект кластеризации и предполагает необходимость более внимательного изучения данных.

тест Морана

Статистика S _n ( θ ) также является формой статистики Морана или Морана-Дарлинга, M ( θ ), которую можно использовать для проверки согласия . Было показано, что статистика, определяемая как $$S_{n}(\theta )=M_{n}(\theta )=-\sum _{j=1}^{n+1}\ln {D_{j}(\theta )},$$является асимптотически нормальным , и что приближение хи-квадрат существует для небольших выборок. В случае, когда мы знаем истинный параметр $\theta ^{0}$, Ченг и Стивенс (1989) показывают, что статистика $\scriptstyle M_{n}(\theta )$ имеет нормальное распределение с $${\begin{aligned}\mu _{M}&\approx (n+1)(\ln(n+1)+\gamma )-{\frac {1}{2}}-{\frac {1}{12(n+1)}},\\\sigma _{M}^{2}&\approx (n+1)\left({\frac {\pi ^{2}}{6}}-1\right)-{\frac {1}{2}}-{\frac {1}{6(n+1)}},\end{aligned}}$$где γ — постоянная Эйлера–Машерони , равная примерно 0,57722.

Распределение также можно аппроксимировать распределением $A$, где $$A=C_{1}+C_{2}\chi _{n}^{2}\,$$,в котором $${\begin{aligned}C_{1}&=\mu _{M}-{\sqrt {\frac {\sigma _{M}^{2}n}{2}}},\\C_{2}&={\sqrt {\frac {\sigma _{M}^{2}}{2n}}},\\\end{aligned}}$$и где $\chi _{n}^{2}$ следует распределению хи-квадрат с $n$ степени свободы . Поэтому для проверки гипотезы $H_{0}$ что случайная выборка $n$ значения происходят из распределения $F(x,\theta )$, статистика $T(\theta )={\frac {M(\theta )-C_{1}}{C_{2}}}$ можно рассчитать. Затем $H_{0}$ следует отвергнуть со значением $\alpha$ если значение больше критического значения соответствующего распределения хи-квадрат.

Где θ ₀ оценивается по формуле ${\hat {\theta }}$, Ченг и Стивенс (1989) показали, что $S_{n}({\hat {\theta }})=M_{n}({\hat {\theta }})$ имеет то же асимптотическое среднее и дисперсию, что и в известном случае. Однако используемая тестовая статистика требует добавления поправки на поправку и выглядит следующим образом: $$T({\hat {\theta }})={\frac {M({\hat {\theta }})+{\frac {k}{2}}-C_{1}}{C_{2}}},$$где $k$ — количество параметров в оценке.

Обобщенный максимальный интервал

Альтернативные размеры и интервалы

Раннеби и Экстрем (1997) обобщили метод MSE для аппроксимации других мер, помимо меры Кульбака – Лейблера. Экстрем (1997) еще больше расширил метод для исследования свойств оценщиков с использованием интервалов более высокого порядка, где интервал m -порядка будет определяться как $F(X_{j+m})-F(X_{j})$.

Многомерные распределения

Раннеби и др. (2005) обсуждают расширенные методы максимального расстояния для многомерного случая. Поскольку не существует естественного порядка $\mathbb {R} ^{k}(k>1)$, они обсуждают два альтернативных подхода: геометрический подход, основанный на ячейках Дирихле , и вероятностный подход, основанный на метрике «шара ближайшего соседа».

См. также

• Расхождение Кульбака – Лейблера
• Максимальная вероятность
• Распределение вероятностей

Ссылки

Цитируемые работы

• Анатольев Станислав; Косенок, Григорий (2005). «Альтернатива максимальной вероятности на основе расстояний» (PDF) . Эконометрическая теория . 21 (2): 472–476. CiteSeerX   10.1.1.494.7340 . дои : 10.1017/S0266466605050255 . S2CID   123004317 . Проверено 21 января 2009 г.
• Бейрлант, Дж.; Дудевич, Э.Дж.; Дьерфи, Л.; ван дер Мейлен, ЕС (1997). «Непараметрическая оценка энтропии: обзор» (PDF) . Международный журнал математических и статистических наук . 6 (1): 17–40. ISSN   1055-7490 . Архивировано из оригинала (PDF) 5 мая 2005 г. Проверено 31 декабря 2008 г. Примечание: связанный документ представляет собой обновленную версию 2001 года.
• Ченг, RCH; Амин, НАК (1983). «Оценка параметров в непрерывных одномерных распределениях со смещенным началом». Журнал Королевского статистического общества, серия B. 45 (3): 394–403. дои : 10.1111/j.2517-6161.1983.tb01268.x . ISSN   0035-9246 . JSTOR   2345411 .
• Ченг, RCH; Стивенс, Массачусетс (1989). «Тест согласия с использованием статистики Морана с оценочными параметрами». Биометрика . 76 (2): 386–392. дои : 10.1093/biomet/76.2.385 .
• Экстрем, Магнус (1997). «Обобщенные оценки максимального расстояния» . Университет Умео, математический факультет . 6 . ISSN   0345-3928 . Архивировано из оригинала 14 февраля 2007 года . Проверено 30 декабря 2008 г.
• Холл, MJ; ван ден Бугаард, HFP; Фернандо, RC; Минетт, А.Е. (2004). «Построение доверительных интервалов для частотного анализа с использованием методов повторной выборки» . Гидрология и науки о системе Земли . 8 (2): 235–246. дои : 10.5194/hess-8-235-2004 . ISSN   1027-5606 .
• Печяк, Томаш (2014). Оценка максимального пространственного шума в данных фоновой МРТ с одной катушкой (PDF) . Международная конференция IEEE по обработке изображений. Париж. стр. 1743–1747 . Проверено 7 июля 2015 г.
• Пайк, Рональд (1965). «Пространства». Журнал Королевского статистического общества, серия B. 27 (3): 395–449. дои : 10.1111/j.2517-6161.1965.tb00602.x . ISSN   0035-9246 . JSTOR   2345793 .
• Раннеби, Бо (1984). «Метод максимального интервала. Метод оценки, связанный с методом максимального правдоподобия». Скандинавский статистический журнал . 11 (2): 93–112. ISSN   0303-6898 . JSTOR   4615946 .
• Раннеби, Бо; Экстрем, Магнус (1997). «Оценки максимального расстояния на основе различных показателей» . Университет Умео, математический факультет . 5 . ISSN   0345-3928 . Архивировано из оригинала 14 февраля 2007 года . Проверено 30 декабря 2008 г.
• Раннеби, Бо; Джаммаламадакаб, С. Рао; Тетеруковский, Алексей (2005). «Оценка максимального расстояния для многомерных наблюдений» (PDF) . Журнал статистического планирования и выводов . 129 (1–2): 427–446. дои : 10.1016/j.jspi.2004.06.059 . Проверено 31 декабря 2008 г.
• Вонг, ТСТ; Ли, В.К. (2006). «Примечание об оценке распределений экстремальных значений с использованием максимального произведения расстояний». Временные ряды и сопутствующие темы: памяти Чинг-Цун Вэя . Конспект лекций Института математической статистики – Серия монографий. Бичвуд, Огайо: Институт математической статистики. стр. 272–283. arXiv : math/0702830v1 . дои : 10.1214/074921706000001102 . ISBN  978-0-940600-68-3 . S2CID   88516426 .