Усадка (статистика)

В статистике — сокращение это уменьшение последствий вариации выборки. В регрессионном анализе подобранная связь, по-видимому, работает менее эффективно на новом наборе данных, чем на наборе данных, использованном для подбора. ^[1] значение коэффициента детерминации В частности, «сжимается» . Эта идея дополняет переоснащение и, отдельно, стандартную корректировку, вносимую в коэффициент детерминации для компенсации сослагательного эффекта дальнейшей выборки, например, контроль возможности появления новых пояснительных терминов, улучшающих модель случайно: то есть корректировка сама формула обеспечивает «усадку». Но формула корректировки дает искусственное сокращение.

Средство оценки усадки — это средство оценки , которое явно или неявно учитывает эффекты усадки. Грубо говоря, это означает, что наивная или необработанная оценка улучшается путем объединения ее с другой информацией. Этот термин относится к идее, что улучшенная оценка приближается к значению, предоставляемому «прочей информацией», чем необработанная оценка. В этом смысле сокращение используется для регуляризации некорректных задач вывода .

Сокращение является неявным в байесовском выводе и выводе о штрафном правдоподобии и явным в Джеймса – Штейна выводе типа . Напротив, простые типы процедур оценки максимального правдоподобия и наименьших квадратов не включают эффекты усадки, хотя их можно использовать в схемах оценки усадки.

Описание

Многие стандартные средства оценки можно улучшить с точки зрения среднеквадратической ошибки (MSE), сократив их до нуля (или любого другого конечного постоянного значения). Другими словами, улучшение оценки за счет соответствующего уменьшения ширины доверительного интервала может перевесить ухудшение оценки, вызванное смещением оценки в сторону нуля (см. компромисс между смещением и дисперсией ).

Предположим, что ожидаемое значение необработанной оценки не равно нулю, и рассмотрим другие оценки, полученные путем умножения необработанной оценки на определенный параметр. Значение этого параметра можно указать так, чтобы минимизировать MSE новой оценки. Для этого значения параметра новая оценка будет иметь меньшую MSE, чем необработанная. Таким образом, он был улучшен. Эффектом здесь может быть преобразование несмещенной исходной оценки в улучшенную смещенную.

Примеры

Хорошо известный пример возникает при оценке дисперсии генеральной совокупности по выборочной дисперсии . Для размера выборки n использование делителя n - 1 в обычной формуле ( поправка Бесселя ) дает несмещенную оценку, в то время как другие делители имеют более низкую СКО за счет смещения. Оптимальный выбор делителя (взвешивание сокращения) зависит от избыточного эксцесса генеральной совокупности, как обсуждается в статье «Среднеквадратическая ошибка: дисперсия» , но всегда можно добиться большего (с точки зрения MSE), чем несмещенная оценка; для нормального распределения делитель n + 1 дает тот, который имеет минимальную среднеквадратическую ошибку.

Методы

Типы регрессии , которые включают оценки усадки, включают регрессию гребня , где коэффициенты, полученные из обычной регрессии наименьших квадратов, приближаются к нулю путем умножения на константу ( коэффициент усадки ), и регрессию лассо , где коэффициенты приближаются к нулю путем сложения или вычитание константы.

Использование оценок усадки в контексте регрессионного анализа, где может существовать большое количество объясняющих переменных, было описано Копасом. ^[2] Здесь значения оцененных коэффициентов регрессии сжимаются до нуля, что приводит к уменьшению среднеквадратической ошибки прогнозируемых значений модели при применении к новым данным. Более поздняя статья Копаса ^[3] применяет сокращение в контексте, где проблема состоит в том, чтобы предсказать двоичный ответ на основе двоичных независимых переменных.

Хауссер и Стриммер «разрабатывают систему оценки усадки типа Джеймса-Стейна, в результате чего получается процедура, которая является высокоэффективной как статистически, так и вычислительно. Несмотря на свою простоту, ... она превосходит восемь других процедур оценки энтропии в широком диапазоне сценариев выборки и модели, генерирующие данные, даже в случаях серьезной недостаточной выборки. ...метод является полностью аналитическим и, следовательно, недорогим в вычислительном отношении. Более того, ...процедура одновременно обеспечивает оценки энтропии и частот ячеек. энтропия и взаимная информация, а также все другие исследованные средства оценки энтропии были реализованы в R (R Development Core Team, 2008). Соответствующий пакет R «энтропия» был размещен в архиве R CRAN и доступен по URL-адресу https: //cran.r-project.org/web/packages/entropy/ под лицензией GNU General Public License». ^[4]

См. также

Статистическое программное обеспечение

Хауссер, Жан. «энтропия» . энтропийный пакет для R . Проверено 23 марта 2013 г.

Ссылки

^ Everitt BS (2002) Кембриджский статистический словарь (2-е издание), CUP. ISBN 0-521-81099-X
^ Копас, Дж. Б. (1983). «Регрессия, прогнозирование и сокращение». Журнал Королевского статистического общества, серия B. 45 (3): 311–354. JSTOR 2345402 . МР 0737642 .
^ Копас, Дж. Б. (1993). «Сокращение методов подсчета очков». Журнал Королевского статистического общества, серия C. 42 (2): 315–331. JSTOR 2986235 .
^ Хауссер, Жан; Стриммер (2009). «Вывод энтропии и оценщик Джеймса-Стейна с применением к нелинейным сетям ассоциаций генов» (PDF) . Журнал исследований машинного обучения . 10 : 1469–1484 . Проверено 23 марта 2013 г.

Эта статистике статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[1] Everitt BS (2002) Кембриджский статистический словарь (2-е издание), CUP. ISBN 0-521-81099-X

[2] Копас, Дж. Б. (1983). «Регрессия, прогнозирование и сокращение». Журнал Королевского статистического общества, серия B. 45 (3): 311–354. JSTOR 2345402 . МР 0737642 .

[3] Копас, Дж. Б. (1993). «Сокращение методов подсчета очков». Журнал Королевского статистического общества, серия C. 42 (2): 315–331. JSTOR 2986235 .

[4] Хауссер, Жан; Стриммер (2009). «Вывод энтропии и оценщик Джеймса-Стейна с применением к нелинейным сетям ассоциаций генов» (PDF) . Журнал исследований машинного обучения . 10 : 1469–1484 . Проверено 23 марта 2013 г.

[1]

[2]

[3]

[4]