Нормализация (статистика)

В статистике и ее приложениях нормализация может иметь разные значения. ^[1] В простейших случаях нормализация рейтингов означает приведение значений, измеренных по разным шкалам, к условно общей шкале, часто перед усреднением. В более сложных случаях нормализация может относиться к более сложным корректировкам, цель которых состоит в том, чтобы привести в соответствие все распределения вероятностей скорректированных значений. В случае нормализации баллов при оценивании образования может возникнуть намерение привести распределения к нормальному распределению . Другой подход к нормализации распределений вероятностей — это квантильная нормализация , при которой квантили различных показателей выравниваются.

В другом использовании в статистике нормализация относится к созданию смещенных и масштабированных версий статистики, цель которой состоит в том, чтобы эти нормализованные значения позволяли сравнивать соответствующие нормализованные значения для разных наборов данных таким образом, чтобы исключить эффекты определенных грубых влияний, например в аномальном временном ряду . Некоторые типы нормализации включают только изменение масштаба для получения значений относительно некоторой переменной размера. С точки зрения уровней измерения такие отношения имеют смысл только для измерений отношений (где отношения измерений имеют смысл), а не интервальных измерений (где имеют значение только расстояния, но не отношения).

В теоретической статистике параметрическая нормализация часто может привести к основным величинам – функциям, выборочное распределение которых не зависит от параметров – и к вспомогательной статистике – основным величинам, которые можно вычислить на основе наблюдений, не зная параметров.

Примеры

В статистике существуют различные типы нормализации – безразмерные отношения ошибок, остатков, средних и стандартных отклонений , которые, следовательно, являются масштабно-инвариантными – некоторые из них можно резюмировать следующим образом. Обратите внимание, что с точки зрения уровней измерения эти отношения имеют смысл только для измерений отношений (где отношения измерений имеют смысл), а не интервальных измерений (где имеют значение только расстояния, но не отношения). См. также Категория: Статистические коэффициенты .

Имя	Формула	Использовать
Стандартная оценка	${\frac {X-\mu }{\sigma }}$	Ошибки нормализации, когда параметры популяции известны. Хорошо работает для популяций, которые обычно распределены ^[2]
Т-статистика Стьюдента	${\frac {{\widehat {\beta }}-\beta _{0}}{\operatorname {s.e.} ({\widehat {\beta }})}}$	отклонение расчетного значения параметра от его гипотетического значения, нормированного на его стандартную ошибку.
Стьюдентизированный остаток	${\frac {{\hat {\varepsilon }}_{i}}{{\hat {\sigma }}_{i}}}={\frac {X_{i}-{\hat {\mu }}_{i}}{{\hat {\sigma }}_{i}}}$	Нормализация остатков при оценке параметров, особенно по различным точкам данных в регрессионном анализе .
Стандартизированный момент	${\frac {\mu _{k}}{\sigma ^{k}}}$	Нормирующие моменты с использованием стандартного отклонения $\sigma$ как мера масштаба.
Коэффициент вариация	${\frac {\sigma }{\mu }}$	Нормализация дисперсии с использованием среднего значения $\mu$ как мера масштаба, особенно для положительного распределения, такого как экспоненциальное распределение и распределение Пуассона .
Мин-макс масштабирование функций	$X'={\frac {X-X_{\min }}{X_{\max }-X_{\min }}}$	Масштабирование признаков используется для приведения всех значений в диапазон [0,1]. Это также называется нормализацией на основе единицы. Это можно обобщить, чтобы ограничить диапазон значений в наборе данных между любыми произвольными точками. $a$ и $b$ , используя, например $X'=a+{\frac {\left(X-X_{\min }\right)\left(b-a\right)}{X_{\max }-X_{\min }}}$ .

Обратите внимание, что некоторые другие отношения, такие как отношение дисперсии к среднему, ${\textstyle \left({\frac {\sigma ^{2}}{\mu }}\right)}$ , также выполняются для нормализации, но не являются безразмерными: единицы не сокращаются, и, следовательно, отношение имеет единицы и не является масштабно-инвариантным.

Другие типы

Другие безразмерные нормализации, которые можно использовать без каких-либо предположений о распределении, включают:

Назначение процентилей . Это обычное явление в стандартизированных тестах. См. также квантильную нормализацию .
Нормализация путем сложения и/или умножения на константы, чтобы значения находились в диапазоне от 0 до 1. Это используется для функций плотности вероятности с приложениями в таких областях, как квантовая механика, при присвоении вероятностей $| ψ | 2$ .

См. также

Ссылки

^ Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9 (запись для нормализации оценок)
^ Фридман, Дэвид; Пизани, Роберт; Первс, Роджер (20 февраля 2007 г.). Статистика: Четвертое международное студенческое издание . WW Нортон и компания. ISBN 9780393930436 .

[Dodge-1] Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9 (запись для нормализации оценок)

[2] Фридман, Дэвид; Пизани, Роберт; Первс, Роджер (20 февраля 2007 г.). Статистика: Четвертое международное студенческое издание . WW Нортон и компания. ISBN 9780393930436 .

[1]

[2]