Среднеквадратическая ошибка

«Среднеквадратичное отклонение» перенаправляется сюда. Не путать со среднеквадратичным смещением .

В статистике среднеквадратическая ошибка ( MSE ) или среднее квадратическое отклонение ( MSD ) средства оценки (процедуры оценки ненаблюдаемой величины) измеряет среднее значение квадратов ошибок , то есть среднеквадратическую разницу между расчетными значениями и фактическим значением. MSE – это функция риска , соответствующая ожидаемому значению квадрата потерь из-за ошибки . Тот факт, что MSE почти всегда строго положителен (а не равен нулю), объясняется случайностью или тем, что оценщик не учитывает информацию , которая могла бы дать более точную оценку. В машинном обучении , в частности, в минимизации эмпирического риска , MSE может относиться к эмпирическому риску (средней потере в наблюдаемом наборе данных) как к оценке истинной MSE (истинному риску: средней потере при фактическом распределении населения).

MSE является мерой качества оценщика. Поскольку оно получается из квадрата евклидова расстояния , оно всегда является положительным значением, которое уменьшается по мере приближения ошибки к нулю.

MSE является вторым моментом (о происхождении) ошибки и, таким образом, включает в себя как дисперсию оценщика (насколько широко разброс оценок от одной выборки данных к другой), так и его смещение (насколько далеко от среднего оценочного значения от истинного значения). Для несмещенной оценки MSE — это дисперсия оценки. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии со стандартным отклонением извлечение квадратного корня из MSE дает среднеквадратическую ошибку или среднеквадратическое отклонение (RMSE или RMSD), которое имеет те же единицы, что и оцениваемая величина; для несмещенной оценки RMSE — это квадратный корень дисперсии , известный как стандартная ошибка .

Определение и основные свойства

MSE либо оценивает качество предиктора ( отображающей произвольные входные данные в выборку значений некоторой случайной величины ), либо оценщика ( т. е. математической функции, отображающей выборку данных в оценку параметра т. е. функции , совокупность , из которой взяты данные). В контексте прогнозирования понимание интервала прогнозирования также может быть полезным, поскольку оно определяет диапазон, в который с определенной вероятностью попадет будущее наблюдение. Определение MSE различается в зависимости от того, описывается ли он предиктором или оценщиком.

Предсказатель

Если вектор $n$ прогнозы генерируются на основе выборки $n$ точки данных по всем переменным и $Y$ - вектор наблюдаемых значений прогнозируемой переменной, при этом ${\hat {Y}}$ будучи предсказанными значениями (например, из аппроксимации методом наименьших квадратов ), то MSE внутри выборки предиктора вычисляется как

$\operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}$

Другими словами, MSE — это среднее значение ${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$ квадратов ошибок ${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$. Это легко вычислимая величина для конкретной выборки (и, следовательно, она зависит от выборки).

В матричной записи

$\operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e}$

где $e_{i}$ является $(Y_{i}-{\hat {Y_{i}}})$ и $\mathbf {e}$ это $n\times 1$ вектор-столбец.

MSE также можно вычислить по q точкам данных, которые не использовались при оценке модели либо потому, что они были сохранены для этой цели, либо потому, что эти данные были получены заново. В рамках этого процесса, известного как перекрестная проверка , MSE часто называют тестовым MSE . и вычисляется как

$\operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}$

Оценщик

MSE оценщика ${\hat {\theta }}$ относительно неизвестного параметра $\theta$ определяется как

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].$

Это определение зависит от неизвестного параметра, но MSE априори является свойством оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любая оценка MSE, основанная на оценках этих параметров, будет функцией данных (и, следовательно, случайной величиной). Если оценщик ${\hat {\theta }}$ выводится как выборочная статистика и используется для оценки некоторого параметра совокупности, тогда ожидание относится к выборочному распределению выборочной статистики.

СКО можно записать как сумму дисперсии оценщика и квадрата смещения оценщика, что обеспечивает полезный способ расчета СКО и подразумевает, что в случае несмещенных оценок СКО и дисперсия эквивалентны.

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.$

Доказательство соотношения дисперсии и смещения

${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}$

Еще более короткое доказательство можно получить, используя известную формулу, согласно которой для случайной величины ${\textstyle X}$, ${\textstyle \mathbb {E} (X^{2})=\operatorname {Var} (X)+(\mathbb {E} (X))^{2}}$. Подставив ${\textstyle X}$ с, ${\textstyle {\hat {\theta }}-\theta }$, у нас есть $${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }}-\theta )+(\mathbb {E} [{\hat {\theta }}-\theta ])^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }},\theta )\end{aligned}}$$Но в реальном случае моделирования MSE можно описать как добавление дисперсии модели, систематической ошибки модели и неуменьшаемой неопределенности (см. Компромисс между смещением и дисперсией ). Согласно соотношению, MSE оценок можно просто использовать для сравнения эффективности , которое включает в себя информацию об дисперсии и смещении оценок. Это называется критерием MSE.

В регрессии

Дополнительная информация: Уменьшенная статистика хи-квадрат.

В регрессионном анализе построение графика является более естественным способом просмотра общей тенденции всех данных. Среднее расстояние от каждой точки до прогнозируемой регрессионной модели можно вычислить и отобразить как среднеквадратическую ошибку. Возведение в квадрат имеет решающее значение для уменьшения сложности с отрицательными знаками. Чтобы минимизировать MSE, модель могла бы быть более точной, что означало бы, что она ближе к фактическим данным. Одним из примеров линейной регрессии с использованием этого метода является метод наименьших квадратов , который оценивает пригодность модели линейной регрессии для моделирования двумерного набора данных . но ограничение которого связано с известным распределением данных.

Термин «среднеквадратическая ошибка» иногда используется для обозначения несмещенной оценки дисперсии ошибки: остаточной суммы квадратов, деленной на количество степеней свободы . Это определение известной вычисленной величины отличается от приведенного выше определения вычисленной MSE предиктора тем, что используется другой знаменатель. Знаменатель представляет собой размер выборки, уменьшенный на количество параметров модели, оцененных на основе одних и тех же данных, ( n - p ) для p регрессоров или ( n - p -1), если используется перехват ( в разделе ошибки и остатки в статистике) более подробную информацию см. . ). Хотя MSE (как определено в этой статье) не является беспристрастной оценкой дисперсии ошибки, она является последовательной , учитывая непротиворечивость предиктора.

В регрессионном анализе «среднеквадратическая ошибка», часто называемая среднеквадратичной ошибкой прогнозирования или «среднеквадратичной ошибкой вне выборки», также может относиться к среднему значению квадратов отклонений прогнозов от истинных значений, превышающих вне выборки тестовое пространство , созданное с помощью модели, оцененной по определенному выборочному пространству . Это также известная вычисленная величина, которая варьируется в зависимости от выборки и тестового пространства вне выборки.

В контексте алгоритмов градиентного спуска принято вводить коэффициент $1/2$ в MSE для облегчения вычислений после взятия производной. Таким образом, значение, которое технически составляет половину среднего квадрата ошибок, можно назвать MSE.

Примеры

Иметь в виду

Предположим, у нас есть случайная выборка размером $n$ из населения, $X_{1},\dots ,X_{n}$. Предположим, что единицы выборки были выбраны с заменой . То есть $n$ юниты выбираются по одному, и ранее выбранные юниты по-прежнему доступны для выбора для всех $n$ рисует. Обычная оценка для $\mu$ среднее значение выборки

${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$

который имеет ожидаемое значение, равное истинному среднему значению $\mu$ (поэтому он несмещен) и среднеквадратическая ошибка

$\operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}$

где $\sigma ^{2}$ это популяционная дисперсия .

Для гауссовского распределения это лучшая несмещенная оценка (т. е. оценка с наименьшим СКО среди всех несмещенных оценок), но не, скажем, для равномерного распределения .

Дисперсия

Дополнительная информация: Выборочная дисперсия.

Обычной оценкой дисперсии является скорректированная выборочная дисперсия :

$S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).$

Это несмещенный результат (его ожидаемое значение равно $\sigma ^{2}$), поэтому его также называют несмещенной выборочной дисперсией, а ее СКО равна

$\operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},$

где $\mu _{4}$ является четвертым центральным моментом распределения или популяции, и $\gamma _{2}=\mu _{4}/\sigma ^{4}-3$ это избыточный эксцесс .

Однако можно использовать и другие оценки для $\sigma ^{2}$ которые пропорциональны $S_{n-1}^{2}$, и правильный выбор всегда может дать меньшую среднеквадратическую ошибку. Если мы определим

$S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$

то вычисляем:

${\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}$

Это сводится к минимуму, когда

$a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.$

Для распределения Гаусса , где $\gamma _{2}=0$, это означает, что СКО минимизируется при делении суммы на $a=n+1$. Минимальный избыточный эксцесс равен $\gamma _{2}=-2$, что достигается распределением Бернулли с p = 1/2 (подбрасывание монеты), а MSE минимизируется для $a=n-1+{\tfrac {2}{n}}.$ Следовательно, независимо от эксцесса, мы получаем «лучшую» оценку (в смысле более низкой СКО), немного уменьшая несмещенную оценку; это простой пример оценки усадки : оценку «сжимают» до нуля (уменьшают несмещенную оценку).

Кроме того, хотя скорректированная выборочная дисперсия является лучшей несмещенной оценкой (минимальная среднеквадратическая ошибка среди несмещенных оценок) дисперсии для гауссовских распределений, если распределение не является гауссовским, то даже среди несмещенных оценок лучшая несмещенная оценка дисперсии может не быть $S_{n-1}^{2}.$

Гауссово распределение

В следующей таблице приведены несколько оценок истинных параметров популяции, μ и σ. ² , для гауссова случая.

Истинная ценность	Оценщик	Среднеквадратическая ошибка
$\theta =\mu$	${\hat {\theta }}$ = несмещенная оценка генерального среднего значения , ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})$	$\operatorname {MSE} ({\overline {X}})=\operatorname {E} (({\overline {X}}-\mu )^{2})=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = несмещенная оценка генеральной дисперсии , $S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} ((S_{n-1}^{2}-\sigma ^{2})^{2})={\frac {2}{n-1}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = смещенная оценка генеральной дисперсии , $S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n}^{2})=\operatorname {E} ((S_{n}^{2}-\sigma ^{2})^{2})={\frac {2n-1}{n^{2}}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = смещенная оценка генеральной дисперсии , $S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ((S_{n+1}^{2}-\sigma ^{2})^{2})={\frac {2}{n+1}}\sigma ^{4}$

Интерпретация

СКО равна нулю, что означает, что оценщик ${\hat {\theta }}$ предсказывает наблюдения параметра $\theta$ с идеальной точностью идеально (но обычно невозможно).

Значения MSE могут использоваться в целях сравнения. Две или более статистические модели можно сравнивать, используя их средние средние ошибки — как меру того, насколько хорошо они объясняют данный набор наблюдений: несмещенная оценка (оцененная на основе статистической модели) с наименьшей дисперсией среди всех несмещенных оценок является лучшей несмещенной оценкой или MVUE ( несмещенная оценка минимальной дисперсии ).

Методы дисперсионного анализа и линейной регрессии оценивают MSE как часть анализа и используют расчетную MSE для определения статистической значимости изучаемых факторов или предикторов. Целью планирования эксперимента является построение экспериментов таким образом, чтобы при анализе наблюдений среднеквадратическая ошибка была близка к нулю относительно величины хотя бы одного из предполагаемых эффектов лечения.

При одностороннем дисперсионном анализе MSE можно рассчитать путем деления суммы квадратов ошибок и степени свободы. Кроме того, значение f представляет собой соотношение среднеквадратического значения лечения и MSE.

MSE также используется в некоторых методах пошаговой регрессии как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.

Приложения

• Минимизация MSE является ключевым критерием при выборе оценщиков: см. минимальную среднеквадратическую ошибку . Среди несмещенных оценщиков минимизация MSE эквивалентна минимизации дисперсии, и оценщик, который делает это, является несмещенной оценкой минимальной дисперсии . Однако смещенная оценка может иметь более низкое значение MSE; см . смещение оценки .
• При статистическом моделировании MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте он используется для определения степени, в которой модель соответствует данным, а также возможно ли удаление некоторых независимых переменных без значительного ущерба для прогнозирующей способности модели.
• В прогнозировании и прогнозировании является оценка Брайера мерой навыков прогнозирования, основанной на MSE.

Функция потерь

Потери в квадрате ошибки — одна из наиболее широко используемых функций потерь в статистике, хотя ее широкое использование обусловлено скорее математическим удобством, чем соображениями фактических потерь в приложениях. Карл Фридрих Гаусс , введший использование среднеквадратической ошибки, осознавал ее произвольность и был согласен с возражениями против нее на этом основании. Математические преимущества среднеквадратической ошибки особенно очевидны при ее использовании при анализе эффективности линейной регрессии , поскольку она позволяет разделить вариацию в наборе данных на вариацию, объясняемую моделью, и вариацию, объясняемую случайностью.

Критика

Использование среднеквадратической ошибки безоговорочно подверглось критике со стороны теоретика принятия решений Джеймса Бергера . Среднеквадратическая ошибка — это отрицательное значение ожидаемого значения одной конкретной функции полезности , квадратичной функции полезности, которая может не подходить для использования в определенных обстоятельствах. Однако существуют сценарии, в которых среднеквадратическая ошибка может служить хорошим приближением к функции потерь, естественно возникающей в приложении.

Как и дисперсия , среднеквадратическая ошибка имеет тот недостаток, что выбросы имеют большой вес . Это результат возведения в квадрат каждого члена, что фактически придает больший вес большим ошибкам, чем мелким. Это свойство, нежелательное во многих приложениях, побудило исследователей использовать альтернативы, такие как средняя абсолютная ошибка или те, которые основаны на медиане .

См. также

• Компромисс смещения и дисперсии
• Оценщик Ходжеса
• Оценщик Джеймса – Штейна
• Средняя процентная ошибка
• Среднеквадратическая ошибка квантования
• Среднеквадратичное взвешенное отклонение
• Среднеквадратичное смещение
• Среднеквадратическая ошибка прогноза
• Минимальная среднеквадратическая ошибка
• Оценка минимальной среднеквадратической ошибки
• Переобучение
• Пиковое соотношение сигнал/шум