Коэффициент детерминации

Не путать с коэффициентом вариации или коэффициентом корреляции .

Обычная регрессия закона Оукена по методу наименьших квадратов . Поскольку линия регрессии не сильно пропускает ни одну из точек, R ² регрессия относительно высока.

Сравнение оценки Тейла – Сена (черный) и простой линейной регрессии (синий) для набора точек с выбросами . Из-за множества выбросов ни одна из линий регрессии не соответствует данным хорошо, о чем свидетельствует тот факт, что ни одна из них не дает очень высокого значения R. ² .

В статистике коэффициент детерминации , обозначаемый R ² или р ² и произносится как «R в квадрате» — это доля изменения зависимой переменной, которую можно предсказать на основе независимой переменной (переменных).

Это статистика, используемая в контексте статистических моделей , основной целью которых является либо прогнозирование будущих результатов, либо проверка гипотез на основе другой соответствующей информации. Он обеспечивает оценку того, насколько хорошо наблюдаемые результаты воспроизводятся моделью, на основе доли общей вариации результатов, объясненной моделью.

Существует несколько определений Р. ² которые лишь иногда эквивалентны. Один класс таких случаев включает случай простой линейной регрессии , где r ² используется вместо R ² . только перехват Если включен , то r ² — это просто квадрат выборочного коэффициента корреляции (т. е. r ) между наблюдаемыми результатами и наблюдаемыми значениями предикторов. дополнительные регрессоры Если включены , R ² – квадрат коэффициента множественной корреляции . В обоих случаях коэффициент детерминации обычно находится в диапазоне от 0 до 1.

Бывают случаи, когда Р. ² может давать отрицательные значения. Это может произойти, когда прогнозы, которые сравниваются с соответствующими результатами, не были получены в результате процедуры подбора модели с использованием этих данных. Даже если была использована процедура подбора модели, R ² может по-прежнему быть отрицательным, например, когда линейная регрессия проводится без включения пересечения, или когда для подбора данных используется нелинейная функция. В случаях, когда возникают отрицательные значения, среднее значение данных обеспечивает лучшее соответствие результатам, чем значения подобранной функции, согласно этому конкретному критерию.

Коэффициент детерминации может быть более (интуитивно) информативным, чем MAE , MAPE , MSE и RMSE при оценке регрессионного анализа , поскольку первый может быть выражен в процентах, тогда как вторые меры имеют произвольные диапазоны. Он также оказался более устойчивым к плохим подгонкам по сравнению с SMAPE на тестовых наборах данных в статье.

При оценке согласия смоделированных ( Y _pred ) и измеренных ( Y _obs ) значений нецелесообразно основывать это на R ² линейной регрессии (т.е. Y _obs = m · Y _pred + b). Р ​ ² количественно определяет степень любой линейной корреляции между Y _obs и Y _pred , в то время как для оценки согласия следует принимать во внимание только одну конкретную линейную корреляцию: Y _obs = 1 · Y _pred + 0 (т. е. 1:1 линия).

Определения

$R^{2}=1-{\frac {\color {blue}{SS_{\text{res}}}}{\color {red}{SS_{\text{tot}}}}}$
Чем лучше линейная регрессия (справа) соответствует данным по сравнению с простым средним (на левом графике), тем ближе значение R ² равно 1. Области синих квадратов представляют собой квадраты остатков по отношению к линейной регрессии. Площади красных квадратов представляют собой квадраты остатков относительно среднего значения.

Набор данных имеет n значений, отмеченных y ₁ , ..., y _n (в совокупности известные как y _i или вектор y = [ y ₁ , ..., y _n ] ^Т ), каждое из которых связано с подобранным (или смоделированным, или предсказанным) значением f ₁ , ..., f _n (известным как fi _, или иногда ŷ _i , как вектор f ).

Определите остатки как e _i = y _i - f _i (образуя вектор e ).

Если ${\bar {y}}$ среднее значение наблюдаемых данных:

$${\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}$$

тогда изменчивость набора данных можно измерить с помощью двух формул суммы квадратов :

• Сумма квадратов остатков, называемая также остаточной суммой квадратов :
  $$SS_{\text{res}}=\sum _{i}(y_{i}-f_{i})^{2}=\sum _{i}e_{i}^{2}\,$$
• Общая сумма квадратов (пропорциональная дисперсии данных):
  $$SS_{\text{tot}}=\sum _{i}(y_{i}-{\bar {y}})^{2}$$

Наиболее общее определение коэффициента детерминации:

$$R^{2}=1-{SS_{\rm {res}} \over SS_{\rm {tot}}}$$

В лучшем случае смоделированные значения точно соответствуют наблюдаемым значениям, что приводит к $SS_{\text{res}}=0$ и Р ² = 1 . Базовая модель, которая всегда предсказывает y , будет иметь R ² = 0 .

Связь с необъяснимым отклонением

Основная статья: Необъяснимая доля дисперсии

В общем виде Р ² можно увидеть, что он связан с долей необъяснимой дисперсии (FVU), поскольку второй член сравнивает необъяснимую дисперсию (дисперсию ошибок модели) с общей дисперсией (данных):

$$R^{2}=1-{\text{FVU}}$$

Как

Большее значение R ² подразумевает более успешную регрессионную модель. Предположим, Р ² = 0,49 . Это означает, что 49% изменчивости зависимой переменной в наборе данных учтено, а оставшийся 51% изменчивости все еще не учтен. Для регрессионных моделей сумма квадратов регрессии, также называемая объясненной суммой квадратов , определяется как

$SS_{\text{reg}}=\sum _{i}(f_{i}-{\bar {y}})^{2}$

В некоторых случаях, как в простой линейной регрессии , общая сумма квадратов равна сумме двух других сумм квадратов, определенных выше:

$SS_{\text{res}}+SS_{\text{reg}}=SS_{\text{tot}}$

См. Разделение в общей модели МНК для получения этого результата для одного случая, когда это соотношение выполняется. Когда это соотношение действительно выполняется, приведенное выше определение R ² эквивалентно

$R^{2}={\frac {SS_{\text{reg}}}{SS_{\text{tot}}}}={\frac {SS_{\text{reg}}/n}{SS_{\text{tot}}/n}}$

где n — количество наблюдений (случаев) над переменными.

В этой форме Р ² выражается как отношение объясненной дисперсии (дисперсии предсказаний модели, которая равна SS _reg / n ) к общей дисперсии (выборочной дисперсии зависимой переменной, которая равна SS _tot / n ).

Это разделение суммы квадратов справедливо, например, когда значения модели ƒ _i были получены с помощью линейной регрессии . Более мягкое достаточное условие имеет вид: Модель имеет вид

$f_{i}={\widehat {\alpha }}+{\widehat {\beta }}q_{i}$

где q _i — произвольные значения, которые могут зависеть или не зависеть от i или других свободных параметров (обычный выбор q _i = x _i — это всего лишь один частный случай), а оценки коэффициентов ${\widehat {\alpha }}$ и ${\widehat {\beta }}$ получаются минимизацией остаточной суммы квадратов.

Этот набор условий является важным и имеет ряд последствий для свойств подобранных остатков и смоделированных значений. В частности, в этих условиях:

${\bar {f}}={\bar {y}}.\,$

Как

В линейной множественной регрессии по методу наименьших квадратов с оценкой члена-члена R ² равен квадрату коэффициента корреляции Пирсона между наблюдаемыми $y$ и смоделировано (прогнозировано) $f$ значения данных зависимой переменной.

В линейной регрессии наименьших квадратов с одним объяснителем, но без члена-члена , это также равно квадрату коэффициента корреляции Пирсона зависимой переменной. $y$ и объясняющая переменная $x.$

Его не следует путать с коэффициентом корреляции между двумя объясняющими переменными , определяемым как

$\rho _{{\widehat {\alpha }},{\widehat {\beta }}}={\operatorname {cov} \left({\widehat {\alpha }},{\widehat {\beta }}\right) \over \sigma _{\widehat {\alpha }}\sigma _{\widehat {\beta }}},$

где ковариация между двумя оценками коэффициентов, а также их стандартные отклонения получены из ковариационной матрицы оценок коэффициентов, $(X^{T}X)^{-1}$.

В более общих условиях моделирования, когда прогнозируемые значения могут быть получены на основе модели, отличной от линейной регрессии наименьших квадратов, R ² значение может быть рассчитано как квадрат коэффициента корреляции между исходным $y$ и смоделировал $f$ значения данных. В этом случае значение не является прямой мерой того, насколько хороши смоделированные значения, а скорее мерой того, насколько хорош предиктор может быть построен на основе смоделированных значений (путем создания пересмотренного предиктора формы α + βƒ _i ). По словам Эверитта, это использование, в частности, является определением термина «коэффициент детерминации»: квадрата корреляции между двумя (общими) переменными.

Интерпретация

Р ² является мерой качества соответствия модели. В регрессии R ² Коэффициент детерминации — это статистическая мера того, насколько хорошо прогнозы регрессии приближаются к реальным точкам данных. Р ​ ² Значение 1 указывает на то, что прогнозы регрессии идеально соответствуют данным.

Значения R ² Выходы за пределы диапазона от 0 до 1 возникают, когда модель соответствует данным хуже, чем худший из возможных предсказателей методом наименьших квадратов (эквивалент горизонтальной гиперплоскости на высоте, равной среднему значению наблюдаемых данных). Это происходит, когда была выбрана неверная модель или по ошибке были применены бессмысленные ограничения. Если уравнение 1 Кволсета (это уравнение используется чаще всего), R ² может быть меньше нуля. Если используется уравнение 2 Кволсета, R ² может быть больше единицы.

Во всех случаях, когда Р ² используется, предикторы рассчитываются с помощью обычной регрессии наименьших квадратов: то есть путем минимизации SS _res . В этом случае Р ² увеличивается с увеличением количества переменных в модели ( R ² монотонно возрастает с увеличением числа включенных переменных — оно никогда не убывает). Это иллюстрирует недостаток одного возможного использования R ² , где можно продолжать добавлять переменные ( регрессия кухонной мойки ), чтобы увеличить R ² ценить. Например, если кто-то пытается спрогнозировать продажи модели автомобиля, исходя из расхода бензина, цены и мощности двигателя, можно включить, вероятно, нерелевантные факторы, такие как первая буква названия модели или рост ведущего инженера. проектирование автомобиля, потому что R ² никогда не уменьшится при добавлении переменных и, скорее всего, увеличится только по случайности.

Это приводит к альтернативному подходу рассмотрения скорректированного R. ² . Объяснение этой статистики почти такое же, как у R ² но это ухудшает статистику, поскольку в модель включены дополнительные переменные. Для случаев, отличных от аппроксимации методом обычных наименьших квадратов, R ² Статистику можно рассчитать, как указано выше, и она все равно может быть полезной мерой. Если аппроксимация осуществляется методом взвешенных наименьших квадратов или обобщенным методом наименьших квадратов , альтернативные версии R ² могут быть рассчитаны в соответствии с этими статистическими основами, в то время как «необработанный» R ² может все еще быть полезным, если его будет легче интерпретировать. Значения для R ² может быть рассчитан для любого типа прогнозной модели, которая не обязательно должна иметь статистическую основу.

В множественной линейной модели

Рассмотрим линейную модель с более чем одной объясняющей переменной вида

$Y_{i}=\beta _{0}+\sum _{j=1}^{p}\beta _{j}X_{i,j}+\varepsilon _{i},$

где для i -го случая ${Y_{i}}$ — переменная ответа, $X_{i,1},\dots ,X_{i,p}$ являются пререгрессорами и $\varepsilon _{i}$ представляет собой термин средней нулевой ошибки . Количества $\beta _{0},\dots ,\beta _{p}$ — неизвестные коэффициенты, значения которых оцениваются методом наименьших квадратов . Коэффициент детерминации R ² является мерой глобального соответствия модели. В частности, Р ² является элементом [0, 1] и представляет долю изменчивости в Y _i , которую можно отнести к некоторой линейной комбинации регрессоров ( объяснительных переменных в X. )

Р ² часто интерпретируется как доля вариаций ответа, «объясняемая» регрессорами в модели. Таким образом, Р ² = 1 означает, что подобранная модель объясняет всю изменчивость $y$, а Р ² = 0 указывает на отсутствие «линейной» зависимости (для прямой регрессии это означает, что модель прямой линии представляет собой постоянную линию (наклон = 0, точка пересечения = ${\bar {y}}$) между переменной ответа и регрессорами). Внутреннее значение, такое как R ² = 0,7 можно интерпретировать следующим образом: «Семьдесят процентов дисперсии переменной отклика можно объяснить объясняющими переменными. Остальные тридцать процентов можно отнести к неизвестным, скрытым переменным или внутренней изменчивости».

Предупреждение, касающееся R ² Что касается других статистических описаний корреляции и ассоциации, то это то, что « корреляция не подразумевает причинно-следственную связь ». Другими словами, хотя корреляции иногда могут дать ценные подсказки для выявления причинно-следственных связей между переменными, ненулевая предполагаемая корреляция между двумя переменными сама по себе не является свидетельством того, что изменение значения одной переменной приведет к изменениям значений других переменных. другие переменные. Например, практика ношения спичек (или зажигалки) коррелирует с заболеваемостью раком легких, но ношение спичек не вызывает рак (в стандартном смысле «причины»).

В случае одного регрессора, аппроксимируемого методом наименьших квадратов, R ² представляет собой квадрат коэффициента корреляции момента произведения Пирсона, связывающего регрессор и переменную отклика. В более общем смысле, Р ² представляет собой квадрат корреляции между построенным предиктором и переменной ответа. При наличии более чем одного регрессора R ² можно назвать коэффициентом множественной детерминации .

Инфляция рубля ²

В регрессии наименьших квадратов с использованием типичных данных R ² хотя бы слабо возрастает с увеличением числа регрессоров в модели. Поскольку увеличение числа регрессоров увеличивает значение R ² , Р ² сам по себе не может использоваться для значимого сравнения моделей с очень разным количеством независимых переменных. Для значимого сравнения двух моделей F-тест можно провести по остаточной сумме квадратов. , аналогично F-тестам причинности Грейнджера , хотя это не всегда подходит . Напоминая об этом, некоторые авторы обозначают R ² по р _q ² , где q — количество столбцов в X (количество объяснителей, включая константу).

Чтобы продемонстрировать это свойство, сначала вспомните, что целью линейной регрессии по методу наименьших квадратов является

$\min _{b}SS_{\text{res}}(b)\Rightarrow \min _{b}\sum _{i}(y_{i}-X_{i}b)^{2}\,$

где X _i - вектор-строка значений объясняющих переменных для случая i, а b - вектор-столбец коэффициентов соответствующих элементов X _i .

Оптимальное значение цели немного меньше по мере добавления дополнительных объясняющих переменных и, следовательно, дополнительных столбцов таблицы. $X$ (матрица пояснительных данных, i -я строка которой равна X _i ) добавляются в связи с тем, что менее ограниченная минимизация приводит к оптимальной стоимости, которая немного меньше, чем более ограниченная минимизация. Учитывая предыдущий вывод и отмечая, что $SS_{tot}$ зависит только от y , свойство неубывания R ² следует непосредственно из приведенного выше определения.

Интуитивная причина того, что использование дополнительной независимой переменной не может снизить R ² это: Минимизация $SS_{\text{res}}$ эквивалентно максимизации R ² . Когда включена дополнительная переменная, данные всегда имеют возможность присвоить ей расчетный коэффициент, равный нулю, оставив прогнозируемые значения и R ² без изменений. Единственный способ, которым задача оптимизации даст ненулевой коэффициент, — это если это улучшит R ² .

Вышеизложенное дает аналитическое объяснение инфляции R ² . Далее ниже показан пример, основанный на обычном методе наименьших квадратов с геометрической точки зрения.

Это пример остатков регрессионных моделей в меньших и больших пространствах, основанных на обычной регрессии наименьших квадратов.

Простой случай, который следует рассмотреть в первую очередь:

$Y=\beta _{0}+\beta _{1}\cdot X_{1}+\varepsilon \,$

Это уравнение описывает обычную модель регрессии наименьших квадратов с одним регрессором. Прогноз показан красным вектором на рисунке справа. Геометрически это проекция истинной ценности на пространство модели в $\mathbb {R}$ (без перехвата). Остаток показан красной линией.

$Y=\beta _{0}+\beta _{1}\cdot X_{1}+\beta _{2}\cdot X_{2}+\varepsilon \,$

Это уравнение соответствует обычной модели регрессии наименьших квадратов с двумя регрессорами. Прогноз показан синим вектором на рисунке справа. Геометрически это проекция истинной ценности на большее пространство модели. $\mathbb {R} ^{2}$ (без перехвата). Примечательно, что значения $\beta _{0}$ и $\beta _{0}$ не такие же, как в уравнении для меньшего модельного пространства, если $X_{1}$ и $X_{2}$ не являются нулевыми векторами. Следовательно, ожидается, что уравнения будут давать разные предсказания (т. е. ожидается, что синий вектор будет отличаться от красного вектора). Критерий регрессии наименьших квадратов гарантирует минимизацию остатка. На рисунке синяя линия, представляющая остаток, ортогональна пространству модели в $\mathbb {R} ^{2}$, дающий минимальное расстояние от пространства.

Меньшее модельное пространство является подпространством большего, поэтому остаток меньшей модели гарантированно будет больше. Если сравнить красную и синюю линии на рисунке, то можно увидеть, что синяя линия ортогональна пространству, а любая другая линия будет больше синей. Учитывая расчет R ² , меньшее значение $SS_{tot}$ приведет к большему значению R ² , что означает, что добавление регрессоров приведет к инфляции R ² .

Предостережения

Р ² не указывает, является ли:

• независимые переменные являются причиной изменения зависимой переменной ;
• смещение по пропущенной переменной ; существует
• правильная регрессия ; использовалась
• выбран наиболее подходящий набор независимых переменных;
• коллинеарность ; в данных по объясняющим переменным присутствует
• модель можно улучшить, используя преобразованные версии существующего набора независимых переменных;
• данных достаточно, чтобы сделать однозначный вывод.

Расширения

Скорректированный R ²

См. Также: Омега-квадрат (ω ² )

Использование скорректированного R ² (одним из распространенных обозначений является ${\bar {R}}^{2}$, произносится как «R-бар в квадрате»; другой $R_{\text{a}}^{2}$ или $R_{\text{adj}}^{2}$) представляет собой попытку объяснить феномен R ² автоматически увеличивается при добавлении в модель дополнительных независимых переменных. Есть много разных способов регулировки. Безусловно, наиболее часто используемым, вплоть до того, что его обычно называют просто скорректированным R , является исправление, предложенное Мордехаем Иезекиилем . Скорректированный R ² определяется как

${\bar {R}}^{2}={1-{SS_{\text{res}}/{\text{df}}_{\text{res}} \over SS_{\text{tot}}/{\text{df}}_{\text{tot}}}}$

где df _res — это степени свободы оценки дисперсии генеральной совокупности вокруг модели, а df _tot — это степени свободы оценки дисперсии генеральной совокупности вокруг среднего значения. df _res определяется размером выборки n и количеством переменных p в модели: df _res = n − p − 1 . df _tot задается таким же образом, но p равно единице для среднего значения, т.е. df _tot = n − 1 .

Подставляя степени свободы и используя определение R ² , его можно переписать как:

${\bar {R}}^{2}=1-(1-R^{2}){n-1 \over n-p-1}$

где p — общее количество объясняющих переменных в модели, и n — размер выборки.

Скорректированный R ² может быть отрицательным, и его значение всегда будет меньше или равно значению R ² . В отличие от Р ² , скорректированный R ² увеличивается только тогда, когда увеличение R ² (из-за включения новой объясняющей переменной) — это больше, чем можно было бы ожидать случайно. Если набор независимых переменных с заранее определенной иерархией важности вводится в регрессию по одной, со скорректированным R ² каждый раз вычисляется уровень, на котором скорректирован R ² достигает максимума, а затем уменьшается, это будет регрессия с идеальной комбинацией наилучшего соответствия без лишних/ненужных условий.

Схема вклада систематической ошибки и дисперсии в общую ошибку

Скорректированный R ² можно интерпретировать как пример компромисса между смещением и дисперсией . Когда мы рассматриваем производительность модели, меньшая ошибка означает лучшую производительность. Когда модель становится более сложной, дисперсия будет увеличиваться, тогда как квадрат смещения будет уменьшаться, и эти две метрики в сумме образуют общую ошибку. Сочетая эти две тенденции, компромисс между смещением и дисперсией описывает взаимосвязь между производительностью модели и ее сложностью, которая показана в виде U-образной кривой справа. Для скорректированного R ² в частности, сложность модели (т. е. количество параметров) влияет на R ² и термин / frac и тем самым отражает их атрибуты в общей производительности модели.

Р ² можно интерпретировать как дисперсию модели, на которую влияет сложность модели. Высокий Р ² указывает на меньшую ошибку смещения, поскольку модель может лучше объяснить изменение Y с помощью предикторов. По этой причине мы делаем меньше (ошибочных) предположений, и это приводит к меньшей ошибке смещения. Между тем, чтобы учесть меньше предположений, модель имеет тенденцию усложняться. Исходя из компромисса смещения и дисперсии, более высокая сложность приведет к уменьшению смещения и лучшей производительности (ниже оптимальной линии). В Р ² , член ( 1 − R ² ) будет ниже при высокой сложности и приведет к более высокому R ² , что постоянно указывает на лучшую производительность.

С другой стороны, на термин/член гидроразрыва обратное влияние оказывает сложность модели. Срок/разрыв увеличится при добавлении регрессоров (т. е. увеличится сложность модели) и приведет к ухудшению производительности. На основании компромисса между смещением и дисперсией более высокая сложность модели (за пределами оптимальной линии) приводит к увеличению ошибок и снижению производительности.

Учитывая расчет R ² , большее количество параметров увеличит R ² и привести к увеличению R ² . Тем не менее, добавление дополнительных параметров увеличит срок/разрыв и, таким образом, уменьшит R. ² . Эти две тенденции создают обратную U-образную зависимость между сложностью модели и R. ² , что соответствует U-образной тенденции зависимости сложности модели от общей производительности. В отличие от Р ² , которое всегда будет увеличиваться с увеличением сложности модели, R ² будет увеличиваться только тогда, когда смещение, устраняемое добавленным регрессором, больше, чем дисперсия, вносимая одновременно. Использование Р ² вместо Р ² таким образом можно было бы предотвратить переобучение.

Следуя той же логике, скорректировали R ² можно интерпретировать как менее предвзятую оценку совокупности R ² , тогда как наблюдаемый образец R ² представляет собой положительно смещенную оценку стоимости совокупности. Скорректированный R ² более подходит при оценке соответствия модели (дисперсия зависимой переменной, учитываемая независимыми переменными) и при сравнении альтернативных моделей на этапе выбора признаков при построении модели.

Принцип скорректированного R ² статистику можно увидеть, переписав обычный R ² как

$R^{2}={1-{{\text{VAR}}_{\text{res}} \over {\text{VAR}}_{\text{tot}}}}$

где ${\text{VAR}}_{\text{res}}=SS_{\text{res}}/n$ и ${\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/n$ представляют собой выборочные дисперсии оцененных остатков и зависимой переменной соответственно, которые можно рассматривать как смещенные оценки генеральных дисперсий ошибок и зависимой переменной. Эти оценки заменяются статистически несмещенными версиями: ${\text{VAR}}_{\text{res}}=SS_{\text{res}}/(n-p)$ и ${\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/(n-1)$.

Несмотря на использование несмещенных оценок генеральной дисперсии ошибки и зависимой переменной, скорректированный R ² не является несмещенной оценкой совокупности R ² , что получается за счет использования генеральных дисперсий ошибок и зависимой переменной вместо их оценки. Ингрэм Олкин и Джон В. Пратт получили несмещенную оценку с минимальной дисперсией для совокупности R. ² , который известен как оценка Олкина – Пратта. Сравнение различных подходов к настройке R ² пришел к выводу, что в большинстве ситуаций либо приближенная версия оценки Олкина – Пратта или точная оценка Олкина – Пратта следует отдавать предпочтение перед скорректированным (Иезекиилем) R ² .

Коэффициент частичной детерминации

См. Также: Частичная корреляция

Коэффициент частичной детерминации можно определить как долю вариаций, которую нельзя объяснить в сокращенной модели, но можно объяснить с помощью предикторов, указанных в полной (полной) модели. Этот коэффициент используется для определения того, могут ли один или несколько дополнительных предикторов быть полезны в более полной регрессионной модели.

Расчет частичного R ² относительно просто после оценки двух моделей и создания для них таблиц ANOVA . Расчет частичного R ² является

${\frac {SS_{\text{ res, reduced}}-SS_{\text{ res, full}}}{SS_{\text{ res, reduced}}}},$

что аналогично обычному коэффициенту детерминации:

${\frac {SS_{\text{tot}}-SS_{\text{res}}}{SS_{\text{tot}}}}.$

Обобщение и декомпозиция R ²

Как объяснялось выше, эвристики выбора модели, такие как скорректированный R ² критерий и F-тест проверяют, является ли общий R ² достаточно увеличивается, чтобы определить, следует ли добавлять в модель новый регрессор. Если к модели добавляется регрессор, который сильно коррелирует с другими уже включенными регрессорами, то общий R ² вряд ли увеличится, даже если новый регрессор будет уместен. В результате вышеупомянутые эвристики будут игнорировать соответствующие регрессоры, когда взаимная корреляция высока.

Геометрическое представление r ² .

В качестве альтернативы можно разложить обобщенную версию R ² количественно оценить релевантность отклонения от гипотезы. Как показывает Хорнвег (2018), несколько оценок усадки , таких как байесовская линейная регрессия , гребневая регрессия и (адаптивное) лассо , используют это разложение R ² когда они постепенно сокращают параметры неограниченных решений МНК до гипотетических значений. Давайте сначала определим модель линейной регрессии как

$y=X\beta +\varepsilon .$

Предполагается, что матрица X стандартизирована с помощью Z-показателей и что вектор-столбец $y$ центрирован так, чтобы иметь среднее значение, равное нулю. Пусть вектор-столбец $\beta _{0}$ обратитесь к предполагаемым параметрам регрессии и позвольте вектор-столбцу $b$ обозначают расчетные параметры. Затем мы можем определить

$R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.$

Р ​ ² 75 % означает, что точность в выборке увеличивается на 75 %, если b . вместо гипотетического решения используются оптимизированные для данных решения $\beta _{0}$ ценности. В частном случае, когда $\beta _{0}$ — вектор нулей, мы получаем традиционный R ² снова.

Индивидуальное влияние на R ² отклонения от гипотезы можно вычислить с помощью $R^{\otimes }$ («R-внешний»). Этот $p$ раз $p$ матрица имеет вид

$R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},$

где ${\tilde {y}}_{0}=y-X\beta _{0}$. Диагональные элементы $R^{\otimes }$ ровно прибавьте к R ² . Если регрессоры некоррелированы и $\beta _{0}$ вектор нулей, то $j^{\text{th}}$ диагональный элемент $R^{\otimes }$ просто соответствует r ² значение между $x_{j}$ и $y$. Когда регрессоры $x_{i}$ и $x_{j}$ коррелируют, $R_{ii}^{\otimes }$ может увеличиться за счет уменьшения $R_{jj}^{\otimes }$. В результате диагональные элементы $R^{\otimes }$ может быть меньше 0 и, в более исключительных случаях, больше 1. Чтобы справиться с такими неопределенностями, некоторые программы оценки усадки неявно принимают средневзвешенное значение диагональных элементов $R^{\otimes }$ количественно оценить значимость отклонения от гипотетического значения. Нажмите на лассо , чтобы увидеть пример.

Р ² в логистической регрессии

В случае логистической регрессии , обычно подходящей по максимальному правдоподобию , существует несколько вариантов псевдо- R. ² .

Одним из них является обобщенный R ² первоначально предложено Cox & Snell, и независимо Маги:

$R^{2}=1-\left({{\mathcal {L}}(0) \over {\mathcal {L}}({\widehat {\theta }})}\right)^{2/n}$

где ${\mathcal {L}}(0)$ - вероятность модели только с перехватом, ${{\mathcal {L}}({\widehat {\theta }})}$ — правдоподобие оцениваемой модели (т. е. модели с заданным набором оценок параметров), а n — размер выборки. Его легко переписать так:

$R^{2}=1-e^{{\frac {2}{n}}(\ln({\mathcal {L}}(0))-\ln({\mathcal {L}}({\widehat {\theta }}))}=1-e^{-D/n}$

где D — тестовая статистика теста отношения правдоподобия .

Нико Нагелькерке отметил, что он обладает следующими свойствами:

1. Это соответствует классическому коэффициенту детерминации, когда оба могут быть вычислены;
2. Его значение максимизируется за счет оценки максимального правдоподобия модели;
3. Он асимптотически не зависит от размера выборки;
4. Интерпретация – это доля вариаций, объясняемая моделью;
5. Значения находятся в диапазоне от 0 до 1, где 0 означает, что модель не объясняет никаких изменений, а 1 означает, что она полностью объясняет наблюдаемые изменения;
6. У него нет никакой единицы.

Однако в случае логистической модели, где ${\mathcal {L}}({\widehat {\theta }})$ не может быть больше 1, R ² находится между 0 и $R_{\max }^{2}=1-({\mathcal {L}}(0))^{2/n}$: таким образом, Нагелькерке предложил возможность определить масштабированный R ² как Р ² / Р ² _макс .

Сравнение с нормой остатков

Иногда норма для определения степени соответствия используется остатков. Этот член рассчитывается как квадратный корень из суммы квадратов остатков :

${\text{norm of residuals}}={\sqrt {SS_{\text{res}}}}=\|e\|.$

Оба Р ² и норма остатков имеют свои относительные преимущества. Для методом наименьших квадратов анализа R ² варьируется от 0 до 1, причем большие цифры указывают на лучшее соответствие, а 1 — на идеальное соответствие. Норма остатков варьируется от 0 до бесконечности, при этом меньшие числа указывают на лучшее соответствие, а ноль — на идеальное соответствие. Одно преимущество и недостаток R ² это $SS_{\text{tot}}$ термин действует для нормализации значения. Если все значения y _i умножить на константу, норма остатков также изменится на эту константу, но R ² останется прежним. В качестве базового примера для линейного метода наименьших квадратов, подходящего к набору данных:

х	1	2	3	4	5
и	1.9	3.7	5.8	8.0	9.6

Р ² = 0,998, а норма остатков = 0,302.Если все значения y умножаются на 1000 (например, при изменении префикса SI ), то R ² остается прежним, но норма остатков = 302.

Еще одним однопараметрическим индикатором соответствия является среднеквадратическое отклонение остатков или стандартное отклонение остатков. Для приведенного выше примера это значение будет равно 0,135, учитывая, что подгонка была линейной с непринудительным пересечением.

История

Создание коэффициента детерминации приписывается генетику Сьюэллу Райту и впервые было опубликовано в 1921 году.

См. также

• квартет Анскомба
• Доля дисперсии необъяснима
• Хорошая посадка
• Коэффициент эффективности модели Нэша – Сатклиффа ( гидрологические приложения )
• Коэффициент корреляции момента произведения Пирсона
• Пропорциональное сокращение потерь
• Проверка регрессионной модели
• Среднеквадратичное отклонение
• Пошаговая регрессия

Дальнейшее чтение

• Гуджарати, Дамодар Н .; Портер, Дон К. (2009). Основная эконометрика (Пятое изд.). Нью-Йорк: МакГроу-Хилл/Ирвин. стр. 73–78. ISBN  978-0-07-337577-9 .
• Хьюз, Энн; Гравойг, Деннис (1971). Статистика: основа анализа . Чтение: Аддисон-Уэсли. стр. 344–348 . ISBN  0-201-03021-7 .
• Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 240–243 . ISBN  978-0-02-365070-3 .
• Льюис-Бек, Майкл С .; Скалабан, Эндрю (1990). « R -квадрат: немного откровенного разговора». Политический анализ . 2 : 153–171. дои : 10.1093/пан/2.1.153 . JSTOR   23317769 .
• Чикко, Давиде; Уорренс, Маттейс Дж.; Юрман, Джузеппе (2021). «Коэффициент детерминации R-квадрат более информативен, чем SMAPE, MAE, MAPE, MSE и RMSE при оценке регрессионного анализа» . PeerJ Информатика . 7 (e623): e623. дои : 10.7717/peerj-cs.623 . ПМЦ   8279135 . ПМИД   34307865 .