Коэффициент множественной корреляции

В статистике коэффициент множественной корреляции является мерой того, насколько хорошо данную переменную можно предсказать с помощью линейной функции набора других переменных. Это корреляция между значениями переменной и лучшими прогнозами, которые можно вычислить линейно на основе прогнозирующих переменных. ^[1]

Коэффициент множественной корреляции принимает значения от 0 до 1. Более высокие значения указывают на более высокую предсказуемость зависимой переменной по сравнению с независимыми переменными , при этом значение 1 указывает на то, что прогнозы точно верны, а значение 0 указывает на отсутствие линейной комбинации независимые переменные являются лучшим предиктором, чем фиксированное среднее значение зависимой переменной. ^[2]

Коэффициент корреляции (r)	Направление и сила корреляции
1	Абсолютно позитивный
0.8	Сильно положительный
0.5	Умеренно позитивный
0.2	Слабо положительный
0	Нет ассоциации
-0.2	Слабо отрицательный
-0.5	Умеренно отрицательный
-0.8	Резко отрицательный
-1	Совершенно отрицательный

Коэффициент множественной корреляции известен как квадратный корень из коэффициента детерминации , но при определенных предположениях, что перехват включен и что используются наилучшие возможные линейные предикторы, тогда как коэффициент детерминации определяется для более общих случаев, включая те, которые относятся к нелинейному прогнозированию, и те, в которых прогнозируемые значения не были получены в результате процедуры подбора модели.

Определение

Коэффициент множественной корреляции, обозначаемый R , представляет собой скаляр , который определяется как коэффициент корреляции Пирсона между прогнозируемыми и фактическими значениями зависимой переменной в модели линейной регрессии, включающей точку пересечения .

Вычисление

Квадрат коэффициента множественной корреляции можно вычислить с помощью вектора $\mathbf {c} ={(r_{x_{1}y},r_{x_{2}y},\dots ,r_{x_{N}y})}^{\top }$ корреляций $r_{x_{n}y}$ между переменными-предикторами $x_{n}$ (независимые переменные) и целевая переменная $y$ (зависимая переменная) и корреляционная матрица $R_{xx}$ корреляций между переменными-предикторами. Это дано

R^{2}=\mathbf {c} ^{\top }R_{xx}^{-1}\,\mathbf {c} ,

где $\mathbf {c} ^{\top }$ это транспонирование $\mathbf {c}$ , и $R_{xx}^{-1}$ является обратной матрицей

R_{xx}=\left({\begin{array}{cccc}r_{x_{1}x_{1}}&r_{x_{1}x_{2}}&\dots &r_{x_{1}x_{N}}\\r_{x_{2}x_{1}}&\ddots &&\vdots \\\vdots &&\ddots &\\r_{x_{N}x_{1}}&\dots &&r_{x_{N}x_{N}}\end{array}}\right).

Если все переменные-предикторы некоррелированы, матрица $R_{xx}$ - единичная матрица и $R^{2}$ просто равно $\mathbf {c} ^{\top }\,\mathbf {c}$ , сумма квадратов корреляций с зависимой переменной. Если переменные-предикторы коррелируют между собой, обратная корреляционная матрица $R_{xx}$ приходится на это.

Квадрат коэффициента множественной корреляции также можно рассчитать как долю дисперсии зависимой переменной, объясняемую независимыми переменными, которая, в свою очередь, равна 1 минус необъяснимая доля. Необъяснимую долю можно вычислить как сумму квадратов остатков — то есть сумму квадратов ошибок прогнозирования — деленную на сумму квадратов отклонений значений зависимой переменной от ее ожидаемого значения .

Характеристики

Если между собой связано более двух переменных, значение коэффициента множественной корреляции зависит от выбора зависимой переменной: регрессии $y$ на $x$ и $z$ вообще будет по-другому $R$ чем произойдет регресс $z$ на $x$ и $y$ . Например, предположим, что в конкретной выборке переменная $z$ с не коррелирует обоими $x$ и $y$ , пока $x$ и $y$ линейно связаны друг с другом. Тогда регрессия $z$ на $y$ и $x$ даст $R$ нуля, а регрессия $y$ на $x$ и $z$ даст строго положительный результат $R$ . Это следует из того, что корреляция $y$ с лучшим предсказателем, основанным на $x$ и $z$ во всех случаях не менее велика, чем корреляция $y$ с лучшим предсказателем, основанным на $x$ в одиночку, а в данном случае с $z$ не имея никакой объяснительной силы, он будет именно таким же большим.

Ссылки

Дальнейшее чтение

Эллисон, Пол Д. (1998). Множественная регрессия: учебник для начинающих . Лондон: Публикации Sage. ISBN 9780761985334
Коэн, Джейкоб и др. (2002). Прикладная множественная регрессия: корреляционный анализ для поведенческих наук . ISBN 0805822232
Краун, Уильям Х. (1998). Статистические модели для социальных и поведенческих наук: множественная регрессия и модели с ограниченно-зависимыми переменными . ISBN 0275953165
Эдвардс, Аллен Луи (1985). Множественная регрессия и дисперсионный и ковариационный анализ . ISBN 0716710811
Кейт, Тимоти (2006). Множественная регрессия и не только . Бостон: Pearson Education.
Фред Н. Керлингер, Элазар Дж. Педазур (1973). Множественная регрессия в поведенческих исследованиях. Нью-Йорк: Холт Райнхарт Уинстон. ISBN 9780030862113
Стэнтон, Джеффри М. (2001). «Гальтон, Пирсон и горох: краткая история линейной регрессии для преподавателей статистики» , Журнал статистического образования , 9 (3).

[1] Введение в множественную регрессию

[2] Коэффициент множественной корреляции

[1]

[2]