Преобразование Фишера

«Z-преобразование Фишера» перенаправляется сюда. Не путать с z-распределением Фишера .

График преобразования (оранжевый цвет). Непреобразованный выборочный коэффициент корреляции отложен на горизонтальной оси, а преобразованный коэффициент отложен на вертикальной оси. Функция идентичности (серая) также показана для сравнения.

В статистике преобразование Фишера (или Фишера z -преобразование ) коэффициента корреляции Пирсона представляет собой его обратный гиперболический тангенс (артан). Когда выборочный коэффициент корреляции r близок к 1 или -1, его распределение сильно искажено , что затрудняет оценку доверительных интервалов и применение критериев значимости для коэффициента корреляции совокупности ρ. Преобразование Фишера решает эту проблему, давая переменную, распределение которой приблизительно нормально , с дисперсией, стабильной при различных значениях r .

Определение

Учитывая набор N пар двумерных выборок ( X _i , Y _i ), i = 1, ..., N , выборочный коэффициент корреляции r определяется выражением

$r={\frac {\operatorname {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}={\frac {\sum _{i=1}^{N}(X_{i}-{\bar {X}})(Y_{i}-{\bar {Y}})}{{\sqrt {\sum _{i=1}^{N}(X_{i}-{\bar {X}})^{2}}}{\sqrt {\sum _{i=1}^{N}(Y_{i}-{\bar {Y}})^{2}}}}}.$

Здесь $\operatorname {cov} (X,Y)$ обозначает ковариацию между переменными $X$ и $Y$ и $\sigma$ означает стандартное отклонение соответствующей переменной. Z-преобразование Фишера r определяется как

$z={1 \over 2}\ln \left({1+r \over 1-r}\right)=\operatorname {artanh} (r),$

где «ln» — функция натурального логарифма , а «artanh» — обратная функция гиперболического тангенса .

( X , Y ) имеет двумерное нормальное распределение с корреляцией ρ, а пары ( Xi _Если , Yi ₎ независимы и одинаково распределены , то z приблизительно нормально распределено со средним значением

${1 \over 2}\ln \left({{1+\rho } \over {1-\rho }}\right),$

и стандартное отклонение, которое не зависит от значения корреляции rho (т. е. преобразование, стабилизирующее дисперсию )

${1 \over {\sqrt {N-3}}},$

где N — размер выборки, а ρ — истинный коэффициент корреляции.

Это преобразование и его обратное

$r={\frac {\exp(2z)-1}{\exp(2z)+1}}=\operatorname {tanh} (z),$

большой выборки может использоваться для построения доверительного интервала для r с использованием стандартной нормальной теории и выводов. См. также применение к частичной корреляции .

Вывод

Преобразование Фишера с $\rho =0.9$ и $N=30$. На иллюстрации показана точная функция плотности вероятности $r$ (черный цвет), вместе с функциями плотности вероятности обычного преобразования Фишера (синий) и полученной путем включения дополнительных членов, которые зависят от $N$ (красный). Последнее приближение визуально неотличимо от точного ответа (его максимальная ошибка составляет 0,3% по сравнению с 3,4% базового Фишера).

Хотеллинг дает краткий вывод преобразования Фишера.

Чтобы вывести преобразование Фишера, нужно начать с рассмотрения произвольной возрастающей дважды дифференцируемой функции $r$, сказать $G(r)$. Нахождение первого члена в целом $N$ расширение соответствующей асимметрии $\kappa _{3}$ результаты в

$\kappa _{3}={\frac {6\rho -3(1-\rho ^{2})G^{\prime \prime }(\rho )/G^{\prime }(\rho )}{\sqrt {N}}}+O(N^{-3/2}).$

Параметр $\kappa _{3}=0$ и решая соответствующее дифференциальное уравнение для $G$ дает обратный гиперболический тангенс $G(\rho )=\operatorname {artanh} (\rho )$ функция.

образом расширяя среднее значение m и дисперсию v Аналогичным $\operatorname {artanh} (r)$, человек получает

м = $\operatorname {artanh} (\rho )+{\frac {\rho }{2N}}+O(N^{-2})$

и

v = ${\frac {1}{N}}+{\frac {6-\rho ^{2}}{2N^{2}}}+O(N^{-3})$

соответственно.

Дополнительные члены не являются частью обычного преобразования Фишера. Для больших значений $\rho$ и небольшие значения $N$ они представляют собой значительное повышение точности при минимальных затратах, хотя и значительно усложняют вычисление обратного выражения - выражение в замкнутой форме недоступно. Почти постоянная дисперсия преобразования является результатом устранения его асимметрии – фактическое улучшение достигается за счет последнего, а не за счет дополнительных членов. Включая дополнительные члены, т.е. вычисление (zm)/v ^1/2 , дает:

${\frac {z-\operatorname {artanh} (\rho )-{\frac {\rho }{2N}}}{\sqrt {{\frac {1}{N}}+{\frac {6-\rho ^{2}}{2N^{2}}}}}}$

которое имеет в превосходном приближении стандартное нормальное распределение .

Калькулятор доверительного интервала значений r-квадрата (или коэффициента детерминации/объяснения или согласия).

Приложение

Применение преобразования Фишера можно улучшить с помощью программного калькулятора, как показано на рисунке. Предполагая, что найденное значение r-квадрата равно 0,80, имеется 30 данных. и принимая 90% доверительный интервал, значение r-квадрата в другой случайной выборке из той же совокупности может находиться в диапазоне от 0,588 до 0,921. Когда r-квадрат выходит за пределы этого диапазона, популяция считается другой.

Обсуждение

Преобразование Фишера — это приближенное преобразование, стабилизирующее дисперсию для r, когда X и Y следуют двумерному нормальному распределению. Это означает, что дисперсия z примерно постоянна для всех значений коэффициента корреляции населения ρ . Без преобразования Фишера дисперсия r уменьшается по мере | р | приближается к 1. Поскольку преобразование Фишера является приблизительно тождественной функцией, когда | р | < 1/2, иногда полезно помнить, что дисперсия r хорошо аппроксимируется величиной 1/ N, пока | р | не слишком велико, а N не слишком мало. Это связано с тем фактом, что асимптотическая дисперсия r равна 1 для двумерных нормальных данных.

Поведение этого преобразования тщательно изучалось с тех пор, как Фишер представил его в 1915 году. Сам Фишер нашел точное распределение z для данных из двумерного нормального распределения в 1921 году; Гайен в 1951 году определил точное распределение z для данных из двумерного распределения Эджворта типа А. Хотеллинг в 1953 году рассчитал выражения ряда Тейлора для моментов z и несколько связанных с ним статистических данных. и Хокинс в 1989 году обнаружили асимптотическое распределение z для данных из распределения с ограниченными четвертыми моментами.

Альтернативой преобразованию Фишера является использование точной плотности доверительного распределения для ρ, определяемой выражением $$\pi (\rho |r)={\frac {\Gamma (\nu +1)}{{\sqrt {2\pi }}\Gamma (\nu +{\frac {1}{2}})}}(1-r^{2})^{\frac {\nu -1}{2}}\cdot (1-\rho ^{2})^{\frac {\nu -2}{2}}\cdot (1-r\rho )^{\frac {1-2\nu }{2}}F\!\left({\frac {3}{2}},-{\frac {1}{2}};\nu +{\frac {1}{2}};{\frac {1+r\rho }{2}}\right)$$ где $F$ — гипергеометрическая функция Гаусса и $\nu =N-1>1$ .

Другое использование

Хотя преобразование Фишера в основном связано с коэффициентом корреляции произведения-момента Пирсона для двумерных нормальных наблюдений, его также можно применять к коэффициенту ранговой корреляции Спирмена в более общих случаях. Аналогичный результат для асимптотического распределения применим, но с небольшим поправочным коэффициентом: подробности см. в цитируемой статье.

См. также

• Преобразование данных (статистика)
• Мета-анализ (это преобразование используется в метаанализе для стабилизации дисперсии)
• Частичная корреляция
• Коэффициент корреляции Пирсона § Вывод

Внешние ссылки

• R реализация