Достаточное уменьшение размеров

В статистике уменьшения достаточное уменьшение размерности (SDR) — это парадигма анализа данных, которая сочетает в себе идеи размерности с концепцией достаточности .

Уменьшение размерности уже давно является основной целью регрессионного анализа . Учитывая переменную ответа y и p -мерный вектор-предиктор ${\textbf {x}}$ регрессионный анализ направлен на изучение распределения $y\mid {\textbf {x}}$ , условное распределение $y$ данный ${\textbf {x}}$ . Уменьшение размерности — это функция $R({\textbf {x}})$ это отображает ${\textbf {x}}$ к подмножеству $\mathbb {R} ^{k}$ , k < p , тем самым размерность уменьшая ${\textbf {x}}$ . ^[1] Например, $R({\textbf {x}})$ может представлять собой одну или несколько линейных комбинаций ${\textbf {x}}$ .

Уменьшение размеров $R({\textbf {x}})$ называется достаточным, если распределение $y\mid R({\textbf {x}})$ такое же, как и у $y\mid {\textbf {x}}$ . Другими словами, никакая информация о регрессии не теряется при уменьшении размерности ${\textbf {x}}$ если сокращение достаточное. ^[1]

Графическая мотивация

В условиях регрессии часто бывает полезно суммировать распределение $y\mid {\textbf {x}}$ графически. Например, можно рассмотреть рассеяния диаграмму $y$ по сравнению с одним или несколькими предикторами или линейной комбинацией предикторов. Диаграмма рассеяния, содержащая всю доступную информацию о регрессии, называется достаточной сводной диаграммой .

Когда ${\textbf {x}}$ является многомерным, особенно когда $p\geq 3$ , становится все сложнее строить и визуально интерпретировать сводные графики достаточности без сокращения данных. Даже трехмерные диаграммы рассеяния необходимо просматривать с помощью компьютерной программы, а третье измерение можно визуализировать только путем вращения осей координат. Однако если существует достаточное уменьшение размерности $R({\textbf {x}})$ с достаточно малым размером, достаточным сводным графиком $y$ против $R({\textbf {x}})$ могут быть относительно легко построены и визуально интерпретированы.

Следовательно, достаточное уменьшение размерности позволяет получить графическое представление о распределении $y\mid {\textbf {x}}$ , который в противном случае мог бы быть недоступен для многомерных данных.

Большинство графических методологий фокусируются в первую очередь на уменьшении размеров, включая линейные комбинации ${\textbf {x}}$ . Оставшаяся часть статьи посвящена только таким сокращениям.

Подпространство уменьшения размерности

Предполагать $R({\textbf {x}})=A^{T}{\textbf {x}}$ – достаточное уменьшение размерности, где $A$ это $p\times k$ матрица с рангом $k\leq p$ . Тогда информация о регрессии для $y\mid {\textbf {x}}$ можно сделать вывод, изучая распределение $y\mid A^{T}{\textbf {x}}$ , и сюжет $y$ против $A^{T}{\textbf {x}}$ является достаточным сводным сюжетом.

Без ограничения общности , только пространство , занимаемое колоннами $A$ необходимо учитывать. Позволять $\eta$ быть основой для пространства столбцов $A$ , и пусть пространство, охватываемое $\eta$ обозначаться ${\mathcal {S}}(\eta )$ . Из определения достаточного уменьшения размерности следует, что

F_{y\mid x}=F_{y\mid \eta ^{T}x},

где $F$ обозначает соответствующую функцию распределения . Другой способ выразить это свойство:

y\perp \!\!\!\perp {\textbf {x}}\mid \eta ^{T}{\textbf {x}},

или $y$ зависит условно не от ${\textbf {x}}$ , данный $\eta ^{T}{\textbf {x}}$ . Тогда подпространство ${\mathcal {S}}(\eta )$ определяется как подпространство уменьшения размерности (DRS) . ^[2]

Структурная размерность

Для регресса $y\mid {\textbf {x}}$ , структурный размер , $d$ , — наименьшее число различных линейных комбинаций ${\textbf {x}}$ необходимо сохранить условное распределение $y\mid {\textbf {x}}$ . Другими словами, наименьшее уменьшение размеров, которого все еще достаточно, отображает ${\textbf {x}}$ к подмножеству $\mathbb {R} ^{d}$ . Соответствующий DRS будет d -мерным. ^[2]

Подпространство уменьшения минимальной размерности

Подпространство ${\mathcal {S}}$ считается минимальным DRS для $y\mid {\textbf {x}}$ если это DRS и его размер меньше или равен размеру всех других DRS для $y\mid {\textbf {x}}$ . Минимальный DRS ${\mathcal {S}}$ не обязательно уникален, но его размерность равна структурной размерности $d$ из $y\mid {\textbf {x}}$ , по определению. ^[2]

Если ${\mathcal {S}}$ имеет основу $\eta$ и представляет собой минимальный DRS, затем график зависимости y от $\eta ^{T}{\textbf {x}}$ является минимально достаточным сводным графиком и является ( d + 1)-мерным.

Центральное подпространство

Если подпространство ${\mathcal {S}}$ это DRS для $y\mid {\textbf {x}}$ , и если ${\mathcal {S}}\subset {\mathcal {S}}_{\text{drs}}$ для всех остальных DRS ${\mathcal {S}}_{\text{drs}}$ , то это центральное подпространство уменьшения размерности или просто центральное подпространство , и оно обозначается ${\mathcal {S}}_{y\mid x}$ . Другими словами, центральное подпространство для $y\mid {\textbf {x}}$ существует тогда и только тогда, когда пересечение ${\textstyle \bigcap {\mathcal {S}}_{\text{drs}}}$ всех подпространств уменьшения размерности также является подпространством уменьшения размерности, и это пересечение является центральным подпространством ${\mathcal {S}}_{y\mid x}$ . ^[2]

Центральное подпространство ${\mathcal {S}}_{y\mid x}$ не обязательно существует, поскольку пересечение ${\textstyle \bigcap {\mathcal {S}}_{\text{drs}}}$ это не обязательно DRS. Однако, если ${\mathcal {S}}_{y\mid x}$ существует , то это также уникальное подпространство уменьшения минимальной размерности. ^[2]

Существование центрального подпространства

Хотя существование центрального подпространства ${\mathcal {S}}_{y\mid x}$ не гарантируется в каждой регрессионной ситуации, существуют некоторые довольно широкие условия, из которых непосредственно следует его существование. Например, рассмотрим следующее предложение Кука (1998):

Позволять

{\mathcal {S}}_{1}

и

{\mathcal {S}}_{2}

быть подпространствами уменьшения размерности для

y\mid {\textbf {x}}

. Если

{\textbf {x}}

имеет плотность

f(a)>0

для всех

a\in \Omega _{x}

и

f(a)=0

везде, где

\Omega _{x}

выпукло , то пересечение

{\mathcal {S}}_{1}\cap {\mathcal {S}}_{2}

также является подпространством уменьшения размерности.

Из этого предложения следует, что центральное подпространство ${\mathcal {S}}_{y\mid x}$ существует для такого ${\textbf {x}}$ . ^[2]

Методы уменьшения размерности

Существует множество методов уменьшения размерности, как графических, так и числовых. Например, срезная обратная регрессия (SIR) и срезовая оценка средней дисперсии (SAVE) были введены в 1990-х годах и продолжают широко использоваться. ^[3] Хотя SIR изначально был разработан для оценки размерность эффективного подпространства, уменьшающего , теперь понятно, что он оценивает только центральное подпространство, которое обычно отличается.

Более поздние методы уменьшения размерности включают достаточное уменьшение размерности на основе вероятности , ^[4] оценка центрального подпространства на основе обратного третьего момента (или k -го момента), ^[5] оценка центрального пространства решений, ^[6] графическая регрессия, ^[2] модель конверта и машина главных опорных векторов. ^[7] Более подробную информацию об этих и других методах можно найти в статистической литературе.

Анализ главных компонент (PCA) и аналогичные методы уменьшения размерности не основаны на принципе достаточности.

Пример: линейная регрессия

Рассмотрим регрессионную модель

y=\alpha +\beta ^{T}{\textbf {x}}+\varepsilon ,{\text{ where }}\varepsilon \perp \!\!\!\perp {\textbf {x}}.

Обратите внимание, что распределение $y\mid {\textbf {x}}$ то же самое, что и распределение $y\mid \beta ^{T}{\textbf {x}}$ . Следовательно, промежуток $\beta$ является подпространством уменьшения размерности. Также, $\beta ^{T}{\textbf {x}}$ является 1-мерным (если только $\beta ={\textbf {0}}$ ), поэтому структурное измерение этой регрессии равно $d=1$ .

OLS Оценка ${\hat {\beta }}$ из $\beta$ является последовательным , и поэтому диапазон ${\hat {\beta }}$ является последовательной оценкой ${\mathcal {S}}_{y\mid x}$ . Сюжет $y$ против ${\hat {\beta }}^{T}{\textbf {x}}$ является достаточным сводным графиком для этой регрессии.

См. также

Примечания

^ Jump up to: ^а ^б Кук и Адраньи (2009) Достаточное уменьшение размерности и прогнозирование регрессии в: Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences , 367 (1906): 4385–4405.
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г Кук, Р.Д. (1998) Графика регрессии: идеи изучения регрессии с помощью графики , Уайли ISBN 0471193658
^ Ли, КЦ. (1991) Срезная обратная регрессия для уменьшения размерности : Журнал Американской статистической ассоциации , 86 (414): 316–327.
^ Кук, Р.Д. и Форзани, Л. (2009) «Достаточное уменьшение размерности на основе вероятности», Журнал Американской статистической ассоциации , 104 (485): 197–208
^ Инь, X. и Кук, Р.Д. (2003) Оценка центральных подпространств с помощью обратных третьих моментов в: Biometrika , 90 (1): 113–125.
^ Ли, Б. и Донг, Ю.Д. (2009) Уменьшение размерности для неэллиптически распределенных предикторов в: Анналы статистики , 37 (3): 1272–1298.
^ Ли, Бинг; Артемиу, Андреас; Ли, Лексин (2011). «Основные опорные векторные машины для линейного и нелинейного достаточного уменьшения размерности». Анналы статистики . 39 (6): 3182–3210. arXiv : 1203.2790 . дои : 10.1214/11-AOS932 . S2CID 88519106 .

Ссылки

Кук, Р.Д. (1998) Графика регрессии: идеи для изучения регрессий с помощью графиков , Серия Уайли по вероятности и статистике. Регрессионная графика .
Кук, Р.Д. и Адрагни, КП (2009) «Достаточное уменьшение размерности и прогнозирование регрессии», Философские труды Королевского общества A: Математические, физические и инженерные науки , 367 (1906), 4385–4405. Полный текст
Кук Р.Д. и Вайсберг С. (1991) «Срезная обратная регрессия для уменьшения размерности: комментарий», Журнал Американской статистической ассоциации , 86 (414), 328–332. Джстор
Ли, КЦ. (1991) «Срезная обратная регрессия для уменьшения размерности», Журнал Американской статистической ассоциации , 86 (414), 316–327. Джстор

Внешние ссылки