Многомерная статистика

В статистической теории область многомерной статистики изучает данные, размерность которых больше (относительно количества точек данных), чем обычно рассматривается в классическом многомерном анализе . Эта область возникла из-за появления многих современных наборов данных, в которых размерность векторов данных может быть сравнима или даже больше размера выборки , так что оправдание использования традиционных методов, часто основанных на асимптотических аргументах с размер, который оставался неизменным по мере увеличения размера выборки, отсутствовал.

Существует несколько понятий многомерного анализа статистических методов, в том числе:

• Неасимптотические результаты, применимые для конечных $n,p$ (количество точек данных и размер измерения соответственно).
• Асимптотика Колмогорова, изучающая асимптотическое поведение, при котором соотношение $n/p$ сходится к определенному конечному значению.

Примеры

Оценка параметров в линейных моделях

Иллюстрация линейной модели в больших размерах: набор данных состоит из вектора ответа. $Y\in \mathbb {R} ^{n}$ и матрица дизайна $X\in \mathbb {R} ^{n\times p}$ с $p\gg n$. Наша цель — оценить неизвестный вектор $\beta =(\beta _{1},\dots ,\beta _{p})\in \mathbb {R} ^{p}$ коэффициентов регрессии, где $\beta$ часто предполагается разреженным в том смысле, что мощность множества $S:=\{j:\beta _{j}\neq 0\}$ мал по сравнению с $p$.

Самая базовая статистическая модель связи между ковариат . вектором $x\in \mathbb {R} ^{p}$ и переменная ответа $y\in \mathbb {R}$ это линейная модель

$y=x^{\top }\beta +\epsilon ,$

где $\beta \in \mathbb {R} ^{p}$ — вектор неизвестных параметров, а $\epsilon$ это случайный шум со средним нулем и дисперсией $\sigma ^{2}$. Учитывая независимые ответы $Y_{1},\ldots ,Y_{n}$, с соответствующими ковариатами $x_{1},\ldots ,x_{n}$, из этой модели мы можем сформировать вектор отклика $Y=(Y_{1},\ldots ,Y_{n})^{\top }$и матрица расчета $X=(x_{1},\ldots ,x_{n})^{\top }\in \mathbb {R} ^{n\times p}$. Когда $n\geq p$ и матрица плана имеет полный ранг столбца (т. е. ее столбцы линейно независимы ), наименьших квадратов обычная оценка методом $\beta$ является

${\hat {\beta }}:=(X^{\top }X)^{-1}X^{\top }Y.$

Когда $\epsilon \sim N(0,\sigma ^{2})$, известно , что ${\hat {\beta }}\sim N_{p}{\bigl (}\beta ,\sigma ^{2}(X^{\top }X)^{-1}{\bigr )}$. Таким образом, ${\hat {\beta }}$ является несмещенной оценкой $\beta$, а теорема Гаусса-Маркова говорит нам, что это лучший линейный несмещенный оценщик .

Однако переобучение вызывает беспокойство, когда $p$ имеет сопоставимую величину с $n$: матрица $X^{\top }X$ в определении ${\hat {\beta }}$ может стать плохо обусловленным , с небольшим минимальным собственным значением . В таких обстоятельствах $\mathbb {E} (\|{\hat {\beta }}-\beta \|^{2})=\sigma ^{2}\mathrm {tr} {\bigl (}(X^{\top }X)^{-1}{\bigr )}$ будет большим (поскольку след матрицы представляет собой сумму ее собственных значений). Еще хуже, когда $p>n$, матрица $X^{\top }X$ является единичным . (См. раздел 1.2 и упражнение 1.2 в .)

Важно отметить, что ухудшение качества оценки в больших размерностях, наблюдаемое в предыдущем абзаце, не ограничивается обычным методом наименьших квадратов. Фактически, статистический вывод в больших размерностях по своей сути труден, это явление известно как проклятие размерности , и можно показать, что ни один оценщик не сможет добиться большего результата в худшем случае без дополнительной информации (см. Пример 15.10). ). Тем не менее, ситуация в многомерной статистике не может быть безнадежной, когда данные обладают некоторой низкоразмерной структурой. Одним из распространенных предположений для многомерной линейной регрессии является то, что вектор коэффициентов регрессии является разреженным в том смысле, что большинство координат $\beta$ равны нулю. Многие статистические процедуры, в том числе Лассо , были предложены для соответствия линейным моделям высокой размерности при таких предположениях о разреженности.

Оценка ковариационной матрицы

Другой пример многомерного статистического явления можно найти в задаче оценки ковариационной матрицы . Предположим, что мы наблюдаем $X_{1},\ldots ,X_{n}\in \mathbb {R} ^{p}$, которые являются iid , взятыми из некоторого нулевого среднего распределения с неизвестной ковариационной матрицей $\Sigma \in \mathbb {R} ^{p\times p}$. Естественная несмещенная оценка $\Sigma$ это выборочная ковариационная матрица

${\widehat {\Sigma }}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}X_{i}^{\top }.$

В низкоразмерной обстановке, где $n$ увеличивается и $p$ удерживается фиксированным, ${\widehat {\Sigma }}$ является оценкой последовательной $\Sigma$ в любой матричной норме . Когда $p$ растет вместе с $n$С другой стороны, этот результат согласованности может не соблюдаться. В качестве иллюстрации предположим, что каждый $X_{i}\sim N_{p}(0,I)$ и $p/n\rightarrow \alpha \in (0,1)$. Если ${\widehat {\Sigma }}$ должны были последовательно оценивать $\Sigma =I$, то собственные значения ${\widehat {\Sigma }}$ следует подходить к одному как $n$ увеличивается. Оказывается, в этой многомерной ситуации это не так. Действительно, наибольшие и наименьшие собственные значения ${\widehat {\Sigma }}$ сконцентрироваться вокруг $(1+{\sqrt {\alpha }})^{2}$ и $(1-{\sqrt {\alpha }})^{2}$соответственно, в соответствии с предельным распределением, полученным Трейси и Видомом , и они явно отклоняются от единичных собственных значений $\Sigma$. Дополнительная информация об асимптотическом поведении собственных значений ${\widehat {\Sigma }}$ можно получить из закона Марченко–Пастура . С неасимптотической точки зрения максимальное собственное значение $\lambda _{\mathrm {max} }({\widehat {\Sigma }})$ из ${\widehat {\Sigma }}$ удовлетворяет

$\mathbb {P} \left(\lambda _{\mathrm {max} }({\widehat {\Sigma }})\geq (1+{\sqrt {p/n}}+\delta )^{2}\right)\leq e^{-n\delta ^{2}/2},$

для любого $\delta \geq 0$ и все варианты пар $n,p$.

Опять же, для успешной оценки ковариационной матрицы в больших размерностях необходима дополнительная низкоразмерная структура. Примеры таких структур включают разреженность , низкий ранг и полосчатость . Аналогичные замечания применимы при оценке обратной ковариационной матрицы (матрицы точности) .

История

С прикладной точки зрения исследования в области многомерной статистики были мотивированы осознанием того, что достижения в области вычислительных технологий значительно расширили возможности сбора и хранения данных и что традиционные статистические методы, такие как описанные в примерах выше, часто были плохо оснащены. справиться с возникающими проблемами. Теоретические достижения в этой области можно проследить до замечательного результата Чарльза Стейна, полученного в 1956 году. где он доказал, что обычная оценка многомерного нормального среднего значения неприемлема в отношении квадратичных потерь ошибок в трех или более измерениях. Действительно, оценка Джеймса-Стейна обеспечил понимание того, что в условиях большой размерности можно получить улучшенную производительность оценки за счет сокращения, которое уменьшает дисперсию за счет внесения небольшой систематической ошибки. Этот компромисс между смещением и дисперсией был дополнительно использован в контексте многомерных линейных моделей Хорлом и Кеннардом в 1970 году с введением гребневой регрессии . Еще один важный импульс развитию этой области дала Роберта Тибширани работа над « Лассо» в 1996 году, в которой использовались $\ell _{1}$ регуляризация для достижения одновременного выбора модели и оценки параметров в многомерной разреженной линейной регрессии. С тех пор было предложено большое количество других средств оценки усадки , позволяющих использовать различные низкоразмерные структуры в широком спектре многомерных статистических задач.

Темы многомерной статистики

Ниже приведены примеры тем, которым в последние годы уделяется значительное внимание в литературе по многомерной статистике:

• Линейные модели в больших размерах. Линейные модели являются одним из наиболее широко используемых инструментов в статистике и ее приложениях. Таким образом, разреженная линейная регрессия является одной из наиболее хорошо изученных тем в многомерных статистических исследованиях. Основываясь на более ранних работах по регрессии гребней и Лассо несколько других средств оценки усадки , было предложено и изучено для этой и связанных с ней задач. Они включают в себя
  • Селектор Данцига, который минимизирует максимальную корреляцию ковариата-остаток вместо остаточной суммы квадратов, как в Лассо, с учетом $\ell _{1}$ ограничение на коэффициенты.
  • Эластичная сетка , которая сочетает в себе $\ell _{1}$ регуляризация Лассо с $\ell _{2}$ регуляризация гребневой регрессии , позволяющая одновременно выбирать высококоррелированные ковариаты с аналогичными коэффициентами регрессии.
  • Групповое лассо , которое позволяет совместно выбирать предварительно определенные группы ковариат.
  • Fused lasso , который упорядочивает разницу между соседними коэффициентами, когда коэффициенты регрессии отражают пространственные или временные отношения, чтобы обеспечить кусочно-постоянную структуру.
• Многомерный выбор переменных . Помимо оценки основного параметра в регрессионных моделях, еще одной важной темой является поиск ненулевых коэффициентов, поскольку они соответствуют переменным, которые необходимы в окончательной модели. Для этой цели можно использовать каждый из методов, перечисленных под предыдущим заголовком, и иногда его комбинируют с такими идеями, как субдискретизация посредством выбора стабильности.
• Многомерная ковариация и прецизионная оценка матрицы. Эти проблемы были представлены выше; см. также оценку усадки . Методы включают в себя оценки конусности. и ограниченность $\ell _{1}$ минимизационная оценка.
• Разреженный анализ главных компонент . Анализ главных компонентов — еще один метод, который не работает в больших измерениях; точнее, при соответствующих условиях ведущий собственный вектор выборочной ковариационной матрицы является несогласованной оценкой своего аналога генеральной совокупности, когда соотношение числа переменных $p$ к количеству наблюдений $n$ ограничено от нуля. В предположении, что этот ведущий собственный вектор разрежен (что может способствовать интерпретируемости), согласованность может быть восстановлена.
• Завершение матрицы . Эта тема, касающаяся задачи заполнения недостающих записей частично наблюдаемой матрицы, стала популярной во многом благодаря премии Netflix за предсказание пользовательских рейтингов фильмов.
• Высокомерная классификация. Линейный дискриминантный анализ нельзя использовать, если $p>n$, поскольку выборочная ковариационная матрица является сингулярной . Были предложены альтернативные подходы, основанные на наивном Байесе . выбор функции и случайные проекции .
• Графические модели для многомерных данных . Графические модели используются для кодирования структуры условной зависимости между различными переменными. В предположении гауссовости проблема сводится к оценке разреженной матрицы точности, обсуждавшейся выше.

Ссылки

• Йоханнес Ледерер (2022). Основы многомерной статистики . Чам: Спрингер.
• Кристоф Жиро (2015). Введение в многомерную статистику . Филадельфия: Чепмен и Холл/CRC.
• Т. Тони Цай, Сяотун Шен, изд. (2011). Многомерный анализ данных . Границы статистики. Сингапур: World Scientific.
• Питер Бюльманн и Сара ван де Гир (2011). Статистика для многомерных данных: методы, теория и приложения . Гейдельберг; Нью-Йорк: Спрингер.
• Мартин Дж. Уэйнрайт (2019). Многомерная статистика: неасимптотическая точка зрения . Кембридж, Великобритания: Издательство Кембриджского университета.