Анализ главных компонентов

Анализ главных компонентов ( PCA ) — это метод уменьшения линейной размерности , который применяется в исследовательском анализе данных , визуализации и предварительной обработке данных .

Данные линейно преобразуются в новую систему координат, так что можно легко определить направления (главные компоненты), отражающие наибольшее изменение данных.

Главными компонентами набора точек в реальном координатном пространстве являются последовательность $p$ единичные векторы , где $i$-th вектор — это направление линии, которое лучше всего соответствует данным, будучи ортогональным первому. $i-1$ векторы. Здесь наиболее подходящая линия определяется как линия, которая минимизирует средний квадрат перпендикулярного расстояния от точек до линии . Эти направления (т.е. главные компоненты) составляют ортонормированный базис , в котором различные отдельные измерения данных линейно некоррелированы . Во многих исследованиях первые два основных компонента используются для отображения данных в двух измерениях и визуальной идентификации кластеров тесно связанных точек данных.

PCA многомерного гауссова распределения с центром в (1,3) со стандартным отклонением 3 примерно в направлении (0,866, 0,5) и 1 в ортогональном направлении. Показанные векторы представляют собой собственные векторы ковариационной матрицы, масштабированные на квадратный корень из соответствующего собственного значения и сдвинутые так, чтобы их хвосты находились в среднем значении.

Анализ главных компонентов находит применение во многих областях, таких как популяционная генетика , исследования микробиома и наука об атмосфере .

Обзор

При выполнении PCA первый главный компонент набора $p$ переменные — это производная переменная, сформированная как линейная комбинация исходных переменных, которая объясняет наибольшую дисперсию. Второй главный компонент объясняет наибольшую дисперсию того, что остается после устранения эффекта первого компонента, и мы можем продолжить $p$ итераций до тех пор, пока не будут объяснены все отклонения. PCA чаще всего используется, когда многие переменные сильно коррелируют друг с другом и желательно сократить их количество до независимого набора. Первый главный компонент эквивалентно можно определить как направление, которое максимизирует дисперсию прогнозируемых данных. $i$-ю главную компоненту можно принять как направление, ортогональное первой $i-1$ основные компоненты, которые максимизируют дисперсию прогнозируемых данных.

Для любой цели можно показать, что главные компоненты являются собственными векторами данных ковариационной матрицы . Таким образом, главные компоненты часто вычисляются путем собственного разложения матрицы ковариации данных или по сингулярным значениям разложения матрицы данных . PCA — это самый простой из настоящих многомерных анализов на основе собственных векторов, который тесно связан с факторным анализом . Факторный анализ обычно включает в себя более специфичные для предметной области предположения о базовой структуре и решает собственные векторы немного другой матрицы. PCA также связан с каноническим корреляционным анализом (CCA) . CCA определяет системы координат, которые оптимально описывают взаимную ковариацию между двумя наборами данных, а PCA определяет новую ортогональную систему координат , которая оптимально описывает дисперсию в одном наборе данных. надежные и основанные на норме L1 варианты стандартного PCA. Также были предложены

История

PCA был изобретен в 1901 году Карлом Пирсоном . как аналог теоремы о главной оси в механике; Позже он был независимо разработан и назван Гарольдом Хотеллингом в 1930-х годах. В зависимости от области применения его также называют дискретным преобразованием Карунена-Лоэва (KLT) в обработке сигналов , преобразованием Хотеллинга в многомерном контроле качества, собственным ортогональным разложением (POD) в машиностроении, разложением по сингулярным значениям (SVD) X (изобретен в последней четверти XIX в. ), разложение по собственным значениям (EVD) X ^Т X в линейной алгебре, факторный анализ (обсуждение различий между PCA и факторным анализом см. в главе 7 « Анализ главных компонентов» Джоллиффа ), Теорема Эккарта-Янга (Харман, 1960), или эмпирические ортогональные функции (ЭОФ) в метеорологии (Лоренц, 1956), эмпирическое разложение собственных функций (Сирович, 1987), квазигармонические моды (Брукс и др., 1988), спектральное разложение в шуме и вибрация, а также эмпирический модальный анализ в динамике конструкций.

Интуиция

PCA можно рассматривать как подгонку к данным p -мерного эллипсоида , где каждая ось эллипсоида представляет собой главный компонент. Если какая-то ось эллипсоида мала, то и дисперсия вдоль этой оси также мала.

Чтобы найти оси эллипсоида, мы должны сначала центрировать значения каждой переменной в наборе данных на 0, вычитая среднее значение наблюдаемых значений переменной из каждого из этих значений. Эти преобразованные значения используются вместо исходных наблюдаемых значений для каждой из переменных. Затем мы вычисляем ковариационную матрицу данных и вычисляем собственные значения и соответствующие собственные векторы этой ковариационной матрицы. Затем мы должны нормализовать каждый из ортогональных собственных векторов, чтобы превратить их в единичные векторы. Как только это будет сделано, каждый из взаимно ортогональных единичных векторов можно будет интерпретировать как ось эллипсоида, подобранного к данным. Этот выбор базиса преобразует ковариационную матрицу в диагональную форму, в которой диагональные элементы представляют дисперсию каждой оси. Доля дисперсии, которую представляет каждый собственный вектор, можно рассчитать путем деления собственного значения, соответствующего этому собственному вектору, на сумму всех собственных значений.

Биплоты и графики осыпей (степень объясненной дисперсии ) используются для интерпретации результатов PCA.

На изображении выше показан график осыпи, который призван помочь интерпретировать PCA и решить, сколько компонентов сохранить. Начало изгиба линии (точка перегиба или «колено») должно указывать, сколько компонентов сохраняется, следовательно, в этом примере следует сохранить три фактора.

Подробности

PCA определяется как ортогональное линейное преобразование в реальном внутреннем пространстве продукта , которое преобразует данные в новую систему координат так, что наибольшая дисперсия некоторой скалярной проекции данных приходится на первую координату (называемую первым главным компонентом), второе по величине отклонение второй координаты и так далее.

Рассмотрим $n\times p$ данных матрица X n по столбцам с нулевым эмпирическим средним значением (выборочное среднее каждого столбца было сдвинуто к нулю), где каждая из строк представляет собой различное повторение эксперимента, а каждый из p столбцов дает определенный вид функции (скажем, результаты работы определенного датчика).

Математически преобразование определяется набором размеров $l$ -мерных p векторов весов или коэффициентов $\mathbf {w} _{(k)}=(w_{1},\dots ,w_{p})_{(k)}$ которые отображают каждый вектор-строку $\mathbf {x} _{(i)}=(x_{1},\dots ,x_{p})_{(i)}$ X в новый вектор оценок главных компонентов $\mathbf {t} _{(i)}=(t_{1},\dots ,t_{l})_{(i)}$, заданный

${t_{k}}_{(i)}=\mathbf {x} _{(i)}\cdot \mathbf {w} _{(k)}\qquad \mathrm {for} \qquad i=1,\dots ,n\qquad k=1,\dots ,l$

таким образом, чтобы отдельные переменные $t_{1},\dots ,t_{l}$ t, рассматриваемые в наборе данных, последовательно наследуют максимально возможную дисперсию от X , при этом каждый вектор коэффициентов w ограничен единичным вектором (где $l$ обычно выбирается строго меньше, чем $p$ уменьшить размерность).

Вышеуказанное можно эквивалентно записать в матричной форме как

$\mathbf {T} =\mathbf {X} \mathbf {W}$

где ${\mathbf {T} }_{ik}={t_{k}}_{(i)}$, ${\mathbf {X} }_{ij}={x_{j}}_{(i)}$, и ${\mathbf {W} }_{jk}={w_{j}}_{(k)}$.

Первый компонент

Таким образом , чтобы максимизировать дисперсию, первый весовой вектор w ₍₁₎ должен удовлетворять

$\mathbf {w} _{(1)}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}(t_{1})_{(i)}^{2}\right\}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}\left(\mathbf {x} _{(i)}\cdot \mathbf {w} \right)^{2}\right\}$

Аналогично, запись этого в матричной форме дает

$\mathbf {w} _{(1)}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {Xw} \right\|^{2}\right\}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} \right\}$

Поскольку w ₍₁₎ был определен как единичный вектор, он эквивалентно также удовлетворяет

$\mathbf {w} _{(1)}=\arg \max \left\{{\frac {\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} }{\mathbf {w} ^{\mathsf {T}}\mathbf {w} }}\right\}$

Величину, которую необходимо максимизировать, можно определить как коэффициент Рэлея . Стандартный результат для положительной полуопределенной матрицы, такой как X ^Т X заключается в том, что максимально возможное значение фактора является наибольшим собственным значением матрицы, которое возникает, когда w является соответствующим собственным вектором .

Найдя w ₍₁₎ , первый главный компонент вектора данных x _{( i )} можно затем представить как оценку t _{1( i )} = x _{( i )} ⋅ w ₍₁₎ в преобразованных координатах или как соответствующий вектор в исходных переменных, { x _{( i )} ⋅ w ₍₁₎ } w ₍₁₎ .

Дополнительные компоненты

-й компонент k можно найти, вычитая первые k - 1 главных компонент из X :

$\mathbf {\hat {X}} _{k}=\mathbf {X} -\sum _{s=1}^{k-1}\mathbf {X} \mathbf {w} _{(s)}\mathbf {w} _{(s)}^{\mathsf {T}}$

а затем найти вектор весов, который извлекает максимальную дисперсию из этой новой матрицы данных

$\mathbf {w} _{(k)}=\mathop {\operatorname {arg\,max} } _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {\hat {X}} _{k}\mathbf {w} \right\|^{2}\right\}=\arg \max \left\{{\tfrac {\mathbf {w} ^{\mathsf {T}}\mathbf {\hat {X}} _{k}^{\mathsf {T}}\mathbf {\hat {X}} _{k}\mathbf {w} }{\mathbf {w} ^{T}\mathbf {w} }}\right\}$

Оказывается, это дает остальным собственным векторам X ^Т X , где максимальные значения величины в скобках заданы соответствующими собственными значениями. Таким образом, весовые векторы являются собственными векторами X ^Т Х. ​

Таким образом, k -й главный компонент вектора данных x _{( i )} может быть задан как оценка t _{k ( i )} = x _{( i )} ⋅ w _{( k )} в преобразованных координатах или как соответствующий вектор в пространстве исходные переменные, { x _{( i )} ⋅ w _{( k )} } w _{( k )} , где w _{( k )} - k -й собственный вектор X ^Т Х. ​

Таким образом, полное разложение X на главные компоненты можно представить как

$\mathbf {T} =\mathbf {X} \mathbf {W}$

где W — p - x- p матрица весов , столбцы которой являются собственными векторами X ^Т Х. ​Транспонирование W иногда называют преобразованием отбеливания или сферирования . Столбцы W, умноженные на квадратный корень из соответствующих собственных значений, то есть собственных векторов, увеличенных за счет дисперсий, называются нагрузками в PCA или в факторном анализе.

Ковариации

Х ^Т Сам X можно признать пропорциональным ковариационной матрице эмпирической выборки набора данных X. ^Т .

Выборочная ковариация Q между двумя различными главными компонентами набора данных определяется следующим образом:

${\begin{aligned}Q(\mathrm {PC} _{(j)},\mathrm {PC} _{(k)})&\propto (\mathbf {X} \mathbf {w} _{(j)})^{\mathsf {T}}(\mathbf {X} \mathbf {w} _{(k)})\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} \mathbf {w} _{(k)}\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\lambda _{(k)}\mathbf {w} _{(k)}\\&=\lambda _{(k)}\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {w} _{(k)}\end{aligned}}$

где свойство собственных значений w _{( k )} использовалось для перехода от строки 2 к строке 3. Однако собственные векторы w _{( j )} и w _{( k ),} соответствующие собственным значениям симметричной матрицы, ортогональны (если собственные значения различны), или могут быть ортогонализованы (если векторы имеют одинаковое повторяющееся значение). Таким образом, произведение в последней строке равно нулю; в наборе данных нет выборочной ковариации между различными главными компонентами.

Таким образом, другой способ охарактеризовать преобразование главных компонентов - это преобразование в координаты, которые диагонализуют ковариационную матрицу эмпирической выборки.

В матричной форме эмпирическую ковариационную матрицу исходных переменных можно записать

$\mathbf {Q} \propto \mathbf {X} ^{\mathsf {T}}\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{\mathsf {T}}$

Эмпирическая ковариационная матрица между главными компонентами принимает вид

$\mathbf {W} ^{\mathsf {T}}\mathbf {Q} \mathbf {W} \propto \mathbf {W} ^{\mathsf {T}}\mathbf {W} \,\mathbf {\Lambda } \,\mathbf {W} ^{\mathsf {T}}\mathbf {W} =\mathbf {\Lambda }$

где Λ — диагональная матрица собственных значений λ _{( k )} оператора X ^Т Х. ​ λ _{( k )} равно сумме квадратов по набору данных, связанному с каждым компонентом k , то есть λ _{( k )} = Σ _i t _k ² _{( я )} знак равно Σ _я ( Икс _{( я )} ⋅ ш _{( k )} ) ² .

Уменьшение размерности

Преобразование T = X W отображает вектор данных x _{( i )} из исходного пространства p переменных в новое пространство p переменных, которые не коррелируют в наборе данных. Однако не все основные компоненты должны быть сохранены. Сохранение только первых L главных компонентов, полученных с использованием только первых L собственных векторов, дает усеченное преобразование

$\mathbf {T} _{L}=\mathbf {X} \mathbf {W} _{L}$

где матрица T _L теперь имеет n строк, но только L столбцов. Другими словами, PCA изучает линейное преобразование. $t=W_{L}^{\mathsf {T}}x,x\in \mathbb {R} ^{p},t\in \mathbb {R} ^{L},$ где столбцы p × L матрицы $W_{L}$ образуют ортогональную основу для L признаков (компонентов представления t ), которые декоррелированы. По построению из всех преобразованных матриц данных, содержащих только L столбцов, эта оценочная матрица максимизирует дисперсию сохраненных исходных данных, минимизируя при этом общую квадратичную ошибку реконструкции. $\|\mathbf {T} \mathbf {W} ^{T}-\mathbf {T} _{L}\mathbf {W} _{L}^{T}\|_{2}^{2}$ или $\|\mathbf {X} -\mathbf {X} _{L}\|_{2}^{2}$.

Диаграмма рассеяния анализа основных компонентов Y-STR гаплотипов , рассчитанная на основе значений количества повторов для 37 маркеров STR Y-хромосомы от 354 человек.
PCA успешно обнаружил линейные комбинации маркеров, которые выделяют разные кластеры, соответствующие разным линиям генетического происхождения Y-хромосомы людей.

Такое уменьшение размерности может быть очень полезным шагом для визуализации и обработки многомерных наборов данных, сохраняя при этом как можно большую дисперсию в наборе данных. Например, если выбрать L = 2 и сохранить только первые два главных компонента, в многомерном наборе данных будет найдена двумерная плоскость, в которой данные наиболее разбросаны, поэтому, если данные содержат кластеры, они тоже могут быть наиболее разбросаны. и поэтому наиболее наглядно их можно изобразить на двухмерной диаграмме; тогда как если два направления данных (или две исходные переменные) выбраны случайным образом, кластеры могут быть гораздо менее разбросаны друг от друга и фактически с гораздо большей вероятностью существенно перекроют друг друга, делая их неразличимыми.

Аналогичным образом, в регрессионном анализе , чем больше допустимое количество объясняющих переменных , тем больше вероятность переобучения модели и получения выводов, которые не могут быть обобщены на другие наборы данных. Один из подходов, особенно когда существуют сильные корреляции между различными возможными объясняющими переменными, состоит в том, чтобы свести их к нескольким главным компонентам, а затем провести против них регрессию, метод, называемый регрессией главных компонентов .

Уменьшение размерности также может быть целесообразным, когда переменные в наборе данных зашумлены. Если каждый столбец набора данных содержит независимый одинаково распределенный гауссовский шум, то столбцы T также будут содержать одинаково одинаково распределенный гауссов шум (такое распределение инвариантно под воздействием матрицы W , которую можно рассматривать как многомерную вращение осей координат). Однако, поскольку большая часть общей дисперсии сосредоточена в первых нескольких главных компонентах по сравнению с той же дисперсией шума, пропорциональное влияние шума меньше — первые несколько компонентов достигают более высокого отношения сигнал/шум . Таким образом, PCA может привести к концентрации большей части сигнала на первых нескольких основных компонентах, которые можно с пользой уловить путем уменьшения размерности; в то время как более поздние основные компоненты могут подвергаться доминированию шума, и поэтому от них можно избавиться без больших потерь. Если набор данных не слишком велик, значимость главных компонентов можно проверить с помощью параметрический бутстрап , чтобы помочь определить, сколько основных компонентов следует сохранить.

Разложение по сингулярным значениям

Основная статья: Разложение по сингулярным значениям

Преобразование главных компонент также может быть связано с другой матричной факторизацией, разложением по сингулярным значениям (SVD) X ,

$\mathbf {X} =\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}$

Здесь Σ — размером n × p прямоугольная диагональная матрица из положительных чисел σ _{( k )} , называемая сингулярными значениями X ; U — n матрица размером × n , столбцы которой представляют собой ортогональные единичные векторы длины n, называемые левыми сингулярными векторами X ; и W — матрица p - x- p , столбцы которой представляют собой ортогональные единичные векторы длины p и называются правыми сингулярными векторами X .

С точки зрения этой факторизации матрица X ^Т Х можно написать

${\begin{aligned}\mathbf {X} ^{T}\mathbf {X} &=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {U} ^{\mathsf {T}}\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\hat {\Sigma }} ^{2}\mathbf {W} ^{\mathsf {T}}\end{aligned}}$

где $\mathbf {\hat {\Sigma }}$ - квадратная диагональная матрица с сингулярными значениями X и отрезанными лишними нулями, удовлетворяющая условию $\mathbf {{\hat {\Sigma }}^{2}} =\mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma }$. Сравнение с факторизацией собственных векторов X ^Т X что правые сингулярные векторы W X устанавливает , эквивалентны собственным векторам X ^Т X сингулярные значения σ _{( k )} , а $\mathbf {X}$ равны квадратному корню из собственных λ _{( k )} X значений ^Т Х. ​

Используя разложение по сингулярным значениям, матрицу оценок T можно записать

${\begin{aligned}\mathbf {T} &=\mathbf {X} \mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \end{aligned}}$

таким образом, каждый столбец T задается одним из левых сингулярных векторов X, умноженным на соответствующее сингулярное значение. Эта форма также является разложением T полярным .

Существуют эффективные алгоритмы для расчета SVD X без необходимости формирования матрицы X. ^Т X , поэтому вычисление SVD теперь является стандартным способом расчета анализа главных компонентов из матрицы данных, если только не требуется всего несколько компонентов.

Как и в случае с собственным разложением, усеченная размера n × L матрица оценок T _L может быть получена путем рассмотрения только первых L крупнейших сингулярных значений и их сингулярных векторов:

$\mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}$

Усечение матрицы M или T с использованием усеченного разложения по сингулярным значениям таким образом дает усеченную матрицу, которая является ближайшей возможной матрицей ранга L к исходной матрице в том смысле, что разница между ними имеет наименьшую возможную норму Фробениуса. , результат, известный как теорема Эккарта – Янга [1936].

Дальнейшие соображения

Сингулярные значения (в Σ ) представляют собой квадратные корни из собственных значений матрицы X ^Т Х. ​Каждое собственное значение пропорционально части «дисперсии» (вернее, суммы квадратов расстояний точек от их многомерного среднего значения), которая связана с каждым собственным вектором. Сумма всех собственных значений равна сумме квадратов расстояний точек от их многомерного среднего значения. PCA по существу вращает набор точек вокруг их среднего значения, чтобы выровнять его с основными компонентами. Это перемещает как можно большую часть дисперсии (с использованием ортогонального преобразования) в первые несколько измерений. Поэтому значения в остальных измерениях имеют тенденцию быть небольшими и могут быть отброшены с минимальной потерей информации (см. ниже ). PCA часто используется таким образом для уменьшения размерности . PCA отличается тем, что является оптимальным ортогональным преобразованием для сохранения подпространства с наибольшей «дисперсией» (как определено выше). Однако это преимущество достигается ценой более высоких вычислительных требований по сравнению, например, и, когда это применимо, с дискретное косинусное преобразование и, в частности, DCT-II, который просто известен как «DCT». Методы нелинейного уменьшения размерности, как правило, требуют больше вычислительных ресурсов, чем PCA.

PCA чувствителен к масштабированию переменных. Если у нас есть только две переменные, и они имеют одинаковую выборочную дисперсию и полностью коррелируют, то PCA повлечет за собой поворот на 45 ° и «веса» (это косинусы вращения) для двух переменных относительно основной компоненты будут равны. Но если мы умножим все значения первой переменной на 100, то первый главный компонент будет почти таким же, как и эта переменная, с небольшим вкладом другой переменной, тогда как второй компонент будет почти совмещен со второй исходной переменной. Это означает, что всякий раз, когда разные переменные имеют разные единицы измерения (например, температура и масса), PCA является несколько произвольным методом анализа. (Другие результаты были бы получены, если бы мы использовали, например, градусы Фаренгейта, а не Цельсия.) Оригинальная статья Пирсона называлась «О линиях и плоскостях, наиболее близких к системам точек в пространстве» - «в пространстве» подразумевает физическое евклидово пространство, где подобные проблемы имеют место. не возникать. Один из способов сделать PCA менее произвольным — использовать переменные, масштабированные так, чтобы иметь единичную дисперсию, путем стандартизации данных и, следовательно, использовать матрицу автокорреляции вместо матрицы автоковариации в качестве основы для PCA. Однако это сжимает (или расширяет) флуктуации во всех измерениях сигнального пространства до единичной дисперсии.

Вычитание среднего значения (также известное как «центрирование среднего») необходимо для выполнения классического PCA, чтобы гарантировать, что первый главный компонент описывает направление максимальной дисперсии. Если вычитание среднего значения не выполняется, вместо этого первый главный компонент может более или менее соответствовать среднему значению данных. Среднее значение нуля необходимо для нахождения базиса, который минимизирует среднеквадратическую ошибку аппроксимации данных.

Центрирование среднего значения не требуется при выполнении анализа главных компонентов корреляционной матрицы, поскольку данные уже центрированы после расчета корреляций. Корреляции получаются из перекрестного произведения двух стандартных оценок (Z-показателей) или статистических моментов (отсюда и название: корреляция продукта-момента Пирсона ). См. также статью Кромри и Фостера-Джонсона (1998) «Центрирование по среднему в умеренной регрессии: много шума из ничего» . Поскольку ковариации представляют собой корреляции нормализованных переменных ( Z- или стандартных показателей основанный на корреляционной матрице X PCA , равен , основанному на ковариационной матрице Z , стандартизированной версии X. ), PCA ,

PCA — популярный основной метод распознавания образов . Однако он не оптимизирован для разделения классов. Однако он использовался для количественной оценки расстояния между двумя или более классами путем расчета центра масс для каждого класса в пространстве главных компонентов и определения евклидова расстояния между центрами масс двух или более классов. Линейный дискриминантный анализ является альтернативой, оптимизированной для разделения классов.

Таблица символов и сокращений

Символ	Значение	Размеры	Индексы
$\mathbf {X} =[X_{ij}]$	матрица данных, состоящая из набора всех векторов данных, по одному вектору в строке	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$n$	количество векторов-строок в наборе данных	$1\times 1$	скаляр
$p$	количество элементов в каждом векторе-строке (размерности)	$1\times 1$	скаляр
$L$	количество измерений в размерно уменьшенном подпространстве, $1\leq L\leq p$	$1\times 1$	скаляр
$\mathbf {u} =[u_{j}]$	вектор эмпирических средних , одно среднее значение для каждого столбца j матрицы данных	$p\times 1$	$j=1\ldots p$
$\mathbf {s} =[s_{j}]$	вектор эмпирических стандартных отклонений , одно стандартное отклонение для каждого столбца j матрицы данных	$p\times 1$	$j=1\ldots p$
$\mathbf {h} =[h_{i}]$	вектор всех единиц	$1\times n$	$i=1\ldots n$
$\mathbf {B} =[B_{ij}]$	отклонения от среднего значения каждого столбца j матрицы данных	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$\mathbf {Z} =[Z_{ij}]$	z-показатели , рассчитанные с использованием среднего значения и стандартного отклонения для каждого столбца j матрицы данных.	$n\times p$	$i=1\ldots n$ $j=1\ldots p$
$\mathbf {C} =[C_{jj'}]$	ковариационная матрица	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {R} =[R_{jj'}]$	корреляционная матрица	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {V} =[V_{jj'}]$	состоящая из набора всех собственных векторов C матрица , , по одному собственному вектору на столбец	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {D} =[D_{jj'}]$	диагональная матрица, состоящая из набора всех собственных значений матрицы C вдоль ее главной диагонали и 0 для всех остальных элементов (примечание $\mathbf {\Lambda }$ использовал выше)	$p\times p$	$j=1\ldots p$ $j'=1\ldots p$
$\mathbf {W} =[W_{jl}]$	матрица базисных векторов, по одному вектору на столбец, где каждый базисный вектор является одним из собственных векторов C и где векторы в W являются подмножеством векторов в V	$p\times L$	$j=1\ldots p$ $l=1\ldots L$
$\mathbf {T} =[T_{il}]$	матрица, состоящая из n векторов-строк, где каждый вектор является проекцией соответствующего вектора данных из матрицы X содержащиеся в столбцах матрицы W. на базисные векторы ,	$n\times L$	$i=1\ldots n$ $l=1\ldots L$

Свойства и ограничения

Характеристики

Некоторые свойства PCA включают в себя:

Свойство 1 : для любого целого числа q , 1 ≤ q ≤ p , рассмотрим ортогональное линейное преобразование

$y=\mathbf {B'} x$

где $y$ является вектором q-элемента и $\mathbf {B'}$ — матрица ( q × p ), и пусть $\mathbf {\Sigma } _{y}=\mathbf {B'} \mathbf {\Sigma } \mathbf {B}$ быть дисперсионно - ковариационной матрицей для $y$. Тогда след $\mathbf {\Sigma } _{y}$, обозначенный $\operatorname {tr} (\mathbf {\Sigma } _{y})$, максимизируется, если принять $\mathbf {B} =\mathbf {A} _{q}$, где $\mathbf {A} _{q}$ состоит из первых q столбцов $\mathbf {A}$ $(\mathbf {B'}$ это транспонирование $\mathbf {B} )$. ( $\mathbf {A}$ здесь не определено)

Свойство 2 : снова рассмотрим ортонормированное преобразование

$y=\mathbf {B'} x$

с $x,\mathbf {B} ,\mathbf {A}$ и $\mathbf {\Sigma } _{y}$ определяется, как и раньше. Затем $\operatorname {tr} (\mathbf {\Sigma } _{y})$ минимизируется за счет принятия $\mathbf {B} =\mathbf {A} _{q}^{*},$ где $\mathbf {A} _{q}^{*}$ состоит из последних q столбцов $\mathbf {A}$.

Статистический смысл этого свойства заключается в том, что последние несколько ПК не являются просто неструктурированными остатками после удаления важных ПК. Поскольку эти последние ПК имеют дисперсию как можно меньше, они полезны сами по себе. Они могут помочь обнаружить неожиданные почти постоянные линейные связи между элементами x , а также могут быть полезны в регрессии , при выборе подмножества переменных из x и при обнаружении выбросов.

Свойство 3 : (Спектральное разложение Σ )

$\mathbf {\Sigma } =\lambda _{1}\alpha _{1}\alpha _{1}'+\cdots +\lambda _{p}\alpha _{p}\alpha _{p}'$

Прежде чем мы рассмотрим его использование, мы сначала рассмотрим диагональные элементы,

$\operatorname {Var} (x_{j})=\sum _{k=1}^{P}\lambda _{k}\alpha _{kj}^{2}$

Тогда, возможно, основным статистическим следствием результата является то, что мы не только можем разложить объединенные дисперсии всех элементов x на уменьшающиеся вклады каждого PC, но мы также можем разложить всю ковариационную матрицу на вклады. $\lambda _{k}\alpha _{k}\alpha _{k}'$ с каждого ПК. Хотя и не уменьшающиеся строго, элементы $\lambda _{k}\alpha _{k}\alpha _{k}'$ будет иметь тенденцию уменьшаться по мере $k$ увеличивается, так как $\lambda _{k}\alpha _{k}\alpha _{k}'$ не увеличивается при увеличении $k$, тогда как элементы $\alpha _{k}$ имеют тенденцию оставаться примерно одного и того же размера из-за ограничений нормализации: $\alpha _{k}'\alpha _{k}=1,k=1,\dots ,p$.

Ограничения

Как отмечалось выше, результаты PCA зависят от масштабирования переменных. Это можно исправить, масштабируя каждый признак по его стандартному отклонению, так что в итоге мы получаем безразмерные признаки с единичной дисперсией.

Применимость PCA, как описано выше, ограничена определенными (молчаливыми) предположениями. сделанный в его выводе. В частности, PCA может фиксировать линейные корреляции между объектами, но терпит неудачу, когда это предположение нарушается (см. Рисунок 6a в ссылке). В некоторых случаях преобразования координат могут восстановить предположение о линейности и затем применить PCA (см. ядро ​​PCA ).

Еще одним ограничением является процесс удаления среднего значения перед построением ковариационной матрицы для PCA. В таких областях, как астрономия, все сигналы неотрицательны, и процесс удаления среднего значения приводит к тому, что среднее значение некоторых астрофизических воздействий становится равным нулю, что, следовательно, создает нефизические отрицательные потоки. и необходимо выполнить прямое моделирование, чтобы восстановить истинную величину сигналов. В качестве альтернативного метода можно использовать факторизацию неотрицательных матриц , фокусирующуюся только на неотрицательных элементах матриц, что хорошо подходит для астрофизических наблюдений. Дополнительную информацию см. в разделе «Связь между PCA и факторизацией неотрицательной матрицы» .

PCA находится в невыгодном положении, если данные не были стандартизированы перед применением к ним алгоритма. PCA преобразует исходные данные в данные, соответствующие основным компонентам этих данных, а это означает, что новые переменные данных не могут интерпретироваться так же, как исходные. Они представляют собой линейную интерпретацию исходных переменных. Также при неправильном выполнении PCA существует высокая вероятность потери информации.

PCA опирается на линейную модель. Если в наборе данных скрыта нелинейная закономерность, то PCA фактически может направить анализ в совершенно противоположном направлении прогресса. Исследователи из Университета штата Канзас обнаружили, что ошибка выборки в их экспериментах повлияла на погрешность результатов PCA. «Если количество субъектов или блоков меньше 30 и/или исследователя интересуют ПК, выходящие за пределы первого, возможно, лучше сначала внести поправку на серийную корреляцию, прежде чем проводить PCA». Исследователи из штата Канзас также обнаружили, что PCA может быть «серьезно необъективным, если неправильно обрабатывать автокорреляционную структуру данных».

PCA и теория информации

Уменьшение размерности в целом приводит к потере информации. Снижение размерности на основе PCA имеет тенденцию минимизировать потерю информации при определенных моделях сигнала и шума.

В предположении, что

$\mathbf {x} =\mathbf {s} +\mathbf {n} ,$

то есть вектор данных $\mathbf {x}$ представляет собой сумму полезного информационного сигнала $\mathbf {s}$ и шумовой сигнал $\mathbf {n}$ можно показать, что PCA может быть оптимальным для уменьшения размерности с точки зрения теории информации.

В частности, Линскер показал, что если $\mathbf {s}$ является гауссовским и $\mathbf {n}$ представляет собой гауссов шум с ковариационной матрицей, пропорциональной единичной матрице, PCA максимизирует взаимную информацию $I(\mathbf {y} ;\mathbf {s} )$ между желаемой информацией $\mathbf {s}$ и выход с уменьшенной размерностью $\mathbf {y} =\mathbf {W} _{L}^{T}\mathbf {x}$.

Если шум по-прежнему гауссовский и имеет ковариационную матрицу, пропорциональную единичной матрице (т. е. компоненты вектора $\mathbf {n}$ являются iid ), но информационный сигнал $\mathbf {s}$ не является гауссовским (что является распространенным сценарием), PCA по крайней мере минимизирует верхнюю границу потери информации , которая определяется как

$I(\mathbf {x} ;\mathbf {s} )-I(\mathbf {y} ;\mathbf {s} ).$

Оптимальность РСА сохраняется и при условии, что шум $\mathbf {n}$ является иидным и, по крайней мере, более гауссовым (с точки зрения расхождения Кульбака – Лейблера ), чем информационный сигнал $\mathbf {s}$. В общем, даже если описанная выше модель сигнала верна, PCA теряет свою теоретико-информационную оптимальность, как только шум $\mathbf {n}$ становится зависимым.

Расчет с использованием ковариационного метода

Ниже приводится подробное описание PCA с использованием ковариационного метода. в отличие от корреляционного метода.

Цель состоит в том, чтобы преобразовать данный набор данных размерности p в альтернативный набор данных Y меньшего размера L. X Эквивалентно, мы ищем матрицу Y , где Y — преобразование Карунена-Лоэва (KLT) матрицы X :

$$\mathbf {Y} =\mathbb {KLT} \{\mathbf {X} \}$$

1. Организуйте набор данных

   Предположим, у вас есть данные, содержащие набор наблюдений за p переменными, и вы хотите сократить данные так, чтобы каждое наблюдение можно было описать только с помощью L переменных, L < p . Предположим далее, что данные организованы как набор из n векторов данных. $\mathbf {x} _{1}\ldots \mathbf {x} _{n}$ с каждым $\mathbf {x} _{i}$ представляющее одно сгруппированное наблюдение за p- переменными.

   • Писать $\mathbf {x} _{1}\ldots \mathbf {x} _{n}$ как векторы-строки, каждый из которых содержит p элементов.
   • Поместите векторы-строки в одну матрицу X размерностей n × p .
2. Рассчитайте эмпирическое среднее значение
   • Найдите эмпирическое среднее значение по каждому столбцу j = 1,..., p .
   • Поместите рассчитанные средние значения в эмпирический средний вектор u размеров p × 1. $$u_{j}={\frac {1}{n}}\sum _{i=1}^{n}X_{ij}$$
3. Рассчитаем отклонения от среднего значения

   Вычитание среднего значения является неотъемлемой частью решения по поиску базиса главных компонент, который минимизирует среднеквадратическую ошибку аппроксимации данных. Следовательно, мы продолжим центрирование данных следующим образом:

   • Вычтите эмпирический средний вектор $\mathbf {u} ^{T}$ из каждой строки матрицы данных X .
   • Сохраните данные с вычтенным средним значением в n × p матрице B . $$\mathbf {B} =\mathbf {X} -\mathbf {h} \mathbf {u} ^{T}$$ где h — вектор-столбец размера n × 1, состоящий из всех единиц: $$h_{i}=1\,\qquad \qquad {\text{for }}i=1,\ldots ,n$$

   В некоторых приложениях каждая переменная (столбец B ) также может быть масштабирована так, чтобы иметь дисперсию, равную 1 (см. Z-показатель ). Этот шаг влияет на рассчитанные главные компоненты, но делает их независимыми от единиц, используемых для измерения различных переменных.

4. Найдите ковариационную матрицу
   • Найдите размера p × p эмпирическую ковариационную матрицу C из матрицы B : $$\mathbf {C} ={1 \over {n-1}}\mathbf {B} ^{*}\mathbf {B}$$ где $*$ — оператор сопряженного транспонирования . Если B полностью состоит из действительных чисел, что имеет место во многих приложениях, «сопряженное транспонирование» совпадает с обычным транспонированием .
   • Причиной использования n - 1 вместо n для расчета ковариации является поправка Бесселя .
5. Найдите собственные векторы и собственные значения ковариационной матрицы.
   • Вычислите матрицу V собственных векторов , которая диагонализует ковариационную матрицу C : $$\mathbf {V} ^{-1}\mathbf {C} \mathbf {V} =\mathbf {D}$$ где D — диагональная собственных значений C матрица . Этот шаг обычно включает использование компьютерного алгоритма для вычисления собственных векторов и собственных значений . Эти алгоритмы легко доступны как подкомпоненты большинства систем матричной алгебры , таких как SAS , Р , МАТЛАБ , Математика , SciPy , IDL ( интерактивный язык данных ) или GNU Octave , а также OpenCV .
   • Матрица D примет вид диагональной матрицы размера p × p , где $$D_{k\ell }=\lambda _{k}\qquad {\text{for }}k=\ell$$ — j - е собственное значение ковариационной матрицы C , и $$D_{k\ell }=0\qquad {\text{for }}k\neq \ell .$$
   • Матрица V , также размерности p × p , содержит p вектор-столбцов, каждый из которых имеет длину p , которые представляют p собственных векторов ковариационной C. матрицы
   • Собственные значения и собственные векторы упорядочены и спарены. j - е собственное значение соответствует j -му собственному вектору.
   • Матрица V обозначает матрицу правых собственных векторов (в отличие от левых собственных векторов). В общем, матрица правых собственных векторов не обязательно должна быть (сопряженной) транспозицией матрицы левых собственных векторов.
6. Переставьте собственные векторы и собственные значения.
   • Отсортируйте столбцы матрицы собственных векторов V и матрицы собственных значений D в порядке убывания собственного значения.
   • Обязательно соблюдайте правильные пары между столбцами в каждой матрице.
7. Вычислите совокупное содержание энергии для каждого собственного вектора
   • Собственные значения представляют собой распределение энергии исходных данных. среди каждого из собственных векторов, где собственные векторы образуют основу для данных. Совокупное содержание энергии g для j -го собственного вектора представляет собой сумму содержания энергии по всем собственным значениям от 1 до j : $$g_{j}=\sum _{k=1}^{j}D_{kk}\qquad {\text{for }}j=1,\dots ,p$$
8. Выберите подмножество собственных векторов в качестве базисных векторов.
   • Сохраните первые L столбцов V как p × L матрицу W размера : $$W_{kl}=V_{k\ell }\qquad {\text{for }}k=1,\dots ,p\qquad \ell =1,\dots ,L$$ где $$1\leq L\leq p.$$
   • Используйте вектор g в качестве руководства при выборе подходящего значения для L . Цель состоит в том, чтобы выбрать как можно меньшее значение L , при этом достигая достаточно высокого значения g в процентном отношении. Например, вы можете выбрать L , чтобы совокупная энергия g превышала определенный порог, например 90 процентов. В этом случае выберите наименьшее значение L такое, что $${\frac {g_{L}}{g_{p}}}\geq 0.9$$
9. Спроецируйте данные на новую основу
   • Проецируемые точки данных представляют собой строки матрицы. $$\mathbf {T} =\mathbf {B} \cdot \mathbf {W}$$
   То есть первый столбец $\mathbf {T}$ — это проекция точек данных на первый главный компонент, второй столбец — это проекция на второй главный компонент и т. д.

Вывод с использованием ковариационного метода

Пусть X — d -мерный случайный вектор, выраженный в виде вектора-столбца. Без ограничения общности предположим, что X имеет нулевое среднее значение.

Мы хотим найти $(\ast )$ матрица d × d ортонормированного преобразования P , так что PX имеет диагональную ковариационную матрицу (т. е. PX представляет собой случайный вектор, все его отдельные компоненты попарно некоррелированы).

Быстрое вычисление, предполагающее $P$ были унитарные доходности:

${\begin{aligned}\operatorname {cov} (PX)&=\operatorname {E} [PX~(PX)^{*}]\\&=\operatorname {E} [PX~X^{*}P^{*}]\\&=P\operatorname {E} [XX^{*}]P^{*}\\&=P\operatorname {cov} (X)P^{-1}\\\end{aligned}}$

Следовательно $(\ast )$ имеет место тогда и только тогда, когда $\operatorname {cov} (X)$ были диагонализуемы $P$.

Это очень конструктивно, поскольку cov( X ) гарантированно будет неотрицательно определенной матрицей и, таким образом, гарантированно будет диагонализируемой некоторой унитарной матрицей.

Вычисление без ковариаций

В практических реализациях, особенно с данными большой размерности (большие p ), метод наивной ковариации используется редко, поскольку он неэффективен из-за высоких затрат вычислений и памяти на явное определение ковариационной матрицы. Ковариационный подход позволяет избежать np ² операции явного вычисления и хранения ковариационной матрицы X ^Т X , вместо этого используя один из безматричных методов , например, на основе функции, оценивающей продукт X ^Т (X r) ценой 2 np операций.

Итеративные вычисления

Один из способов эффективного вычисления первого главного компонента показано в следующем псевдокоде для матрицы данных X с нулевым средним значением без вычисления ее ковариационной матрицы.

r = a random vector of length p
r = r / norm(r)
do c times:
      s = 0 (a vector of length p)
      for each row x in X
            s = s + (x ⋅ r) x
      λ = rTs // λ is the eigenvalue
      error = |λ ⋅ r − s|
      r = s / norm(s)
      exit if error < tolerance
return λ, r

Этот алгоритм итерации мощности просто вычисляет вектор X ^Т (X r) нормализует и помещает результат обратно в r . Собственное значение аппроксимируется r ^Т (Х ^Т X) r , который является фактором Рэлея на единичном векторе r для ковариационной матрицы X ^Т Х. ​Если наибольшее сингулярное значение хорошо отделено от следующего по величине, вектор r приближается к первому главному компоненту X за количество итераций c , которое мало по сравнению с p , с общей стоимостью 2cnp . Сходимость степенных итераций можно ускорить, не жертвуя заметно небольшими затратами на итерацию, используя более совершенные безматричные методы , такие как алгоритм Ланцоша или метод локально оптимального блочного предварительно обусловленного сопряженного градиента ( LOBPCG ).

Последующие главные компоненты могут рассчитываться один за другим путем дефлятирования или одновременно блоком. В первом подходе неточности в уже вычисленных приближенных главных компонентах аддитивно влияют на точность вычисленных впоследствии главных компонент, тем самым увеличивая ошибку с каждым новым вычислением. Последний подход в блочном степенном методе заменяет одиночные векторы r и s блочными векторами, R и S. матрицами Каждый столбец R аппроксимирует один из ведущих главных компонентов, при этом все столбцы повторяются одновременно. Основной расчет – оценка продукта X ^Т (ХР) . Реализованная, например, в LOBPCG , эффективная блокировка устраняет накопление ошибок, позволяет использовать высокоуровневые матрично-матричные функции произведения BLAS и обычно приводит к более быстрой сходимости по сравнению с одновекторным методом «один за другим».

Метод НИПАЛС

Нелинейный итерационный метод частичных наименьших квадратов (NIPALS) — это вариант классической степенной итерации с дефляцией матрицы путем вычитания, реализованный для вычисления первых нескольких компонентов в анализе главных компонентов или частичных наименьших квадратов . Для наборов данных очень большой размерности, например, созданных в области *омики (например, геномики , метаболомики ), обычно необходимо вычислить только первые несколько компьютеров. Нелинейный итеративный алгоритм частичных наименьших квадратов (NIPALS) обновляет итеративные аппроксимации ведущих оценок и нагрузок t ₁ и r ₁ ^Т путем умножения степенной итерации на каждой итерации на X слева и справа, то есть избегается вычисление ковариационной матрицы, так же, как и при безматричной реализации степенных итераций до X ^Т X , на основе функции оценки продукта X ^Т (Х г) = ((Х г) ^Т Х) ^Т .

Матричное дефлятирование вычитанием выполняется путем вычитания внешнего произведения t ₁ r ₁ ^Т от X остается сдутая остаточная матрица, используемая для расчета последующих ведущих ПК. Для больших матриц данных или матриц с высокой степенью коллинеарности столбцов NIPALS страдает от потери ортогональности ПК из- за ошибок машинного округления, накапливающихся на каждой итерации, и дефляции матрицы путем вычитания. ортогональности . Алгоритм реортогонализации Грама – Шмидта применяется как к оценкам, так и к нагрузкам на каждом шаге итерации, чтобы устранить эту потерю Зависимость NIPALS от одновекторных умножений не позволяет использовать преимущества BLAS высокого уровня и приводит к медленной сходимости для кластеризованных ведущих сингулярных значений - оба этих недостатка устраняются в более сложных безматрицных решателях блоков, таких как локально оптимальный блочный предварительно обусловленный сопряженный градиент ( LOBPCG ) метод.

Онлайн/последовательная оценка

В «онлайновой» или «потоковой» ситуации, когда данные поступают по частям, а не хранятся в одном пакете, полезно сделать оценку прогноза PCA, который может обновляться последовательно. Это можно сделать эффективно, но требуются другие алгоритмы.

Качественные переменные

В PCA обычно мы хотим ввести качественные переменные в качестве дополнительных элементов. Например, многие количественные переменные были измерены на растениях. Для этих растений доступны некоторые качественные переменные, например, вид, к которому принадлежит растение. Эти данные были подвергнуты PCA для количественных переменных. При анализе результатов естественно связать главные компоненты с качественными переменными видами . Для этого получаются следующие результаты.

• Идентификация на факториальных плоскостях разных видов, например, с использованием разных цветов.
• Представление на факториальных плоскостях центров тяжести растений одного вида.
• Для каждого центра тяжести и каждой оси значение p позволяет оценить значимость разницы между центром тяжести и началом координат.

Эти результаты представляют собой то, что называется введением качественной переменной в качестве дополнительного элемента . Эта процедура подробно описана в Husson, Lê & Pages 2009 и Pages 2013. Немногие программы предлагают эту опцию «автоматически». Так обстоит дело со SPAD, который исторически, следуя за работами Людовика Лебарта , первым предложил этот вариант, и с пакетом R FactoMineR .

Приложения

Интеллект

Самое раннее применение факторного анализа заключалось в обнаружении и измерении компонентов человеческого интеллекта. Считалось, что интеллект имеет различные некоррелированные компоненты, такие как пространственный интеллект, вербальный интеллект, индукция, дедукция и т. д., и что оценки по ним можно получить с помощью факторного анализа результатов различных тестов, чтобы получить единый индекс, известный как коэффициент интеллекта (IQ). ). Психолог-новатор Спирмен фактически разработал факторный анализ в 1904 году для своей двухфакторной теории интеллекта, добавив формальный метод к науке психометрии . В 1924 году Терстоун выявил 56 факторов интеллекта, разработав понятие умственного возраста. Сегодняшние стандартные тесты IQ основаны на этой ранней работе.

Жилая дифференциация

В 1949 году Шевки и Уильямс представили теорию факторной экологии , которая доминировала в исследованиях жилищной дифференциации с 1950-х по 1970-е годы. Районы в городе были узнаваемы или отличались друг от друга по различным характеристикам, которые с помощью факторного анализа можно было свести к трем. Они были известны как «социальный ранг» (индекс профессионального статуса), «семейство» или размер семьи и «этническая принадлежность»; Затем можно применить кластерный анализ для разделения города на кластеры или районы в соответствии со значениями трех ключевых факторных переменных. По факториальной экологии в городской географии сложилась обширная литература, но этот подход вышел из моды после 1980 года как методологически примитивный и имеющий мало места в постмодернистских географических парадигмах.

Одной из проблем факторного анализа всегда был поиск убедительных названий различных искусственных факторов. В 2000 году Флуд возродил подход факторной экологии, чтобы показать, что анализ главных компонентов фактически дает значимые ответы напрямую, не прибегая к ротации факторов. Основными компонентами на самом деле были двойные переменные или теневые цены «сил», сталкивающих людей вместе или друг от друга в городах. Первым компонентом была «доступность», классический компромисс между спросом на путешествия и спросом на пространство, на котором базируется классическая городская экономика. Следующими двумя компонентами были «недостаток», который удерживает людей с одинаковым статусом в отдельных кварталах (опосредованно планированием), и этническая принадлежность, где люди схожего этнического происхождения пытаются жить вместе.

Примерно в то же время Австралийское статистическое бюро определило отдельные индексы преимуществ и недостатков, взяв первый главный компонент наборов ключевых переменных, которые считались важными. Эти индексы SEIFA регулярно публикуются для различных юрисдикций и часто используются в пространственном анализе.

Индексы развития

PCA был единственным формальным методом, доступным для разработки индексов, которые в противном случае представляли бы собой случайную задачу .

Индекс развития города был разработан PCA на основе примерно 200 показателей состояния городов в ходе исследования 1996 года, проведенного в 254 городах мира. Первый главный компонент подвергался итеративной регрессии с добавлением исходных переменных по отдельности до тех пор, пока не было учтено около 90% его вариаций. В конечном итоге в индексе использовалось около 15 индикаторов, но он был хорошим предсказателем многих других переменных. Его сравнительная ценность очень хорошо согласовывалась с субъективной оценкой состояния каждого города. Коэффициенты по объектам инфраструктуры были примерно пропорциональны средним затратам на предоставление основных услуг, что позволяет предположить, что Индекс на самом деле является мерой эффективных физических и социальных инвестиций в город.

на уровне страны Индекс человеческого развития (ИЧР) , разработанный ПРООН , который публикуется с 1990 года и очень широко используется в исследованиях развития. имеет очень похожие коэффициенты по схожим показателям, что позволяет предположить, что изначально он был построен с использованием PCA.

Популяционная генетика

В 1978 году Кавалли-Сфорца и другие впервые применили анализ главных компонентов (PCA) для обобщения данных о вариациях частот человеческих генов в разных регионах. Компоненты демонстрировали характерные закономерности, включая градиенты и синусоидальные волны. Они интерпретировали эти закономерности как результат конкретных древних миграционных событий.

С тех пор PCA повсеместно используется в популяционной генетике: тысячи статей используют PCA в качестве механизма отображения. Генетика во многом зависит от близости, поэтому первые два основных компонента фактически отражают пространственное распределение и могут использоваться для картирования относительного географического положения различных групп населения, тем самым показывая людей, которые покинули свое первоначальное местонахождение.

PCA в генетике был технически спорным, поскольку этот метод применялся к дискретным ненормальным переменным и часто к бинарным аллельным маркерам. Отсутствие каких-либо мер стандартной ошибки в PCA также является препятствием для более последовательного использования. В августе 2022 года молекулярный биолог Эран Эльхайк теоретическую статью, опубликовал в журнале Scientific Reports в которой анализируется 12 применений PCA. Он пришел к выводу, что этим методом легко манипулировать, что, по его мнению, приводит к «ошибочным, противоречивым и абсурдным» результатам. В частности, утверждал он, результаты, достигнутые в популяционной генетике, характеризуются избирательностью и круговым рассуждением .

Исследования рынка и индексы отношения

Исследования рынка активно используют PCA. Он используется для определения показателей удовлетворенности или лояльности клиентов для продуктов, а вместе с кластеризацией — для разработки сегментов рынка, на которые можно ориентироваться с помощью рекламных кампаний, во многом так же, как факторная экология позволяет определять географические области со схожими характеристиками.

PCA быстро преобразует большие объемы данных в более мелкие и простые для понимания переменные, которые можно быстрее и проще анализировать. В любом потребительском опроснике есть ряд вопросов, призванных выявить потребительское отношение, а основные компоненты выявляют скрытые переменные, лежащие в основе этого отношения. Например, в ходе Оксфордского интернет-опроса в 2013 году 2000 человек опросили об их взглядах и убеждениях, и из этих опросов аналитики выделили четыре основных компонента, которые они определили как «побег», «социальные сети», «эффективность» и «создание проблем». .

Другой пример, приведенный Джо Флудом в 2008 году, позволил получить индекс отношения к жилью из 28 вопросов об отношении в национальном опросе 2697 домохозяйств в Австралии. Первый главный компонент представлял собой общее отношение к собственности и домовладению. Индекс или вопросы отношения, которые он воплощает, могут быть включены в общую линейную модель выбора владения. Самым сильным фактором, определяющим частную аренду, безусловно, был индекс отношения, а не доход, семейное положение или тип домохозяйства.

Количественные финансы

В количественных финансах используется PCA. в управлении финансовыми рисками и применялся к другим проблемам, таким как оптимизация портфеля .

PCA обычно используется в задачах, связанных с с фиксированным доходом ценными бумагами и портфелями , а также процентными деривативами . Оценки здесь зависят от всей кривой доходности , состоящей из множества сильно коррелированных инструментов, а PCA используется для определения набора компонентов или факторов, которые объясняют движения ставок. тем самым облегчая моделирование. Одним из распространенных применений управления рисками является расчет стоимости риска , VaR, с применением PCA к моделированию Монте-Карло . Здесь для каждой выборки моделирования компоненты подвергаются стрессу, а ставки и, в свою очередь, значения вариантов затем восстанавливаются ; и, наконец, VaR рассчитывается на протяжении всего периода. PCA также используется для хеджирования процентного риска , учитывая неполную дюрацию и другие чувствительные факторы. В обоих случаях интерес обычно представляют первые три основных компонента системы ( представляющие «сдвиг», «поворот» и «искривление»). Эти основные компоненты получаются в результате собственного разложения ковариационной матрицы доходности ; при заранее определенных сроках погашения и где дисперсия каждого компонента является его собственным значением (а поскольку компоненты ортогональны , в последующем моделировании не требуется учитывать корреляцию).

Для акций оптимальным портфелем является портфель, в котором ожидаемая доходность максимизируется при заданном уровне риска или, альтернативно, где риск минимизируется при заданном доходе; см. обсуждение модели Марковица . Таким образом, один из подходов заключается в снижении портфельного риска, когда стратегии распределения применяются к «основным портфелям», а не к базовым акциям . Второй подход заключается в повышении доходности портфеля путем использования основных компонентов для выбора акций компаний с потенциалом роста. PCA также использовался для понимания отношений между международными рынками акций и внутри рынков между группами компаний в отраслях или секторах .

PCA также может применяться для стресс-тестирования . по сути, это анализ способности банка выдержать гипотетический неблагоприятный экономический сценарий . Его полезность заключается в «преобразовании информации, содержащейся в [нескольких] макроэкономических переменных , в более управляемый набор данных, который затем можно [использовать] для анализа». фактора Здесь результирующие факторы связаны, например, с процентными ставками – на основе крупнейших элементов собственного вектора – и затем наблюдается, как «шок» каждого из факторов влияет на подразумеваемые активы каждого из банков.

Нейронаука

Вариант анализа главных компонентов используется в нейробиологии для выявления специфических свойств стимула, повышающих потенциала вероятность генерации нейроном действия . Этот метод известен как ковариационный анализ, запускаемый пиками . В типичном приложении экспериментатор представляет процесс белого шума в качестве стимула (обычно либо как сенсорный входной сигнал для испытуемого, либо как ток, подаваемый непосредственно в нейрон) и записывает последовательность потенциалов действия или импульсов, создаваемых испытуемым. в результате нейрон. Предположительно, определенные особенности стимула повышают вероятность возникновения импульса у нейрона. Чтобы извлечь эти особенности, экспериментатор вычисляет ковариационную матрицу ансамбля , инициированного спайком , набора всех стимулов (определенных и дискретизированных в течение конечного временного окна, обычно порядка 100 мс), которые непосредственно предшествовали спайку. Собственные векторы разности между ковариационной матрицей, инициированной спайком, и ковариационной матрицей предшествующего ансамбля стимулов (набор всех стимулов, определенных в течение одного и того же временного окна) затем указывают направления в пространстве стимулов , вдоль которых дисперсия ансамбль, запускаемый спайком, больше всего отличался от ансамбля предшествующего стимула. В частности, собственные векторы с наибольшими положительными собственными значениями соответствуют направлениям, вдоль которых дисперсия ансамбля, запускаемого шипами, показала наибольшее положительное изменение по сравнению с дисперсией предыдущего. Поскольку это были направления, в которых изменение стимула приводило к всплеску, они часто являются хорошим приближением к искомым соответствующим характеристикам стимула.

В нейробиологии PCA также используется для определения личности нейрона по форме его потенциала действия. Сортировка спайков — важная процедура, поскольку методы внеклеточной регистрации часто улавливают сигналы от более чем одного нейрона. При сортировке спайков сначала используется PCA, чтобы уменьшить размерность пространства форм сигналов потенциала действия, а затем выполняется кластерный анализ, чтобы связать конкретные потенциалы действия с отдельными нейронами.

PCA как метод уменьшения размерности особенно подходит для обнаружения скоординированной деятельности больших ансамблей нейронов. Он использовался для определения коллективных переменных, то есть параметров порядка , во время фазовых переходов в мозге.

Связь с другими методами

Анализ корреспонденции

Анализ соответствия (СА) был разработан Жан-Полем Бензекри. и концептуально похож на PCA, но масштабирует данные (которые должны быть неотрицательными), чтобы строки и столбцы обрабатывались одинаково. Традиционно он применяется к таблицам непредвиденных обстоятельств . CA разлагает статистику хи-квадрат, связанную с этой таблицей, на ортогональные факторы. Поскольку CA является описательным методом, его можно применять к таблицам, для которых статистика хи-квадрат подходит или нет. Доступно несколько вариантов CA, включая анализ соответствия без тренда и анализ канонического соответствия . Одним из специальных расширений является анализ множественных соответствий , который можно рассматривать как аналог анализа главных компонентов для категориальных данных.

Факторный анализ

На рисунке выше показан пример разницы между PCA и факторным анализом. На верхней диаграмме «фактор» (например, карьерный рост) представляет собой три наблюдаемые переменные (например, врач, юрист, учитель), тогда как на нижней диаграмме наблюдаемые переменные (например, учитель дошкольного образования, учитель средней школы, учитель средней школы) учитель) сводятся к компоненту интереса (например, учитель).

Анализ главных компонентов создает переменные, которые являются линейными комбинациями исходных переменных. Новые переменные обладают тем свойством, что все переменные ортогональны. Преобразование PCA может быть полезно в качестве этапа предварительной обработки перед кластеризацией. PCA — это подход, ориентированный на дисперсию, направленный на воспроизведение общей дисперсии переменной, в котором компоненты отражают как общую, так и уникальную дисперсию переменной. PCA обычно предпочтительнее для целей сокращения данных (то есть перевода пространства переменных в оптимальное пространство факторов), но не тогда, когда целью является обнаружение скрытой конструкции или факторов.

Факторный анализ аналогичен анализу главных компонентов, поскольку факторный анализ также включает в себя линейные комбинации переменных. В отличие от PCA, факторный анализ представляет собой подход, ориентированный на корреляцию, стремящийся воспроизвести взаимные корреляции между переменными, в котором факторы «представляют собой общую дисперсию переменных, исключая уникальную дисперсию». С точки зрения корреляционной матрицы это соответствует объяснению недиагональных терминов (то есть общей ковариации), тогда как PCA фокусируется на объяснении терминов, расположенных по диагонали. Однако в качестве побочного результата при попытке воспроизвести диагональные члены PCA также имеет тенденцию относительно хорошо соответствовать недиагональным корреляциям. Результаты, полученные с помощью PCA и факторного анализа, в большинстве ситуаций очень похожи, но это не всегда так, и есть некоторые проблемы, в которых результаты существенно различаются. Факторный анализ обычно используется, когда целью исследования является обнаружение структуры данных (то есть скрытых конструкций или факторов) или причинно-следственное моделирование . Если факторная модель сформулирована неправильно или предположения не выполняются, то факторный анализ даст ошибочные результаты.

K - означает кластеризацию

Утверждалось, что расслабленное решение k кластеризации -средних , заданное индикаторами кластера, задается главными компонентами, а подпространство PCA, охватываемое основными направлениями, идентично подпространству центроида кластера. Однако тот факт, что PCA является полезным ослаблением кластеризации k -средних, не был новым результатом. и легко найти контрпримеры к утверждению, что подпространство центроида кластера натянуто на главные направления.

Неотрицательная матричная факторизация

Графики дробной остаточной дисперсии (FRV) для PCA и NMF; для PCA теоретические значения представляют собой вклад остаточных собственных значений. Для сравнения, кривые FRV для PCA достигают плоского плато, на котором сигнал не улавливается эффективно; в то время как кривые NMF FRV постоянно снижаются, что указывает на лучшую способность улавливать сигнал. Кривые FRV для NMF также сходятся к более высоким уровням, чем для PCA, что указывает на меньшую переобучение свойства NMF.

Неотрицательная матричная факторизация (NMF) - это метод уменьшения размерности, при котором в матрицах используются только неотрицательные элементы, что, следовательно, является многообещающим методом в астрономии. в том смысле, что астрофизические сигналы неотрицательны. Компоненты PCA ортогональны друг другу, тогда как все компоненты NMF неотрицательны и, следовательно, создают неортогональный базис.

В PCA вклад каждого компонента ранжируется на основе величины его соответствующего собственного значения, которое эквивалентно дробной остаточной дисперсии (FRV) при анализе эмпирических данных. Для NMF его компоненты ранжируются только на основе эмпирических кривых FRV. Графики остаточных дробных собственных значений, то есть $1-\sum _{i=1}^{k}\lambda _{i}{\Big /}\sum _{j=1}^{n}\lambda _{j}$ как функция номера компонента $k$ учитывая в общей сложности $n$ компоненты, поскольку PCA имеют плоское плато, где не собираются данные для удаления квазистатического шума, затем кривые быстро падают, что указывает на переобучение (случайный шум). Кривые FRV для NMF постоянно уменьшаются. когда компоненты NMF строятся последовательно , индикация непрерывного улавливания квазистатического шума; затем сходятся к более высоким уровням, чем PCA, что указывает на меньшее свойство переобучения NMF.

Иконография корреляций

Часто бывает трудно интерпретировать основные компоненты, когда данные включают множество переменных различного происхождения или когда некоторые переменные являются качественными. Это приводит пользователя PCA к деликатному исключению нескольких переменных. Если наблюдения или переменные оказывают чрезмерное влияние на направление осей, их следует удалить, а затем спроецировать как дополнительные элементы. Кроме того, необходимо избегать интерпретации близости между точками, близкими к центру факториальной плоскости.

Иконография корреляций - Геохимия морских аэрозолей

Иконография корреляций , напротив, не являющаяся проекцией на систему осей, не имеет этих недостатков. Поэтому мы можем сохранить все переменные.

Принцип диаграммы состоит в том, чтобы подчеркнуть «замечательные» корреляции корреляционной матрицы сплошной линией (положительная корреляция) или пунктирной линией (отрицательная корреляция).

Сильная корреляция не является «примечательной», если она не является прямой, а вызвана влиянием третьей переменной. И наоборот, слабые корреляции могут быть «замечательными». Например, если переменная Y зависит от нескольких независимых переменных, корреляции Y с каждой из них слабы, но «замечательны».

Обобщения

Разреженный PCA

Основная статья: Разреженный PCA

Особым недостатком PCA является то, что основные компоненты обычно представляют собой линейные комбинации всех входных переменных. Разреженный PCA преодолевает этот недостаток, находя линейные комбинации, содержащие всего несколько входных переменных. Он расширяет классический метод анализа главных компонентов (PCA) для уменьшения размерности данных путем добавления ограничения разреженности входных переменных. Было предложено несколько подходов, в том числе

• модель регрессии,
• структура выпуклого релаксации/полуопределенного программирования,
• структура обобщенного степенного метода
• альтернативная структура максимизации
• жадный поиск вперед-назад и точные методы с использованием методов ветвей и границ,
• Байесовская формулировка.

Методологические и теоретические разработки Sparse PCA, а также его применение в научных исследованиях были недавно рассмотрены в обзорной статье.

Нелинейный PCA

Линейный PCA против нелинейных главных многообразий для визуализации рака молочной железы данных микрочипа : а) Конфигурация узлов и 2D-главной поверхности в линейном коллекторе 3D PCA. Набор данных искривлен и не может быть адекватно отображен на основной двумерной плоскости; б) Распределение внутренних двумерных нелинейных координат главной поверхности (ELMap2D) вместе с оценкой плотности точек; в) То же, что б), но для линейного 2D-многообразия PCA (PCA2D). «Базальный» подтип рака молочной железы визуализируется более адекватно с помощью ELMap2D, и некоторые особенности распределения становятся лучше различимыми по сравнению с PCA2D. Главные многообразия создаются с помощью алгоритма эластичных отображений . Данные доступны для публичного конкурса. Программное обеспечение доступно для бесплатного некоммерческого использования.

Большинство современных методов нелинейного уменьшения размерности уходят своими теоретическими и алгоритмическими корнями в PCA или K-средние. Первоначальная идея Пирсона заключалась в том, чтобы взять прямую линию (или плоскость), которая будет «наилучшим образом соответствовать» набору точек данных. Тревор Хэсти расширил эту концепцию, предложив основные кривые. как естественное расширение геометрической интерпретации PCA, которое явно строит многообразие для аппроксимации данных с последующим проецированием на него точек. См. также алгоритм упругой карты и основной геодезический анализ . Другое популярное обобщение — ядро ​​PCA , которое соответствует PCA, выполняемому в воспроизводящем ядерном гильбертовом пространстве, связанном с положительно определенным ядром.

В полилинейном обучении подпространства PCA обобщается до мультилинейного PCA (MPCA), который извлекает признаки непосредственно из тензорных представлений. MPCA решается путем итеративного выполнения PCA в каждом режиме тензора. MPCA применялся для распознавания лиц, распознавания походки и т. д. MPCA в дальнейшем расширяется до некоррелированного MPCA, неотрицательного MPCA и устойчивого MPCA.

N -факторный анализ главных компонент может быть выполнен с использованием таких моделей, как разложение Такера , PARAFAC , многофакторный анализ, коинерционный анализ, STATIS и DISTATIS.

Прочный PCA

Хотя PCA находит математически оптимальный метод (например, при минимизации квадратичной ошибки), он по-прежнему чувствителен к выбросам в данных, которые приводят к большим ошибкам, чего метод пытается избежать в первую очередь. Поэтому обычной практикой является удаление выбросов перед вычислением PCA. Однако в некоторых контекстах выбросы бывает сложно выявить. Например, в интеллектуального анализа данных алгоритмах , таких как корреляционная кластеризация , назначение точек кластерам и выбросам заранее не известно. Недавно предложенное обобщение PCA на основе взвешенного PCA повышает надежность за счет присвоения объектам данных разных весов на основе их предполагаемой релевантности.

Также были предложены устойчивые к выбросам варианты PCA, основанные на формулировках L1-нормы ( L1-PCA ).

Надежный анализ главных компонент (RPCA) посредством разложения в низкоранговых и разреженных матрицах представляет собой модификацию PCA, которая хорошо работает в отношении сильно искаженных наблюдений.

Подобные методы

Независимый анализ компонентов

Анализ независимых компонентов (ICA) направлен на решение тех же задач, что и анализ главных компонентов, но находит аддитивно разделяемые компоненты, а не последовательные приближения.

Анализ сетевых компонентов

Дана матрица $E$, он пытается разложить его на две матрицы так, что $E=AP$. Ключевое отличие от таких методов, как PCA и ICA, заключается в том, что некоторые записи $A$ ограничены равными 0. Здесь $P$ называется регуляторным слоем. Хотя в целом такое разложение может иметь несколько решений, они доказывают, что при выполнении следующих условий:

1. $A$ имеет полный ранг столбца
2. Каждый столбец $A$ должен иметь по крайней мере $L-1$ нули где $L$ количество столбцов $A$ (или, альтернативно, количество строк $P$). Обоснованием этого критерия является то, что если узел удален из регулятивного уровня вместе со всеми подключенными к нему выходными узлами, результат все равно должен характеризоваться матрицей связности с полным рангом столбца.
3. $P$ должен иметь полный ранг строки.

тогда разложение однозначно с точностью до умножения на скаляр.

Дискриминантный анализ главных компонентов

Дискриминантный анализ главных компонентов (DAPC) — это многомерный метод, используемый для идентификации и описания кластеров генетически связанных людей. Генетическая изменчивость разделена на два компонента: вариации между группами и внутри групп, и она максимизирует первую. Линейные дискриминанты — это линейные комбинации аллелей, которые лучше всего разделяют кластеры. Таким образом, аллели, которые больше всего способствуют этой дискриминации, — это те, которые наиболее заметно различаются в разных группах. Вклад аллелей в группы, идентифицированные с помощью DAPC, может позволить идентифицировать области генома, вызывающие генетическую дивергенцию между группами. В DAPC данные сначала преобразуются с использованием анализа главных компонентов (PCA), а затем кластеры идентифицируются с помощью дискриминантного анализа (DA).

DAPC можно реализовать на R с помощью пакета Adegenet. (подробнее: adegenet в Интернете )

Анализ направленных компонентов

Анализ направленных компонентов (DCA) — это метод, используемый в науках об атмосфере для анализа многомерных наборов данных. Как и PCA, он позволяет уменьшить размерность, улучшить визуализацию и улучшить интерпретируемость больших наборов данных. Как и PCA, он основан на ковариационной матрице, полученной из входного набора данных. Разница между PCA и DCA заключается в том, что DCA дополнительно требует ввода направления вектора, называемого воздействием. В то время как PCA максимизирует объясненную дисперсию, DCA максимизирует плотность вероятности с учетом воздействия. Мотивацией для DCA является поиск компонентов многомерного набора данных, которые одновременно вероятны (измеряются с использованием плотности вероятности) и важны (измеряются с использованием воздействия). DCA использовался для поиска наиболее вероятных и наиболее серьезных моделей волн тепла в ансамблях прогнозов погоды. , и наиболее вероятные и наиболее важные изменения количества осадков из-за изменения климата. .

Программное обеспечение/исходный код

• ALGLIB — библиотека C++ и C#, реализующая PCA и усеченный PCA.
• Analytica – встроенная функция EigenDecomp вычисляет главные компоненты.
• ELKI — включает PCA для проецирования, включая надежные варианты PCA, а также алгоритмы кластеризации на основе PCA .
• Gretl – анализ главных компонент может быть выполнен либо через pca командой или через princomp() функция.
• Джулия – поддерживает PCA с pca функция в пакете MultivariateStats
• KNIME — программное обеспечение для анализа узлов на основе Java, в котором узлы, называемые PCA, PCA Computing, PCA Apply, PCA Inverse, упрощают задачу.
• Maple (программное обеспечение) — команда PCA используется для выполнения анализа главных компонентов набора данных.
• Mathematica – реализует анализ главных компонентов с помощью команды PrincipalComponents, используя методы ковариации и корреляции.
• MathPHP — математическая библиотека PHP с поддержкой PCA.
• MATLAB – Функция SVD является частью базовой системы. В панели инструментов статистики функции princomp и pca (R2012b) дают главные компоненты, а функция pcares дает остатки и восстановленную матрицу для приближения PCA низкого ранга.
• Matplotlib — библиотека Python имеет пакет PCA в модуле .mlab.
• mlpack — обеспечивает реализацию анализа главных компонентов на C++ .
• mrmath — высокопроизводительная математическая библиотека для Delphi и FreePascal, способная выполнять PCA; включая надежные варианты.
• Библиотека NAG – анализ основных компонентов осуществляется через g03aa подпрограмма (доступна в обеих версиях библиотеки для Фортрана).
• NMath — собственная числовая библиотека, содержащая PCA для .NET Framework .
• GNU Octave - вычислительная среда с бесплатным программным обеспечением, в основном совместимая с MATLAB, функция princomp дает главную компоненту.
• OpenCV
• База данных Oracle 12c – реализована через DBMS_DATA_MINING.SVDS_SCORING_MODE указав значение настройки SVDS_SCORING_PCA
• Orange (программное обеспечение) – интегрирует PCA в среду визуального программирования. PCA отображает график осыпи (степень объясненной дисперсии), где пользователь может в интерактивном режиме выбрать количество основных компонентов.
• Origin – содержит PCA в версии Pro.
• Qlucore — коммерческое программное обеспечение для анализа многомерных данных с мгновенным ответом с использованием PCA.
• R – Бесплатный статистический пакет, функции princomp и prcomp может использоваться для анализа главных компонент; prcomp использует разложение по сингулярным значениям , что обычно дает лучшую числовую точность. Некоторые пакеты, реализующие PCA в R, включают, помимо прочего: ade4, vegan, ExPosition, dimRed, и FactoMineR.
• SAS – Собственное программное обеспечение; например, см.
• scikit-learn — библиотека Python для машинного обучения, которая содержит PCA, Probabilistic PCA, Kernel PCA, Sparse PCA и другие методы в модуле декомпозиции.
• Scilab - бесплатный кроссплатформенный пакет численных вычислений с открытым исходным кодом, функция princomp вычисляет анализ главных компонент, функция pca вычисляет анализ главных компонентов со стандартизированными переменными.
• SPSS — фирменное программное обеспечение, наиболее часто используемое социологами для PCA, факторного анализа и связанного с ним кластерного анализа.
• Weka — Java-библиотека для машинного обучения, содержащая модули для вычисления основных компонентов.

См. также

• Анализ соответствия (для таблиц сопряженности)
• Анализ множественных соответствий (для качественных переменных)
• Факторный анализ смешанных данных (для количественных и качественных переменных)
• Каноническая корреляция
• Аппроксимация матрицы CUR (может заменить аппроксимацию SVD низкого ранга)
• Анализ соответствия без тренда
• Анализ направленных компонентов
• Динамическое модовое разложение
• Эйгенфейс
• Алгоритм ожидания-максимизации
• Исследовательский факторный анализ (Викиверситет)
• Факториальный код
• Функциональный анализ главных компонентов
• Анализ геометрических данных
• Независимый анализ компонентов
• Ядро PCA
• Анализ главных компонент L1-нормы
• Низкоранговое приближение
• Разложение матрицы
• Неотрицательная матричная факторизация
• Нелинейное уменьшение размерности
• Правило Оджи
• Модель распределения точек (PCA применяется к морфометрии и компьютерному зрению)
• Анализ главных компонентов (Викибуки)
• Регрессия главных компонентов
• Анализ сингулярного спектра
• Разложение по сингулярным значениям
• Разреженный PCA
• Преобразование кодирования
• Взвешенные наименьшие квадраты

Дальнейшее чтение

• Джексон, Дж. Э. (1991). Руководство пользователя по основным компонентам (Wiley).
• Джоллифф, IT (1986). Анализ главных компонентов . Серия Спрингера по статистике. Спрингер-Верлаг. стр. 487 . CiteSeerX   10.1.1.149.8828 . дои : 10.1007/b98835 . ISBN  978-0-387-95442-4 .
• Джоллифф, IT (2002). Анализ главных компонентов . Серия Спрингера по статистике. Нью-Йорк: Springer-Verlag. дои : 10.1007/b98835 . ISBN  978-0-387-95442-4 .
• Юссон Франсуа, Ле Себастьян и Паж Жером (2009). Исследовательский многомерный анализ на примере использования R. Чепмен и Холл/CRC The R Series, Лондон. 224стр. ISBN   978-2-7535-0938-2
• Пажес Жером (2014). Многофакторный анализ на примере использования R. Чепмен и Холл / CRC The R Series, Лондон, 272 стр.

Внешние ссылки

• Видео Копенгагенского университета Расмуса Бро на YouTube
• Видео Стэнфордского университета Эндрю Нг на YouTube
• Учебное пособие по анализу главных компонентов
• Введение в анализ главных компонентов для непрофессионала на YouTube (видео продолжительностью менее 100 секунд).
• StatQuest: StatQuest: Анализ главных компонентов (PCA), шаг за шагом на YouTube
• См. также список реализаций программного обеспечения.