Анализ корреспонденции

Анализ соответствия ( CA многомерный статистический метод. ) — предложенный Герман Отто Хартли (Хиршфельд) и позже разработан Жан-Полем Бензекри . Он концептуально аналогичен анализу главных компонентов , но применяется к категориальным, а не непрерывным данным. Подобно анализу главных компонентов, он предоставляет средства отображения или обобщения набора данных в двухмерной графической форме. Его цель — отобразить на биграфике любую структуру, скрытую в многомерной настройке таблицы данных. По существу, это техника из области многовариантной ординации . Поскольку описанный здесь вариант СА может применяться как с акцентом на строки, так и на столбцы, его фактически следует называть простым (симметричным) анализом соответствий .

Традиционно он применяется к таблице сопряженности пары номинальных переменных , где каждая ячейка содержит либо счетчик, либо нулевое значение. Если необходимо суммировать более двух категориальных переменных, вариант, называемый анализом множественного соответствия вместо этого следует выбрать . CA также может применяться к двоичным данным , поскольку кодирование присутствия/отсутствия представляет собой упрощенные данные подсчета, т.е. 1 описывает положительный счет, а 0 означает нулевой счет. В зависимости от используемых оценок CA сохраняет расстояние хи-квадрат. между строками или столбцами таблицы. Поскольку CA — это описательный метод, его можно применять к таблицам независимо от значимого критерия хи-квадрат . Хотя $\chi ^{2}$ Статистика, используемая в статистике выводов , и расстояние хи-квадрат связаны в вычислительном отношении, их не следует путать, поскольку последнее работает как многомерная статистическая мера расстояния в CA, в то время как $\chi ^{2}$ статистика на самом деле является скаляром, а не метрикой .

Подробности

Подобно анализу главных компонентов , анализ соответствия создает ортогональные компоненты (или оси) и для каждого элемента таблицы, т. е. для каждой строки, набор оценок (иногда называемых факторными оценками, см. Факторный анализ ). Анализ соответствия выполняется для таблицы данных, представленной как матрица C размера m × n, где m — количество строк, а n — количество столбцов. В следующем математическом описании метода заглавные буквы, выделенные курсивом, относятся к матрице, а буквы, выделенные курсивом, относятся к векторам . Понимание следующих вычислений требует знаний матричной алгебры .

Предварительная обработка

Прежде чем перейти к центральному вычислительному шагу алгоритма, значения матрицы C необходимо преобразовать. Сначала вычислите набор весов для столбцов и строк (иногда называемый массами ), где веса строк и столбцов задаются векторами строк и столбцов соответственно:

$w_{m}={\frac {1}{n_{C}}}C\mathbf {1} ,\quad w_{n}={\frac {1}{n_{C}}}\mathbf {1} ^{T}C.$

Здесь $n_{C}=\sum _{i=1}^{n}\sum _{j=1}^{m}C_{ij}$ представляет собой сумму всех значений ячеек в матрице C или короткую сумму C и $\mathbf {1}$ представляет собой вектор - столбец из единиц соответствующей размерности.

Говоря простыми словами, $w_{m}$ - это просто вектор, элементы которого представляют собой суммы строк C, разделенные на сумму C , и $w_{n}$ — вектор, элементами которого являются суммы столбцов C, на сумму C. деленные

Веса преобразуются в диагональные матрицы

$W_{m}=\operatorname {diag} (1/{\sqrt {w_{m}}})$

и

$W_{n}=\operatorname {diag} (1/{\sqrt {w_{n}}})$

где диагональные элементы $W_{n}$ являются $1/{\sqrt {w_{n}}}$ и те из $W_{m}$ являются $1/{\sqrt {w_{m}}}$ соответственно, т.е. векторные элементы являются обратными квадратным корням масс. Все недиагональные элементы равны 0.

Далее вычисляем матрицу $P$ разделив $C$ по его сумме

$P={\frac {1}{n_{C}}}C.$

Проще говоря, Матрица. $P$ — это просто матрица данных (таблица непредвиденных обстоятельств или двоичная таблица), преобразованная в части, т.е. каждое значение ячейки — это просто часть ячейки суммы всей таблицы.

Наконец, вычислите матрицу $S$, иногда называемая матрицей стандартизованных остатков , путем матричного умножения как

$S=W_{m}(P-w_{m}w_{n})W_{n}$

Обратите внимание, что векторы $w_{m}$ и $w_{n}$ объединяются во внешний продукт, в результате чего получается матрица тех же размеров, что и $P$. Прописью формула звучит так: матрица $\operatorname {outer} (w_{m},w_{n})$ вычитается из матрицы $P$ и полученная матрица масштабируется (взвешивается) диагональными матрицами $W_{m}$ и $W_{n}$. Умножение полученной матрицы на диагональные матрицы эквивалентно умножению i-й ее строки (или столбца) на i-й элемент диагонали $W_{m}$ или $W_{n}$, соответственно .

Интерпретация предварительной обработки

Векторы $w_{m}$ и $w_{n}$ — это массы строк и столбцов или предельные вероятности для строк и столбцов соответственно. Вычитающая матрица $\operatorname {outer} (w_{m},w_{n})$ из матрицы $P$ — это версия матричной алгебры двойного центрирования данных. Умножение этой разницы на диагональные весовые матрицы приводит к получению матрицы, содержащей взвешенные отклонения от начала векторного пространства . Это начало координат определяется матрицей $\operatorname {outer} (w_{m},w_{n})$.

Фактически матрица $\operatorname {outer} (w_{m},w_{n})$ идентична матрице ожидаемых частот в тесте хи-квадрат . Поэтому $S$ вычислительно связана с моделью независимости, используемой в этом тесте. Но поскольку СА не является методом вывода, термин «модель независимости» здесь неуместен.

Ортогональные компоненты

Стол $S$ затем разлагается разложением по сингулярным значениям как

$S=U\Sigma V^{*}\,$

где $U$ и $V$ — левый и правый сингулярные векторы $S$ и $\Sigma$ представляет собой квадратную диагональную матрицу с сингулярными значениями $\sigma _{i}$ из $S$ по диагонали. $\Sigma$ имеет размерность $p\leq (\min(m,n)-1)$ следовательно $U$ имеет размерность m×p и $V$ имеет размер n×p . Ортонормированные ​ векторы $U$ и $V$ выполнить

$U^{*}U=V^{*}V=I$.

Другими словами, многомерная информация, содержащаяся в $C$ а также в $S$ теперь распределено по двум (координатным) матрицам $U$ и $V$ и диагональная (масштабирующая) матрица $\Sigma$. Определенное ими векторное пространство имеет число измерений p, то есть меньшее из двух значений: количество строк и количество столбцов, минус 1.

Инерция

Хотя можно сказать, что анализ главных компонент разлагает (ко)дисперсию , и, следовательно, его мерой успеха является количество (ко)дисперсии, покрываемой первыми несколькими осями PCA (измеренными в собственных значениях), СА работает с взвешенным значением. (ко-)дисперсия, которая называется инерцией . Сумма квадратов сингулярных значений представляет собой полную инерцию. $\mathrm {I}$ таблицы данных, рассчитанной как

$\mathrm {I} =\sum _{i=1}^{p}\sigma _{i}^{2}.$

Полная инерция $\mathrm {I}$ таблицы данных также можно вычислить непосредственно из $S$ как

$\mathrm {I} =\sum _{i=1}^{n}\sum _{j=1}^{m}s_{ij}^{2}.$

Величина инерции, покрываемая i-м набором сингулярных векторов, равна $\iota _{i}$, главная инерция. Чем выше доля инерции, покрываемая первыми несколькими сингулярными векторами, т.е. чем больше сумма главных инерций по сравнению с общей инерцией, тем более успешным является КА. Поэтому все основные значения инерции выражаются как доли $\epsilon _{i}$ от общей инерции

$\epsilon _{i}=\sigma _{i}^{2}/\sum _{i=1}^{p}\sigma _{i}^{2}$

и представлены в виде осыпного сюжета . Фактически график осыпи представляет собой просто гистограмму всех основных участков инерции. $\epsilon _{i}$.

Чтобы преобразовать сингулярные векторы в координаты, которые сохраняют хи-квадратные расстояния между строками или столбцами, необходим дополнительный шаг взвешивания. Полученные координаты называются главными координатами. в учебниках СА. Если для строк используются главные координаты, их визуализация называется изометрией строки. масштабирование в эконометрике и масштабирование 1 в экологии. Поскольку взвешивание включает в себя сингулярные значения $\Sigma$ матрицы стандартизированных остатков $S$ эти координаты иногда называют сингулярными векторами в масштабе сингулярного значения или, что немного вводит в заблуждение, как собственными векторами в масштабе собственных значений. В действительности нетривиальные собственные векторы $SS^{*}$— левые сингулярные векторы $U$ из $S$ и те из $S^{*}S$ являются правыми сингулярными векторами $V$ из $S$ а собственные значения любой из этих матриц представляют собой квадраты сингулярных значений $\Sigma$. Но поскольку все современные алгоритмы CA основаны на разложении по сингулярным значениям, этой терминологии следует избегать. Во французской традиции CA координаты иногда называют (факторными) оценками .

Факторные оценки или главные координаты строк матрицы C вычисляются по формуле

$F_{m}=W_{m}U\Sigma$

т.е. левые сингулярные векторы масштабируются по обратным квадратным корням из масс строк и по сингулярным значениям. Поскольку главные координаты вычисляются с использованием сингулярных значений, они содержат информацию о разбросе между строками (или столбцами) исходной таблицы. Вычисление евклидовых расстояний между объектами в главных координатах приводит к значениям, равным их расстояниям хи-квадрат, что является причиной того, почему говорят, что CA «сохраняет расстояния хи-квадрат» .

Вычислите главные координаты столбцов с помощью

$F_{n}=W_{n}V\Sigma .$

Чтобы представить результат CA в правильном биграфике , те категории, которые не отображены в главных координатах, т.е. в координатах, сохраняющих расстояние хи-квадрат, должны быть отображены в так называемых стандартных координатах . Их называют стандартными координатами, потому что каждый вектор стандартных координат стандартизирован так, чтобы иметь среднее значение 0 и дисперсию 1. При вычислении стандартных координат сингулярные значения опускаются, что является прямым результатом применения правила биграфика , согласно которому один из двух наборов сингулярных векторных матриц должен масштабироваться сингулярными значениями, возведенными в степень нуля, т.е. умноженными на единицу, т.е. вычисляться по формуле опуская сингулярные значения, если другой набор сингулярных векторов был масштабирован по сингулярным значениям. Это подтверждает существование внутреннего продукта между двумя наборами координат, т.е. приводит к значимым интерпретациям их пространственных отношений в побочном сюжете.

С практической точки зрения стандартные координаты можно рассматривать как вершины векторного пространства, в которых «существует» набор главных координат (т.е. соответствующих точек). Стандартные координаты строк:

$G_{m}=W_{m}U$

и те, что для столбцов

$G_{n}=W_{n}V$

Обратите внимание, что масштабирование 1 биграфик в экологии подразумевает, что строки должны находиться в основных координатах, а столбцы - в стандартных координатах, тогда как масштабирование 2 подразумевает, что строки должны находиться в стандартных координатах, а столбцы - в главных координатах. Т.е. масштабирование 1 подразумевает побочный график $F_{m}$вместе с $G_{n}$ в то время как масштабирование 2 подразумевает побочный график $F_{n}$вместе с $G_{m}$.

Графическое представление результата

Визуализация результата СА всегда начинается с отображения графика осыпи основных значений инерции, чтобы оценить успешность суммирования разброса по первым нескольким сингулярным векторам.

Фактическое посвящение представлено в виде графика, который на первый взгляд можно спутать со сложной диаграммой рассеяния . Фактически он состоит из двух точечных диаграмм, напечатанных одна на другой: один набор точек для строк, а другой — для столбцов. Но поскольку это побочный сюжет, четкое правило интерпретации связывает две используемые координатные матрицы.

Обычно первые два измерения решения CA отображаются на графике, поскольку они охватывают максимум информации о таблице данных, которая может быть отображена в 2D, хотя другие комбинации измерений могут быть исследованы с помощью двухграфического графика. Биплот на самом деле представляет собой низкоразмерное отображение части информации, содержащейся в исходной таблице.

Как правило, тот набор (строки или столбцы), который следует проанализировать с точки зрения его состава, измеренного другим набором, отображается в главных координатах, а другой набор отображается в стандартных координатах. Например, таблица, отображающая избирательные округа в строках и политические партии в столбцах с ячейками, содержащими подсчитанные голоса , может отображаться с округами (строками) в главных координатах, когда основное внимание уделяется упорядочиванию округов по аналогичному голосованию.

Традиционно, беря свое начало из французской традиции в Калифорнии, ранние биплоты CA отображали оба объекта в одной и той же версии координат, обычно это основные координаты, но такой вид отображения вводит в заблуждение, поскольку: «Хотя это называется биграфиком, он не имеет какой-либо полезной взаимосвязи внутреннего продукта между оценками строки и столбца». как Брайан Рипли , сопровождающий пакета R MASS. правильно отмечает Сегодня такого рода отображения следует избегать, поскольку непрофессионалы обычно не осознают отсутствия связи между двумя наборами точек.

Масштабирование 1 биграфик (строки в главных координатах, столбцы в стандартных координатах) интерпретируется следующим образом:

• Расстояния между точками строк приблизительно соответствуют их расстоянию хи-квадрат. Точки, расположенные близко друг к другу, представляют собой строки с очень похожими значениями в исходной таблице данных. Т.е. они могут демонстрировать довольно схожие частоты в случае данных подсчета или близкородственные двоичные значения в случае данных о присутствии/отсутствии.
• Точки (столбцы) в стандартных координатах представляют собой вершины векторного пространства, т.е. внешний угол чего-то, что в многомерном пространстве имеет форму неправильного многогранника. Проецировать точки строк на линию, соединяющую начало координат и стандартную координату столбца; если проецируемое положение вдоль этой соединительной линии близко к положению стандартной координаты, эта точка строки тесно связана с этим столбцом, т.е. в случае данных подсчета строка имеет высокую частоту этой категории, а в случае данных о наличии/отсутствии строка, скорее всего, будет содержать 1 в этом столбце. Точки строк, проекция которых потребует удлинения линии соединения за пределы начала координат, имеют в этом столбце значение ниже среднего.

Расширения и приложения

Доступно несколько вариантов CA, включая анализ соответствия без тренда (DCA) и анализ канонического соответствия (CCA). Последний (CCA) используется, когда имеется информация о возможных причинах сходства между исследуемыми объектами. Распространение анализа соответствия на множество категориальных переменных называется анализом множественного соответствия . Адаптация анализа соответствия к проблеме дискриминации на основе качественных переменных (т. е. эквивалент дискриминантного анализа для качественных данных) называется дискриминантным анализом соответствия или барицентрическим дискриминантным анализом.

В социальных науках анализ соответствий и, в частности, его расширенный анализ множественных соответствий , стал известен за пределами Франции благодаря французским социологом Пьером Бурдье . его применению

Реализации

• В систему визуализации данных Orange входит модуль: orngCA.
• Язык статистического программирования R включает несколько пакетов, которые предлагают функцию (простого симметричного) анализа соответствий. Используя нотацию R [имя_пакета::имя_функции], пакеты и соответствующие функции будут следующими: ade4::dudi.coa(), ca::ca() , ExPosition::epCA(), FactoMineR::CA(), MASS::corresp(), vegan::cca(). Самый простой подход для новичков ca::ca() так как есть обширный учебник сопровождающий этот пакет.
• Бесплатное ПО PAST (ПАЛЕОНТОЛОГИЧЕСКАЯ СТАТИСТИКА) предлагает (простой симметричный) анализ соответствия через меню «Многомерность/Родификация/Соответствие (CA)».

См. также

• Формальный концептуальный анализ

Внешние ссылки

• Гринакр, Майкл (2008), La Práctica del Análisis de Correspondencias , Фонд BBVA, Мадрид, испанский перевод книги «Анализ соответствия на практике» , доступный для бесплатной загрузки из публикаций Фонда BBVA.
• Гринакр, Майкл (2010), Биплоты на практике , Фонд BBVA, Мадрид, доступно для бесплатного скачивания на multivariatestatistics.org.