Линейный дискриминантный анализ

Не путать со скрытым распределением Дирихле .

Линейный дискриминантный анализ в двумерном пространстве с двумя классами. Граница Байеса рассчитывается на основе истинных параметров генерации данных и предполагаемой границы реализованных точек данных.

Линейный дискриминантный анализ ( LDA ), нормальный дискриминантный анализ ( NDA ) или анализ дискриминантной функции — это обобщение линейного дискриминанта Фишера , метода, используемого в статистике и других областях для поиска линейной комбинации признаков, которая характеризует или разделяет два или более классов. предметов или событий. Полученную комбинацию можно использовать в качестве линейного классификатора или, что чаще, для уменьшения размерности перед последующей классификацией .

LDA тесно связан с дисперсионным анализом (ANOVA) и регрессионным анализом , которые также пытаются выразить одну зависимую переменную как линейную комбинацию других характеристик или измерений. Однако ANOVA использует категориальные независимые переменные и непрерывную зависимую переменную , тогда как дискриминантный анализ имеет непрерывные независимые переменные и категориальную зависимую переменную ( т. е. метку класса). Логистическая регрессия и пробит-регрессия больше похожи на LDA, чем на ANOVA, поскольку они также объясняют категориальную переменную значениями непрерывных независимых переменных. Эти другие методы предпочтительнее в приложениях, где неразумно предполагать, что независимые переменные имеют нормальное распределение, что является фундаментальным предположением метода LDA.

LDA также тесно связан с анализом главных компонентов (PCA) и факторным анализом , поскольку они оба ищут линейные комбинации переменных, которые лучше всего объясняют данные. LDA явно пытается смоделировать разницу между классами данных. PCA, напротив, не учитывает никаких различий в классе, а факторный анализ строит комбинации признаков на основе различий, а не сходства. Дискриминантный анализ также отличается от факторного анализа тем, что он не является методом взаимозависимости: необходимо проводить различие между независимыми переменными и зависимыми переменными (также называемыми критериальными переменными).

LDA работает, когда измерения независимых переменных для каждого наблюдения являются непрерывными величинами. При работе с категориальными независимыми переменными эквивалентным методом является дискриминантный анализ соответствия.

Дискриминантный анализ используется, когда группы известны априорно (в отличие от кластерного анализа ). Каждый случай должен иметь оценку по одному или нескольким количественным предикторным показателям, а также оценку по групповому показателю. Проще говоря, дискриминантный функциональный анализ — это классификация — действие по распределению вещей на группы, классы или категории одного и того же типа.

История

Оригинальный дихотомический дискриминантный анализ был разработан сэром Рональдом Фишером в 1936 году. Он отличается от ANOVA или MANOVA , которые используются для прогнозирования одной (ANOVA) или нескольких (MANOVA) непрерывных зависимых переменных с помощью одной или нескольких независимых категориальных переменных. Анализ дискриминантной функции полезен для определения того, эффективен ли набор переменных для прогнозирования принадлежности к категории.

LDA для двух классов

Рассмотрим набор наблюдений ${\vec {x}}$ (также называемые признаками, атрибутами, переменными или измерениями) для каждого образца объекта или события известного класса. $y$. Этот набор выборок называется обучающим набором . Тогда задача классификации состоит в том, чтобы найти хороший предиктор для класса. $y$ любой выборки того же распределения (не обязательно из обучающего набора), учитывая только наблюдение ${\vec {x}}$.

LDA подходит к проблеме, предполагая, что условные функции плотности вероятности $p({\vec {x}}|y=0)$ и $p({\vec {x}}|y=1)$ оба являются нормальным распределением со средним и ковариационным параметрами $\left({\vec {\mu }}_{0},\Sigma _{0}\right)$ и $\left({\vec {\mu }}_{1},\Sigma _{1}\right)$, соответственно. При этом предположении оптимальным по Байесу решением является прогнозирование точек как принадлежащих ко второму классу, если журнал отношений правдоподобия больше некоторого порога T, так что:

${\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+{\frac {1}{2}}\ln |\Sigma _{0}|-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-{\frac {1}{2}}\ln |\Sigma _{1}|\ >\ T$

Без каких-либо дополнительных предположений полученный классификатор называется квадратичным дискриминантным анализом (QDA).

Вместо этого LDA делает дополнительное упрощающее предположение о гомоскедастичности ( т. е. что ковариации классов идентичны, поэтому $\Sigma _{0}=\Sigma _{1}=\Sigma$) и что ковариации имеют полный ранг. В этом случае отменяются несколько условий:

${\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}$

${\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}$ потому что $\Sigma _{i}$ является эрмитовым

и вышеуказанный критерий принятия решения становится порогом скалярного произведения

${\vec {w}}^{\mathrm {T} }{\vec {x}}>c$

для некоторой пороговой константы c , где

${\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})$

$c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})$

Это означает, что критерий входа ${\vec {x}}$ быть в классе $y$ является чисто функцией этой линейной комбинации известных наблюдений.

Часто бывает полезно рассматривать этот вывод в геометрических терминах: критерий входа ${\vec {x}}$ быть в классе $y$ является чисто функцией проекции точки многомерного пространства ${\vec {x}}$ на вектор ${\vec {w}}$(таким образом, мы рассматриваем только его направление). Другими словами, наблюдение принадлежит $y$ если соответствует ${\vec {x}}$ находится на некоторой стороне гиперплоскости, перпендикулярной ${\vec {w}}$. Местоположение плоскости определяется порогом $c$.

Предположения

Допущения дискриминантного анализа такие же, как и для MANOVA. Анализ весьма чувствителен к выбросам, и размер наименьшей группы должен быть больше, чем количество переменных-предикторов.

• Многомерная нормальность : независимые переменные являются нормальными для каждого уровня группирующей переменной.
• Однородность дисперсии/ковариации ( гомоскедастичность ): дисперсия групповых переменных одинакова на всех уровнях предикторов. Можно проверить с помощью Бокса M. статистики Однако было предложено использовать линейный дискриминантный анализ, когда ковариации равны, и что квадратичный дискриминантный анализ может использоваться, когда ковариации не равны.
• Независимость : предполагается, что участники выбраны случайным образом, и оценка участника по одной переменной считается независимой от оценок по этой переменной для всех других участников.

Было высказано предположение, что дискриминантный анализ относительно устойчив к небольшим нарушениям этих предположений. а также было показано, что дискриминантный анализ может быть надежным при использовании дихотомических переменных (где многомерная нормальность часто нарушается).

Дискриминантные функции

Дискриминантный анализ работает путем создания одной или нескольких линейных комбинаций предикторов, создавая новую скрытую переменную для каждой функции. Эти функции называются дискриминантными функциями. Возможное количество функций равно либо $N_{g}-1$ где $N_{g}$ = количество групп, или $p$(количество предикторов), в зависимости от того, что меньше. Первая созданная функция максимизирует различия между группами по этой функции. Вторая функция максимизирует различия в этой функции, но также не должна коррелировать с предыдущей функцией. Это продолжается и с последующими функциями с требованием, чтобы новая функция не коррелировала ни с одной из предыдущих функций.

Данная группа $j$, с $\mathbb {R} _{j}$ наборов выборочного пространства, существует дискриминантное правило, такое, что если $x\in \mathbb {R} _{j}$, затем $x\in j$. Дискриминантный анализ находит «хорошие» области $\mathbb {R} _{j}$ чтобы минимизировать ошибку классификации, что приводит к высокому проценту правильной классификации в таблице классификации.

Каждой функции присваивается дискриминантный балл. чтобы определить, насколько хорошо он предсказывает размещение группы.

• Коэффициенты структурной корреляции: корреляция между каждым предиктором и дискриминантной оценкой каждой функции. Это корреляция нулевого порядка (т. е. без поправки на другие предикторы).
• Стандартизированные коэффициенты: вес каждого предиктора в линейной комбинации, которая является дискриминантной функцией. Как и в уравнении регрессии, эти коэффициенты являются частичными (т. е. скорректированы с учетом других предикторов). Указывает уникальный вклад каждого предиктора в прогнозирование группового назначения.
• Функции в центроидах групп: для каждой функции указаны средние дискриминантные оценки для каждой группирующей переменной. Чем дальше друг от друга находятся средства, тем меньше ошибок будет в классификации.

Правила дискриминации

• Максимальная вероятность : Назначает $x$ к группе, которая максимизирует плотность населения (группы).
• Дискриминантное правило Байеса: присваивает $x$ группе, которая максимизирует $\pi _{i}f_{i}(x)$, где π _i представляет априорную вероятность этой классификации, и $f_{i}(x)$ представляет плотность населения.
• Линейное дискриминантное правило Фишера : максимизирует соотношение между SS _между и SS _внутри и находит линейную комбинацию предикторов для прогнозирования группы.

Собственные значения

Собственное значение в дискриминантном анализе является характеристическим корнем каждой функции. Это показатель того, насколько хорошо эта функция дифференцирует группы: чем больше собственное значение, тем лучше дифференцируется функция. Однако к этому следует относиться с осторожностью, поскольку собственные значения не имеют верхнего предела. Собственное значение можно рассматривать как отношение SS _между и SS _{внутри,} как в ANOVA, когда зависимой переменной является дискриминантная функция, а группы — уровни IV . . Это означает, что наибольшее собственное значение связано с первой функцией, второе по величине — со второй и т. д.

Размер эффекта

Некоторые предлагают использовать собственные значения в качестве меры величины эффекта , однако это обычно не поддерживается. Вместо этого каноническая корреляция является предпочтительной мерой размера эффекта. Оно похоже на собственное значение, но представляет собой квадратный корень из отношения SS _между и SS _total . Это корреляция между группами и функцией. Другой популярной мерой размера эффекта является процент дисперсии. для каждой функции. Это рассчитывается по формуле: ( λ _x /Σλ _i ) X 100, где λ _x — собственное значение функции, а Σ λ _i — сумма всех собственных значений. Это говорит нам, насколько сильным является прогноз для этой конкретной функции по сравнению с другими. Правильно классифицированный процент также можно проанализировать как величину эффекта. Значение каппа может описать это с поправкой на случайное согласие. Каппа нормализует все категории, а не предвзято относится к классам со значительно хорошими или плохими показателями.

Канонический дискриминантный анализ для k классов

Канонический дискриминантный анализ (CDA) находит оси ( k - 1 канонических координат , k — количество классов), которые лучше всего разделяют категории. Эти линейные функции некоррелированы и, по сути, определяют оптимальное пространство k - 1 через n -мерное облако данных, которое лучше всего разделяет (проекции в этом пространстве) k групп. см. в разделе « Мультиклассовый LDA Подробности ».

Фишера

Термины « линейный дискриминант Фишера» и «LDA» часто используются как синонимы, хотя Фишера оригинальная статья на самом деле описывает немного другой дискриминант, который не учитывает некоторые предположения LDA, такие как нормально распределенные классы или равные ковариации классов .

Предположим, что два класса наблюдений имеют средства ${\vec {\mu }}_{0},{\vec {\mu }}_{1}$ и ковариации $\Sigma _{0},\Sigma _{1}$. Тогда линейная комбинация признаков ${\vec {w}}^{\mathrm {T} }{\vec {x}}$ будут иметь средства ${\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}$ и отклонения ${\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}$ для $i=0,1$. Фишер определил разделение между этими двумя распределениями как отношение дисперсии между классами к дисперсии внутри классов:

$S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}$

Эта мера в некотором смысле является мерой отношения сигнал/шум для маркировки классов. Можно показать, что максимальное разделение происходит, когда

${\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})$

Когда предположения LDA удовлетворены, приведенное выше уравнение эквивалентно LDA.

Линейный дискриминант Фишера в виде оси

Обязательно обратите внимание, что вектор ${\vec {w}}$– нормаль к дискриминантной гиперплоскости . Например, в двумерной задаче линия, которая лучше всего разделяет две группы, перпендикулярна ${\vec {w}}$.

Как правило, точки данных, подлежащие различению, проецируются на ${\vec {w}}$; затем порог, который лучше всего разделяет данные, выбирается на основе анализа одномерного распределения. Общего правила для порога не существует. Однако если проекции точек обоих классов имеют примерно одинаковое распределение, хорошим выбором будет гиперплоскость между проекциями двух средних: ${\vec {w}}\cdot {\vec {\mu }}_{0}$ и ${\vec {w}}\cdot {\vec {\mu }}_{1}$. В этом случае параметр c в пороговом состоянии ${\vec {w}}\cdot {\vec {x}}>c$ можно найти явно:

$c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}$.

Метод Оцу связан с линейным дискриминантом Фишера и был создан для бинаризации гистограммы пикселей в изображении в оттенках серого путем оптимального выбора порога черного/белого, который минимизирует внутриклассовую дисперсию и максимизирует межклассовую дисперсию внутри или между оттенками серого, назначенными черному и белому. классы белых пикселей.

Мультиклассовый LDA

Визуализация для осей LDA «один против всех» для 4 классов в 3d

Проекции по линейным дискриминантным осям для 4 классов

В случае, когда классов более двух, анализ, используемый при выводе дискриминанта Фишера, можно расширить, чтобы найти подпространство, которое , по-видимому, содержит всю изменчивость классов. Это обобщение принадлежит Ч.Р. Рао . Предположим, что каждый из классов C имеет среднее значение $\mu _{i}$ и та же ковариация $\Sigma$. Тогда разброс между изменчивостью классов может быть определен выборочной ковариацией средних значений класса.

$\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }$

где $\mu$является средним значением класса. Классовое разделение в направлении ${\vec {w}}$ в этом случае будет дано

$S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}$

Это означает, что когда ${\vec {w}}$ является собственным вектором $\Sigma ^{-1}\Sigma _{b}$ расстояние будет равно соответствующему собственному значению .

Если $\Sigma ^{-1}\Sigma _{b}$ диагонализуема, изменчивость между объектами будет содержаться в подпространстве, охватываемом собственными векторами, соответствующими C - 1 наибольшим собственным значениям (поскольку $\Sigma _{b}$имеет ранг C − 1 не более). Эти собственные векторы в основном используются при уменьшении признаков, как в PCA. Собственные векторы, соответствующие меньшим собственным значениям, будут иметь тенденцию быть очень чувствительными к точному выбору обучающих данных, и часто необходимо использовать регуляризацию, как описано в следующем разделе.

требуется классификация Если вместо уменьшения размерности , существует ряд альтернативных методов. Например, классы могут быть разделены, и для классификации каждого раздела может использоваться стандартный дискриминант Фишера или LDA. Типичным примером этого является принцип «один против остальных», когда баллы одного класса помещаются в одну группу, а все остальное — в другую, а затем применяется LDA. В результате появятся классификаторы C, результаты которых объединяются. Еще один распространенный Метод представляет собой парную классификацию, при которой для каждой пары классов создается новый классификатор (всего давая C ( C - 1)/2 классификаторов), при этом отдельные классификаторы объединяются для получения окончательной классификации.

Инкрементный LDA

Типичная реализация метода LDA требует, чтобы все образцы были доступны заранее. Однако бывают ситуации, когда весь набор данных недоступен и входные данные наблюдаются в виде потока. В этом случае желательно, чтобы при извлечении признаков LDA была возможность обновлять вычисленные признаки LDA путем наблюдения за новыми выборками без запуска алгоритма на всем наборе данных. Например, во многих приложениях реального времени, таких как мобильная робототехника или онлайн-распознавание лиц, важно обновлять извлеченные функции LDA, как только становятся доступны новые наблюдения. Методика извлечения признаков LDA, которая позволяет обновлять функции LDA путем простого наблюдения за новыми образцами, представляет собой инкрементный алгоритм LDA , и эта идея широко изучалась в течение последних двух десятилетий. Чаттерджи и Ройчоудхури предложили инкрементальный самоорганизующийся алгоритм LDA для обновления функций LDA. В другой работе Демир и Озмехмет предложили алгоритмы локального онлайн-обучения для постепенного обновления функций LDA с использованием исправления ошибок и правил обучения Хебба. Позже Алияри и др. разработал быстрые инкрементные алгоритмы для обновления функций LDA путем наблюдения за новыми образцами.

Практическое использование

На практике средние значения класса и ковариации неизвестны. Однако их можно оценить по обучающему набору. либо оценку максимального правдоподобия , либо максимальную апостериорную Вместо точного значения в приведенных выше уравнениях можно использовать оценку. Хотя оценки ковариации можно считать в некотором смысле оптимальными, это не означает, что результирующий дискриминант, полученный заменой этих значений, является оптимальным в каком-либо смысле, даже если предположение о нормально распределенных классах верно.

Другая сложность в применении LDA и дискриминанта Фишера к реальным данным возникает, когда количество измерений каждой выборки (т. е. размерность каждого вектора данных) превышает количество выборок в каждом классе. В этом случае оценки ковариации не имеют полного ранга и поэтому не могут быть инвертированы. Есть несколько способов справиться с этим. Один из них — использовать псевдообратную матрицу вместо обычной обратной матрицы в приведенных выше формулах. Однако лучшей числовой стабильности можно добиться, сначала спроецировав задачу на подпространство, охватываемое $\Sigma _{b}$. Другая стратегия борьбы с небольшим размером выборки — использовать оценку сжатия ковариационной матрицы, которая может быть выражено математически как

$\Sigma =(1-\lambda )\Sigma +\lambda I\,$

где $I$ - единичная матрица, и $\lambda$– интенсивность усадки или параметр регуляризации . Это приводит к структуре регуляризованного дискриминантного анализа. или дискриминантный анализ усадки.

Кроме того, во многих практических случаях линейные дискриминанты не подходят. LDA и дискриминант Фишера можно расширить для использования в нелинейной классификации с помощью трюка с ядром . Здесь исходные наблюдения эффективно отображаются в нелинейное пространство более высокого измерения. Линейная классификация в этом нелинейном пространстве эквивалентна нелинейной классификации в исходном пространстве. Наиболее часто используемым примером этого является ядро ​​дискриминанта Фишера .

LDA можно обобщить до множественного дискриминантного анализа , где c становится категориальной переменной с N возможными состояниями вместо двух. Аналогично, если классовые условные плотности $p({\vec {x}}\mid c=i)$ являются нормальными с общими ковариациями, то это достаточная статистика для $P(c\mid {\vec {x}})$являются значениями N проекций, которые представляют собой подпространство , охватываемое N средними значениями, аффинно проецируемыми обратной ковариационной матрицей. Эти проекции можно найти, решив обобщенную задачу собственных значений , где числитель — это ковариационная матрица, сформированная путем обработки средних значений как выборок, а знаменатель — это общая ковариационная матрица. см. в разделе « Мультиклассовый LDA Подробности » выше.

Приложения

Помимо приведенных ниже примеров, LDA применяется в позиционировании и управлении продуктами .

Прогноз банкротства

При прогнозировании банкротства на основе коэффициентов бухгалтерского учета и других финансовых переменных линейный дискриминантный анализ был первым статистическим методом, применяемым для систематического объяснения того, какие фирмы вступили в банкротство, а какие выжили. Несмотря на ограничения, в том числе известное несоответствие учетных коэффициентов предположениям о нормальном распределении LDA, Эдварда Альтмана 1968 года модель по-прежнему является ведущей моделью в практическом применении.

Распознавание лиц

При компьютеризированном распознавании лиц каждое лицо представлено большим количеством значений пикселей. Линейный дискриминантный анализ в основном используется здесь для уменьшения количества признаков до более управляемого числа перед классификацией. Каждое из новых измерений представляет собой линейную комбинацию значений пикселей, образующих шаблон. Линейные комбинации, полученные с помощью линейного дискриминанта Фишера, называются гранями Фишера , а те, которые получены с помощью соответствующего анализа главных компонент, называются собственными гранями .

Маркетинг

В маркетинге дискриминантный анализ когда-то часто использовался для определения факторов, которые отличают различные типы клиентов и/или продуктов, на основе опросов или других форм сбора данных. логистическая регрессия Сейчас более широко используются или другие методы. Использование дискриминантного анализа в маркетинге можно описать следующими этапами:

1. Сформулируйте проблему и соберите данные. Определите основные атрибуты, которые потребители используют для оценки продуктов в этой категории. Используйте методы количественного маркетингового исследования (например, опросы ), чтобы собрать данные из выборки потенциальных клиентов, касающиеся их оценок всех атрибутов продукта. Этап сбора данных обычно выполняется специалистами по маркетинговым исследованиям. В вопросах опроса респонденту предлагается оценить продукт от одного до пяти (или от 1 до 7, или от 1 до 10) по ряду характеристик, выбранных исследователем. Выбирается от пяти до двадцати атрибутов. Они могут включать такие вещи, как простота использования, вес, точность, долговечность, красочность, цена или размер. Выбранные атрибуты будут различаться в зависимости от изучаемого продукта. Тот же вопрос задается обо всех продуктах в исследовании. Данные по нескольким продуктам кодифицируются и вводятся в статистические программы, такие как R , SPSS или SAS . (Этот шаг аналогичен факторному анализу).
2. Оцените коэффициенты дискриминантной функции и определите статистическую значимость и достоверность. Выберите соответствующий метод дискриминантного анализа. Прямой метод предполагает оценку дискриминантной функции так, чтобы все предикторы оценивались одновременно. Пошаговый метод вводит предикторы последовательно. Метод двух групп следует использовать, когда зависимая переменная имеет две категории или состояния. Множественный дискриминантный метод используется, когда зависимая переменная имеет три или более категориальных состояния. Используйте лямбду Уилкса для проверки значимости в SPSS или F stat в SAS. Наиболее распространенным методом проверки достоверности является разделение выборки на оценочную или аналитическую выборку, а также проверочную или контрольную выборку. Оценочная выборка используется при построении дискриминантной функции. Проверочная выборка используется для построения матрицы классификации, которая содержит количество правильно классифицированных и неправильно классифицированных случаев. Процент правильно классифицированных случаев называется коэффициент попадания .
3. Нанесите результаты на двухмерную карту, определите размеры и интерпретируйте результаты. Статистическая программа (или связанный с ней модуль) отобразит результаты. На карте будет отображен каждый продукт (обычно в двухмерном пространстве). Расстояние продуктов друг от друга указывает на то, насколько они различаются. Размеры должны быть отмечены исследователем. Это требует субъективного суждения и часто является очень сложной задачей. См. картирование восприятия .

Биомедицинские

Основным применением дискриминантного анализа в медицине является оценка тяжести состояния больного и прогноз исхода заболевания. Например, при ретроспективном анализе больных делят на группы по тяжести заболевания – легкая, среднетяжелая и тяжелая форма. Затем изучаются результаты клинических и лабораторных анализов с целью выявления переменных, статистически различающихся в исследуемых группах. С помощью этих переменных строятся дискриминантные функции, которые помогают объективно классифицировать заболевание у будущего пациента на легкую, среднетяжелую или тяжелую форму.

В биологии аналогичные принципы используются для классификации и определения групп различных биологических объектов, например, для определения типов фагов Salmonella enteritidis на основе инфракрасных спектров Фурье-преобразования. обнаружить животное происхождение кишечной палочки, изучая факторы ее вирулентности и т. д.

Науки о Земле

Этот метод можно использовать для разделения зон изменения. . Например, когда доступны разные данные из разных зон, дискриминантный анализ может найти закономерность в данных и эффективно их классифицировать.

логистической

Дискриминантный функциональный анализ очень похож на логистическую регрессию , и оба могут использоваться для ответа на одни и те же исследовательские вопросы. Логистическая регрессия не имеет такого количества предположений и ограничений, как дискриминантный анализ. Однако, когда предположения дискриминантного анализа выполняются, он оказывается более эффективным, чем логистическая регрессия. В отличие от логистической регрессии, дискриминантный анализ можно использовать при небольших размерах выборки. Было показано, что когда размеры выборки равны и сохраняется однородность дисперсии/ковариации, дискриминантный анализ является более точным. Несмотря на все эти преимущества, логистическая регрессия, тем не менее, стала распространенным выбором, поскольку предположения дискриминантного анализа редко выполняются.

Линейный дискриминант

Геометрические аномалии в высших измерениях приводят к известному проклятию размерности . Тем не менее, правильное использование явления концентрации меры может облегчить вычисления. Важный случай благословения феномена размерности был подчеркнут Донохо и Таннером: если выборка по существу многомерна, то каждая точка может быть отделена от остальной части выборки с помощью линейного неравенства с высокой вероятностью даже для экспоненциально больших выборок. Эти линейные неравенства можно выбрать в стандартной (фишеровской) форме линейного дискриминанта для богатого семейства вероятностных распределений. В частности, такие теоремы доказываются для лог-вогнутых распределений, включая многомерное нормальное распределение (доказательство основано на неравенствах концентрации для лог-вогнутых мер ) и для мер произведения на многомерном кубе (это доказывается с помощью неравенства концентрации Талагранда для пространств вероятностей произведения). Разделение данных с помощью классических линейных дискриминантов упрощает задачу исправления ошибок для систем искусственного интеллекта в большой размерности.

См. также

• Сбор данных
• Обучение дереву решений
• Факторный анализ
• Дискриминантный анализ Кернела Фишера
• Логит (для логистической регрессии )
• Линейная регрессия
• Множественный дискриминантный анализ
• Многомерное масштабирование
• Распознавание образов
• Регрессия предпочтений
• Квадратичный классификатор
• Статистическая классификация

Дальнейшее чтение

• Дуда, Р.О.; Харт, ЧП; Аист, Д.Х. (2000). Классификация шаблонов (2-е изд.). Уайли Интерсайенс. ISBN  978-0-471-05669-0 . МР   1802993 .
• Хильбе, Дж. М. (2009). Модели логистической регрессии . Чепмен и Холл/CRC Press. ISBN  978-1-4200-7575-5 .
• Мика, С.; и другие. (1999). «Дискриминантный анализ Фишера с ядрами». Нейронные сети для обработки сигналов IX: Материалы семинара Общества обработки сигналов IEEE 1999 г. (кат. № 98TH8468) . стр. 41–48. CiteSeerX   10.1.1.35.9904 . дои : 10.1109/NNSP.1999.788121 . ISBN  978-0-7803-5673-3 . S2CID   8473401 . {{cite book}}: CS1 maint: дата и год ( ссылка )
• Макфарланд, Х. Ричард; Дональд, Сент-Пи Ричардс (2001). «Точные вероятности ошибочной классификации для подключаемых нормальных квадратичных дискриминантных функций. I. Случай равных средних» . Журнал многомерного анализа . 77 (1): 21–53. дои : 10.1006/jmva.2000.1924 .
• Макфарланд, Х. Ричард; Дональд, Сент-Пи Ричардс (2002). «Точные вероятности ошибочной классификации для подключаемых нормальных квадратичных дискриминантных функций. II. Гетерогенный случай» . Журнал многомерного анализа . 82 (2): 299–330. дои : 10.1006/jmva.2001.2034 .
• Хагигат, М.; Абдель-Мотталеб, М.; Алхалаби, В. (2016). «Дискриминантный корреляционный анализ: объединение уровней признаков в реальном времени для мультимодального биометрического распознавания» . Транзакции IEEE по информационной криминалистике и безопасности . 11 (9): 1984–1996. дои : 10.1109/TIFS.2016.2569061 . S2CID   15624506 .

Внешние ссылки

• Дискриминантный корреляционный анализ (DCA) статьи Хагигат (см. выше)
• ALGLIB содержит реализацию LDA с открытым исходным кодом на C#/C++/Pascal/VBA.
• LDA в Python — реализация LDA в Python
• Учебное пособие по LDA с использованием MS Excel
• Биомедицинская статистика. Дискриминантный анализ
• StatQuest: линейный дискриминантный анализ (LDA), подробно объясненный на YouTube
• Конспекты курса: Анализ дискриминантных функций, Дж. Дэвид Гарсон, Университет штата Северная Каролина.
• Учебник по дискриминантному анализу в Microsoft Excel от Карди Текномо
• Конспекты курса, Анализ дискриминантных функций, Дэвид В. Стокбургер, Университет штата Миссури. Архивировано 3 марта 2016 г. в Wayback Machine.
• Дискриминантный функциональный анализ (DA), Джон Поулсен и Аарон Френч, Государственный университет Сан-Франциско.