Квадратичный классификатор

В статистике квадратичный классификатор — это статистический классификатор , который использует квадратичную поверхность решений для разделения измерений двух или более классов объектов или событий. Это более общая версия линейного классификатора .

Проблема классификации

Статистическая классификация рассматривает набор векторов наблюдений $x$ объекта или события, каждый из которых имеет известный тип $y$ . Этот набор называется обучающим набором . Тогда проблема состоит в том, чтобы для данного нового вектора наблюдения определить, каким должен быть лучший класс. Для квадратичного классификатора предполагается, что правильное решение является квадратичным в измерениях, поэтому $решение y$ будет определяться на основе $\mathbf {x^{T}Ax} +\mathbf {b^{T}x} +c$

В особом случае, когда каждое наблюдение состоит из двух измерений, это означает, что поверхности, разделяющие классы, будут коническими сечениями (т. е. линией , кругом или эллипсом , параболой или гиперболой ). В этом смысле можно утверждать, что квадратичная модель является обобщением линейной модели, и ее использование оправдано желанием расширить возможности классификатора по представлению более сложных разделяющих поверхностей.

Квадратичный дискриминантный анализ

Квадратичный дискриминантный анализ (QDA) тесно связан с линейным дискриминантным анализом (LDA), где предполагается, что измерения каждого класса нормально распределены . ^[1] Однако, в отличие от LDA, в QDA не предполагается, что ковариация каждого из классов идентична. ^[2] Когда предположение о нормальности верно, наилучшей возможной проверкой гипотезы о том, что данное измерение принадлежит к данному классу, является тест отношения правдоподобия . Предположим, что есть только две группы со средними значениями $\mu _{0},\mu _{1}$ и ковариационные матрицы $\Sigma _{0},\Sigma _{1}$ соответствующий $y=0$ и $y=1$ соответственно. Тогда отношение правдоподобия определяется выражением ${\text{Likelihood ratio}}={\frac {{\sqrt {2\pi |\Sigma _{1}|}}^{-1}\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }}_{1})^{T}\Sigma _{1}^{-1}(\mathbf {x} -{\boldsymbol {\mu }}_{1})\right)}{{\sqrt {2\pi |\Sigma _{0}|}}^{-1}\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }}_{0})^{T}\Sigma _{0}^{-1}(\mathbf {x} -{\boldsymbol {\mu }}_{0})\right)}}<t$ за какой-то порог $t$ . После некоторой перестановки можно показать, что полученная поверхность разделения между классами является квадратичной. Выборочные оценки среднего вектора и матриц дисперсии-ковариации заменят величины совокупности в этой формуле.

Другой

Хотя QDA является наиболее часто используемым методом получения классификатора, возможны и другие методы. Одним из таких методов является создание более длинного вектора измерений из старого путем сложения всех попарных произведений отдельных измерений. Например, вектор $[x_{1},\;x_{2},\;x_{3}]$ стал бы $[x_{1},\;x_{2},\;x_{3},\;x_{1}^{2},\;x_{1}x_{2},\;x_{1}x_{3},\;x_{2}^{2},\;x_{2}x_{3},\;x_{3}^{2}].$

В этом случае поиск квадратичного классификатора для исходных измерений станет тем же, что и поиск линейного классификатора на основе расширенного вектора измерений. Это наблюдение было использовано при расширении моделей нейронных сетей; ^[3] «круговой» случай, соответствующий введению только суммы чистых квадратичных членов $\;x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+\cdots \;$ без смешанных продуктов ( $\;x_{1}x_{2},\;x_{1}x_{3},\;\ldots \;$ ), оказалось оптимальным компромиссом между расширением возможностей представления классификатора и контролем риска переобучения ( размерность Вапника-Червоненкиса ). ^[4]

Для линейных классификаторов, основанных только на скалярном произведении , эти расширенные измерения не нужно фактически вычислять, поскольку скалярное произведение в многомерном пространстве просто связано со скалярным произведением в исходном пространстве. Это пример так называемого трюка с ядром , который можно применить к линейному дискриминантному анализу, а также к машине опорных векторов .

Ссылки

Цитаты

^ Тарват, Алаа (2016). «Классификатор линейного и квадратичного дискриминантного анализа: учебное пособие» . Международный журнал прикладного распознавания образов . 3 (2): 145. doi : 10.1504/IJAPR.2016.079050 . ISSN 2049-887X .
^ «Линейный и квадратичный дискриминантный анализ · Руководство по программированию UC Business Analytics R» . uc-r.github.io . Проверено 29 марта 2020 г.
^ Обложка ТМ (1965). «Геометрические и статистические свойства систем линейных неравенств с приложениями в распознавании образов». Транзакции IEEE на электронных компьютерах . EC-14 (3): 326–334. дои : 10.1109/pgec.1965.264137 .
^ Риделла С., Роветта С., Зунино Р. (1997). «Круговые сети обратного распространения ошибки для классификации». Транзакции IEEE в нейронных сетях . 8 (1): 84–97. дои : 10.1109/72.554194 . ПМИД 18255613 . href IEEE: [1] .

Общие ссылки

Сатьянараяна, Шаши (2010). «Букварь по распознаванию образов II» . Демонстрационный проект Wolfram .

[1] Тарват, Алаа (2016). «Классификатор линейного и квадратичного дискриминантного анализа: учебное пособие» . Международный журнал прикладного распознавания образов . 3 (2): 145. doi : 10.1504/IJAPR.2016.079050 . ISSN 2049-887X .

[2] «Линейный и квадратичный дискриминантный анализ · Руководство по программированию UC Business Analytics R» . uc-r.github.io . Проверено 29 марта 2020 г.

[3] Обложка ТМ (1965). «Геометрические и статистические свойства систем линейных неравенств с приложениями в распознавании образов». Транзакции IEEE на электронных компьютерах . EC-14 (3): 326–334. дои : 10.1109/pgec.1965.264137 .

[4] Риделла С., Роветта С., Зунино Р. (1997). «Круговые сети обратного распространения ошибки для классификации». Транзакции IEEE в нейронных сетях . 8 (1): 84–97. дои : 10.1109/72.554194 . ПМИД 18255613 . href IEEE: [1] .

[1]

[2]

[3]

[4]