Одноклассовая классификация

В машинном обучении классификация одного класса ( OCC ), также известная как унарная классификация или моделирование классов , пытается идентифицировать объекты определенного класса среди всех объектов, в первую очередь обучаясь на обучающем наборе, содержащем только объекты этого класса. хотя существуют варианты одноклассовых классификаторов, в которых для дальнейшего уточнения границ классификации используются контрпримеры. Это отличается от традиционной задачи классификации , которая пытается различить два или более классов, а обучающий набор содержит объекты из всех классов. Примеры включают мониторинг редукторов вертолетов, прогнозирование отказа двигателя, или эксплуатационное состояние атомной станции как «нормальное»: В этом сценарии примеров катастрофических состояний системы мало, если вообще они есть; известна только статистика нормальной работы.

Хотя многие из вышеперечисленных подходов ориентированы на удаление небольшого количества выбросов или аномалий, можно также изучить другую крайность, когда один класс охватывает небольшое связное подмножество данных, используя подход, основанный на узком месте информации .

Обзор

Термин одноклассовая классификация (OCC) был придуман Мойей и Хашем (1996). В научной литературе можно найти множество применений, например обнаружение выбросов , обнаружение аномалий , обнаружение новизны . Особенностью OCC является то, что он использует только точки выборки из назначенного класса, поэтому репрезентативная выборка не является строго обязательной для нецелевых классов.

Введение

Гиперсфера, содержащая целевые данные, имеющая центр c и радиус r. Объекты на границе являются опорными векторами, а два объекта лежат за пределами границы, имея запас прочности больше 0.

Классификация одного класса (OCC) на основе SVM основана на определении наименьшей гиперсферы (с радиусом r и центром c), состоящей из всех точек данных. Этот метод называется описанием данных опорного вектора (SVDD). Формально задачу можно определить в следующей форме ограниченной оптимизации:

$$\min _{r,c}r^{2}{\text{ subject to, }}||\Phi (x_{i})-c||^{2}\leq r^{2}\;\;\forall i=1,2,...,n$$

Однако приведенная выше формулировка является весьма ограничительной и чувствительна к наличию выбросов. Таким образом, гибкая формулировка, допускающая наличие выбросов, формулируется, как показано ниже:

$\min _{r,c,\zeta }r^{2}+{\frac {1}{\nu n}}\sum _{i=1}^{n}\zeta _{i}$

${\text{subject to, }}||\Phi (x_{i})-c||^{2}\leq r^{2}+\zeta _{i}\;\;\forall i=1,2,...,n$

Из условий оптимальности Каруша-Куна-Такера (ККТ) получаем

$c=\sum _{i=1}^{n}\alpha _{i}\Phi (x_{i}),$

где $\alpha _{i}$являются решением следующей задачи оптимизации:

$\max _{\alpha }\sum _{i=1}^{n}\alpha _{i}\kappa (x_{i},x_{i})-\sum _{i,j=1}^{n}\alpha _{i}\alpha _{j}\kappa (x_{i},x_{j})$

при условии, $\sum _{i=1}^{n}\alpha _{i}=1{\text{ and }}0\leq \alpha _{i}\leq {\frac {1}{\nu n}}{\text{for all }}i=1,2,...,n.$

Введение функции ядра обеспечивает дополнительную гибкость алгоритму SVM одного класса (OSVM).

ПУ (положительное немаркированное) обучение

Аналогичная проблема — PU-обучение , при котором двоичный классификатор изучается полуконтролируемым способом только из положительных и немаркированных точек выборки.

При ПУ-обучении предполагается, что для обучения доступны два набора примеров: положительный набор $P$ и смешанный набор $U$, который, как предполагается, содержит как положительные, так и отрицательные образцы, но без соответствующей маркировки. Это контрастирует с другими формами полуконтролируемого обучения, где предполагается, что в дополнение к немаркированным образцам доступен маркированный набор, содержащий примеры обоих классов. Существует множество методов адаптации контролируемых классификаторов к условиям обучения PU, включая варианты алгоритма EM . PU-обучение успешно применяется к тексту , временной ряд, биоинформатики , задачи и данные дистанционного зондирования.

Подходы

Было предложено несколько подходов для решения одноклассовой классификации (OCC). Подходы можно разделить на три основные категории: оценка плотности , граничные методы и методы реконструкции .

Методы оценки плотности

Методы оценки плотности основаны на оценке плотности точек данных и установке порогового значения. Эти методы основаны на предположении о распределениях, таких как распределение Гаусса или распределение Пуассона . После этого тесты на несогласованность можно использовать для проверки новых объектов. Эти методы устойчивы к масштабной дисперсии.

Гауссова модель — один из простейших методов создания одноклассовых классификаторов. Согласно Центральной предельной теореме (CLT), эти методы работают лучше всего, когда присутствует большое количество выборок, и их возмущают небольшие независимые значения ошибок. Распределение вероятностей для d-мерного объекта определяется следующим образом:

$p_{\mathcal {N}}(x;\mu ;\Sigma )={\frac {1}{(2\pi )^{\frac {d}{2}}|\Sigma |^{\frac {1}{2}}}}\exp\{-{\frac {1}{2}}(z-\mu )^{T}\Sigma ^{-1}(z-\mu )\}$

Где, $\mu$ это среднее и $\Sigma$ — ковариационная матрица. Вычисление обратной ковариационной матрицы ( $\Sigma ^{-1}$) является самой дорогостоящей операцией, и в тех случаях, когда данные не масштабируются должным образом или данные имеют сингулярные направления, псевдообратная операция. $\Sigma ^{+}$используется для аппроксимации обратного и рассчитывается как $\Sigma ^{T}(\Sigma \Sigma ^{T})^{-1}$.

Граничные методы

Граничные методы направлены на установление границ вокруг нескольких наборов точек, называемых целевыми точками. Эти методы пытаются оптимизировать объем. Граничные методы основаны на расстояниях и, следовательно, не устойчивы к масштабной дисперсии. Метод K-центров, NN-d и SVDD являются одними из ключевых примеров.

К-центры

В алгоритме K-центра $k$ маленькие шарики одинакового радиуса размещаются так, чтобы минимизировать максимальное расстояние из всех минимальных расстояний между тренировочными объектами и центрами. Формально минимизируется следующая ошибка:

$\varepsilon _{k-center}=\max _{i}(\min _{k}||x_{i}-\mu _{k}||^{2})$

Алгоритм использует метод прямого поиска со случайной инициализацией, где радиус определяется максимальным расстоянием до объекта, который должен захватить любой данный шар. После определения центров для любого заданного объекта контроля $z$ расстояние можно рассчитать как:

$d_{k-centr}(z)=\min _{k}||z-\mu _{k}||^{2}$

Методы реконструкции

Методы реконструкции используют предварительные знания и процесс генерации для построения модели генерации, которая лучше всего соответствует данным. Новые объекты можно описывать с точки зрения состояния порождающей модели. Некоторыми примерами методов реконструкции для OCC являются кластеризация k-средних, квантование обучающего вектора, самоорганизующиеся карты и т. Д.

Приложения

Классификация документов

Базовая парадигма машины опорных векторов (SVM) обучается с использованием как положительных, так и отрицательных примеров, однако исследования показали, что существует множество веских причин для использования только положительных примеров. Когда алгоритм SVM модифицируется для использования только положительных примеров, этот процесс считается классификацией одного класса. Одной из ситуаций, когда этот тип классификации может оказаться полезным для парадигмы SVM, является попытка идентифицировать интересующие сайты веб-браузера, основываясь только на истории посещений пользователя.

Биомедицинские исследования

Классификация по одному классу может быть особенно полезна в биомедицинских исследованиях, где часто бывает трудно или невозможно получить данные из других классов. При изучении биомедицинских данных может быть сложно и/или дорого получить набор размеченных данных из второго класса, который был бы необходим для выполнения классификации на два класса. Исследование журнала The Scientific World Journal показало, что подход типичности является наиболее полезным при анализе биомедицинских данных, поскольку его можно применять к любому типу набора данных (непрерывному, дискретному или номинальному). Подход типичности основан на кластеризации данных путем анализа данных и размещения их в новых или существующих кластерах. Чтобы применить типичность к одноклассовой классификации биомедицинских исследований, каждое новое наблюдение $y_{0}$, сравнивается с целевым классом, $C$и идентифицируется как выброс или член целевого класса.

Неконтролируемое обнаружение отклонения концепции

Классификация одного класса имеет сходство с неконтролируемым обнаружением отклонения концепции, где обе цели направлены на определение того, имеют ли невидимые данные схожие характеристики с исходными данными. Концепция называется фиксированным распределением вероятностей, из которого извлекаются данные. При неконтролируемом обнаружении отклонения концепции цель состоит в том, чтобы определить, изменяется ли распределение данных, без использования меток классов. В одноклассовой классификации поток данных не важен. Невидимые данные классифицируются как типичные или выпадающие в зависимости от их характеристик, независимо от того, соответствуют ли они исходной концепции или нет. Однако неконтролируемое обнаружение дрейфа отслеживает поток данных и сигнализирует о дрейфе, если имеется значительное количество изменений или аномалий. Обнаружение дрейфа концепции без присмотра можно определить как непрерывную форму одноклассовой классификации. Классификаторы одного класса используются для обнаружения отклонений понятий.

См. также

• Мультиклассовая классификация
• Обнаружение аномалий
• Обучение под присмотром