Каскадные классификаторы

Каскадирование — это частный случай ансамблевого обучения, основанный на объединении нескольких классификаторов с использованием всей информации, собранной на выходе данного классификатора, в качестве дополнительной информации для следующего классификатора в каскаде. В отличие от ансамблей голосования или стекирования, которые представляют собой многоэкспертные системы, каскадирование является многоэтапным.

Каскадные классификаторы обучаются на нескольких сотнях «положительных» выборочных представлений конкретного объекта и произвольных «негативных» изображений того же размера. После обучения классификатора его можно применить к области изображения и обнаружить рассматриваемый объект. Для поиска объекта по всему кадру окно поиска можно перемещать по изображению и проверять каждое место с помощью классификатора. Этот процесс чаще всего используется при обработке изображений для обнаружения и отслеживания объектов, в первую очередь для обнаружения и распознавания лиц .

Первым каскадным классификатором стал детектор лиц Виолы и Джонса (2001) . Требование к этому классификатору заключалось в том, чтобы он был быстрым, чтобы его можно было реализовать на процессорах с низким энергопотреблением , таких как камеры и телефоны.

Свойства алгоритма

Масштабирование и повороты

Из этого описания видно, что классификатор не принимает лица, перевернутые (брови находятся в неправильном положении) или боковые части лица (нос уже не в центре, а тени сбоку). нос может отсутствовать). Отдельные каскадные классификаторы должны быть обучены для каждого поворота, который не находится в плоскости изображения (сторона лица), и должны быть переобучены или запущены на повернутых объектах для каждого поворота, который находится в плоскости изображения (лицо вверх ногами или наклонено к лицу). сторона). Масштабирование не является проблемой, поскольку объекты можно масштабировать (центральный пиксель, левые и правые пиксели имеют размер только относительно исследуемого прямоугольника). В последних каскадах значения пикселей из одной части прямоугольника по сравнению с другой были заменены вейвлетами Хаара .

Свойства сцены

Для достижения хороших результатов в целом необходимо соблюдение следующих критериев:

На каждом этапе необходимо проверять все лица и может привести к множеству ложных срабатываний. Например, если на этапе 1 20% прямоугольников, содержащих лицо, будут отмечены как «не содержат лица» (доля ложноотрицательных результатов = 20%), то общая производительность цепочки не может быть выше 80% истинно положительных результатов, независимо от того, что следующие этапы, так как 20% лиц уже отклонено.
Это предполагает, что хороший этап должен иметь 100% истинного положительного результата и, например, 40% ложного положительного результата, то есть принимать все прямоугольники, содержащие лица, и ошибочно отмечать многие прямоугольники как потенциально содержащие лицо, чтобы их можно было исключить на более поздних этапах. На первом этапе 100 % истинного положительного результата и 40 % ложного положительного результата по-прежнему дают много ложноотрицательных результатов. Если только 1 из 1000 прямоугольников на изображении содержит лицо, после первого этапа все равно будет 400 к 1 ложноположительных возможных лиц. .
Если первый этап очень быстрый (несколько операций), мы очень быстро исключили 60% прямоугольников, не содержащих грани.

Таким образом, процедура обучения на одном этапе состоит в том, чтобы иметь много слабых учеников (простые операторы разности пикселей), обучать их как группу (увеличивать их вес, если они дают правильный результат), но помнить о том, что активных слабых учеников должно быть всего несколько, чтобы вычисления время остается низким.

Первый детектор Виолы и Джонса имел 38 ступеней: 1 особенность на первой стадии, затем 10, 25, 25, 50 на следующих пяти ступенях, всего 6000 функций. На первых этапах быстро удаляются ненужные прямоугольники, чтобы избежать вычислительных затрат на следующих этапах, поэтому время вычислений тратится на глубокий анализ той части изображения, которая с высокой вероятностью содержит объект.

Каскадное обучение

Каскады обычно выполняются с помощью экономичного ADAboost. Порог чувствительности (0,8 в нашем примере) можно отрегулировать так, чтобы количество истинных срабатываний было близко к 100%, а также было несколько ложных срабатываний. Затем процедуру можно начать снова для этапа 2, пока не будет достигнута желаемая точность/время расчета.

После первоначального алгоритма стало понятно, что обучение каскада в целом можно оптимизировать для достижения желаемой истинной скорости обнаружения с минимальной сложностью. Примерами таких алгоритмов являются RCBoost, ECBoost или RCECBoost. В своих самых основных версиях их можно понимать как выбор на каждом этапе между добавлением этапа или добавлением слабого обучающегося на предыдущий этап, в зависимости от того, что менее затратно, до тех пор, пока не будет достигнута желаемая точность. На каждом этапе классификатора уровень обнаружения (чувствительность) не может быть ниже желаемого, поэтому это проблема ограниченной оптимизации . Точнее, общая чувствительность будет произведением чувствительности сцены.

Каскадные классификаторы доступны в OpenCV с предварительно обученными каскадами для фронтальных лиц и верхней части тела. Обучение нового каскада в OpenCV также возможно с помощью методов haar_training или train_cascades. Это можно использовать для быстрого обнаружения более конкретных целей, включая объекты, не относящиеся к человеку, с характеристиками, подобными Хаару . Для этого процесса требуется два набора образцов: отрицательные и положительные, причем отрицательные образцы соответствуют произвольным изображениям, не являющимся объектами. Ограничение по времени при обучении каскадного классификатора можно обойти с помощью методов облачных вычислений .

Каскадные классификаторы в статистике

Этот термин также используется в статистике для описания инсценированной модели. Например, классификатор (например, k -means) принимает вектор признаков (переменные решения) и выводит для каждого возможного результата классификации вероятность того, что вектор принадлежит классу. Обычно это используется для принятия решения (отнесения к классу с наибольшей вероятностью), но каскадные классификаторы используют этот результат в качестве входных данных для другой модели (другого этапа). Это особенно полезно для моделей, которые имеют строго комбинаторные правила или правила подсчета (например, класс 1, если ровно два признака отрицательны, класс 2 в противном случае), которые невозможно подобрать без рассмотрения всех условий взаимодействия. Наличие каскадных классификаторов позволяет на последующем этапе постепенно приближать комбинаторный характер классификации или добавлять условия взаимодействия в алгоритмы классификации, которые не могут выразить их на одном этапе.

В качестве простого примера: если мы попытаемся соответствовать правилу (класс 1, если ровно 2 признака из 3 отрицательны, класс 2 в противном случае), дерево решений будет таким:

особенность 1 отрицательная
- особенность 2 отрицательная
  - признак 3 отрицательный -> класс 2
  - признак 3 положительный -> класс 1
- особенность 2 положительная
  - особенность 3 отрицательная -> класс 1
  - признак 3 положительный -> класс 2
особенность 1 положительная
- особенность 2 отрицательная
  - особенность 3 отрицательная -> класс 1
  - признак 3 положительный -> класс 2
- особенность 2 положительная
  - признак 3 отрицательный -> класс 2
  - признак 3 положительный -> класс 2

Дерево имеет все комбинации возможных листьев для выражения полного набора правил, тогда как (feature1 положительная, Feature2 отрицательная) и (feature1 отрицательная, Feature2 положительная) фактически должны присоединиться к одному и тому же правилу. Это приводит к тому, что на листьях дерева оказывается слишком мало образцов. Двухэтапный алгоритм может эффективно объединить эти два случая, присвоив классу 1 средне-высокую вероятность, если признак 1 или (исключительный) признак 2 отрицательны. Второй классификатор может уловить эту более высокую вероятность и принять решение о знаке признака 3.

При разложении систематической ошибки каскадные модели обычно рассматриваются как уменьшающие систематическую ошибку и одновременно увеличивающие дисперсию.

См. также

Ссылки

Источники

Гама, Дж.; Браздил, П. (2000). «Каскадное обобщение». Машинное обучение . 41 (3): 315–343. CiteSeerX 10.1.1.46.635 . дои : 10.1023/а:1007652114878 . S2CID 36907021 .
Мингийон, Дж. (2002). О каскадных малых деревьях решений (кандидатская диссертация). Автономный университет Барселоны.
Чжао, Х.; Рам, С. (2004). «Ограниченное каскадное обобщение деревьев решений». Транзакции IEEE по знаниям и инженерии данных . 16 (6): 727–739. CiteSeerX 10.1.1.199.2077 . дои : 10.1109/tkde.2004.3 . S2CID 8937272 .