Единоразовое обучение (компьютерное зрение)

Одноразовое обучение — это проблема категоризации объектов , встречающаяся в основном в компьютерном зрении . В то время как большинство алгоритмов категоризации объектов на основе машинного обучения требуют обучения на сотнях или тысячах примеров, однократное обучение направлено на классификацию объектов на основе одного или только нескольких примеров. Для решения этих задач также используется термин «обучение с несколькими попытками» , особенно когда требуется более одного примера.

Мотивация

Способность изучать категории объектов на нескольких примерах и в быстром темпе была продемонстрирована на людях. Подсчитано, что к шести годам ребенок изучает почти все из 10–30 тысяч категорий объектов, существующих в мире. Это связано не только с вычислительной мощью человеческого разума, но и с его способностью синтезировать и изучать новые категории объектов на основе существующей информации о различных, ранее изученных категориях. Даны два примера из двух категорий объектов: один — неизвестный объект, состоящий из знакомых форм, второй — неизвестная аморфная форма; Людям гораздо легче распознать первое, чем второе, что позволяет предположить, что люди используют ранее изученные категории при изучении новых. Ключевой мотивацией для решения однократного обучения является то, что системы, как и люди, могут использовать знания о категориях объектов для классификации новых объектов.

Фон

Как и в большинстве схем классификации , однократное обучение включает в себя три основные проблемы:

• Представление: Как следует описывать объекты и категории?
• Обучение: Как можно создать такие описания?
• Распознавание: как можно отфильтровать известный объект от окружающего его беспорядка независимо от окклюзии, точки обзора и освещения?

Однократное обучение отличается от распознавания отдельных объектов и алгоритмов распознавания стандартных категорий тем, что в нем упор делается на передачу знаний, в которой используются ранее изученные категории.

• Параметры модели: повторно использует параметры модели на основе сходства между старыми и новыми категориями. Категории сначала изучаются на многочисленных обучающих примерах, затем изучаются новые категории, используя преобразования параметров модели из этих исходных категорий или выбирая соответствующие параметры для классификатора.
• Совместное использование функций: разделяет части или функции объектов по категориям. патчей Один алгоритм извлекает «диагностическую информацию» из патчей из уже изученных категорий путем максимизации взаимной информации , а затем применяет эти функции к изучению новой категории. Например, категорию собак можно выучить за один раз, основываясь на предыдущих знаниях о категориях лошадей и коров, поскольку объекты-собаки могут содержать схожие отличительные пятна.
• Контекстная информация: апеллирует к глобальным знаниям о сцене, в которой появляется объект. Такая глобальная информация может использоваться в качестве частотных распределений в системе условного случайного поля для распознавания объектов. В качестве альтернативы контекст может учитывать высоту камеры и геометрию сцены. Алгоритмы этого типа имеют два преимущества. Во-первых, они изучают относительно несходные категории объектов; и, во-вторых, они хорошо работают в специальных ситуациях, когда изображение не было обрезано и выровнено вручную.

Теория

Алгоритм байесовского однократного обучения представляет передний план и фон изображений, параметризованных смесью моделей созвездия. На этапе обучения параметры этих моделей изучаются с использованием параметра сопряженной плотности апостериорного и вариационного байесовского ожидания-максимизации (VBEM). На этом этапе ранее изученные категории объектов определяют выбор параметров модели посредством передачи контекстной информации. Для распознавания объектов на новых изображениях апостериорное изображение, полученное на этапе обучения, используется в байесовской системе принятия решений для оценки отношения p(объект | тест, поезд) к p(фоновый помех | тест, поезд), где p — вероятность результат.

Байесовский подход

Учитывая задачу поиска конкретного объекта в изображении запроса, общая цель байесовского алгоритма однократного обучения состоит в том, чтобы сравнить вероятность присутствия объекта с вероятностью присутствия только фонового помехи. Если первая вероятность выше, алгоритм сообщает о наличии объекта, в противном случае алгоритм сообщает о его отсутствии. Чтобы вычислить эти вероятности, класс объектов должен быть смоделирован из набора (1 ~ 5) обучающих изображений, содержащих примеры.

Чтобы формализовать эти идеи, позвольте $I$ быть изображением запроса, которое содержит пример категории переднего плана $O_{fg}$ или только фоновый беспорядок общей категории фона $O_{bg}$. Также пусть $I_{t}$ быть набором обучающих изображений, используемых в качестве категории переднего плана. Решение о том, $I$ содержит объект из категории переднего плана или только помехи из категории фона:

$R={\frac {p(O_{fg}|I,I_{t})}{p(O_{bg}|I,I_{t})}}={\frac {p(I|I_{t},O_{fg})p(O_{fg})}{p(I|I_{t},O_{bg})p(O_{bg})}},$

где класс позади $p(O_{fg}|I,I_{t})$ и $p(O_{bg}|I,I_{t})$ были расширены теоремой Байеса , давая соотношение правдоподобий и соотношение априорных категорий объектов . Мы решаем, что изображение $I$ содержит объект из класса переднего плана, если $R$ превышает определенный порог $T$. Затем мы представляем параметрические модели для категорий переднего и заднего плана с параметрами $\theta$ и $\theta _{bg}$ соответственно. Эта параметрическая модель переднего плана изучается на этапе обучения из $I_{t}$, а также предварительную информацию об изученных категориях. Мы предполагаем, что фоновая модель одинакова для всех изображений. Опуская постоянное соотношение априорных категорий, ${\frac {p(O_{fg})}{p(O_{bg})}}$и параметризуя по $\theta$ и $\theta _{bg}$ урожайность

$R\propto {\frac {\int {p(I|\theta ,O_{fg})p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg},O_{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(I|\theta )p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}$, упростив $p(I|\theta ,O_{fg})$ и $p(I|\theta ,O_{bg})$ к $p(I|\theta _{fg})$ и $p(I|\theta _{bg}).$

Апостериорное распределение параметров модели с учетом обучающих изображений, $p(\theta |I_{t},O_{fg})$ оценивается на этапе обучения. В этой оценке однократное обучение резко отличается от более традиционных байесовских моделей оценки, которые аппроксимируют интеграл как $\delta (\theta ^{ML})$. Вместо этого он использует вариационный подход, используя априорную информацию из ранее изученных категорий. Однако традиционная оценка максимального правдоподобия параметров модели используется для фоновой модели и категорий, изученных заранее в ходе обучения.

Модель категории объекта

Для каждого изображения запроса $I$ и обучающие изображения $I_{t}$ модель созвездия . для представления используется Чтобы получить эту модель для данного изображения $I$Сначала на изображении обнаруживается набор из N интересных областей с помощью детектора заметности Кадира – Брейди . Каждый выбранный регион представлен местоположением на изображении. $X_{i}$ и описание его внешнего вида, $A_{i}$. Сдача в аренду $X=\sum _{i=1}^{N}X_{i},A=\sum _{i=1}^{N}A_{i}$ и $X_{t}$и $A_{t}$ аналогичных представлений для обучающих изображений, выражение для R принимает вид:

$R\propto {\frac {\int {p(X,A|\theta ,O_{fg})p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg},O_{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}\,d\theta _{bg}}}$

Вероятности $p(X,A|\theta )$ и $p(X,A|\theta _{bg})$ представлены как смеси моделей созвездий. Типичная модель созвездия состоит из P(3 ~ 7) частей с N(~100) областями интересов. Таким образом, P-мерный вектор h присваивает одну интересующую область (из N областей) каждой части модели (для P частей). Таким образом, h обозначает гипотезу (отнесение областей интереса к частям модели) для модели, а полная модель созвездия представляется путем суммирования всех возможных гипотез h в пространстве гипотез. $H$. Наконец вероятность написана

$p(X,A|\theta )=\sum _{\omega =1}^{\Omega }\sum _{{\textbf {h}}\in H}p(X,A,{\textbf {h}},\omega |\theta ).$

разные $\omega$представляют разные конфигурации частей, тогда как разные гипотезы h представляют разные назначения областей частям, учитывая модель части. $\omega$. Предположение, что форма модели (представленная $X$, набор расположений деталей) и внешний вид независимы, позволяет рассмотреть выражение правдоподобия $p(X,A,{\textbf {h}},\omega |\theta )$ как две отдельные вероятности появления и формы.

Появление

Внешний вид каждой функции представлен точкой в ​​пространстве внешнего вида (о реализации обсуждается ниже). «Каждая часть $p$ в модели созвездия имеет гауссову плотность в этом пространстве со средними и точными параметрами $\theta _{p,\omega }^{A}={\mu _{p,\omega }^{A},\Gamma _{p,\omega }^{A}}$На основе них вероятность появления, описанная выше, вычисляется как произведение гауссиан на части модели для данной гипотезы h и компонента смеси. $\omega$.

Форма

Форма модели для данного компонента смеси $\omega$ а гипотеза h представлена ​​как совместная гауссова плотность расположения объектов. Эти особенности преобразуются в масштабное и трансляционно-инвариантное пространство перед моделированием относительного расположения частей с помощью 2(P - 1)-мерного гауссиана. Отсюда мы получаем вероятность формы, завершая наше представление о $p(X,A,{\textbf {h}},\omega |\theta )$ . Чтобы уменьшить количество гипотез в пространстве гипотез $H$рассматриваются только те гипотезы, которые удовлетворяют ограничению порядка, заключающемуся в том, что координата x каждой части монотонно возрастает. Это устраняет $P!$ гипотезы из $H$.

Сопряженные плотности

Чтобы вычислить $R$, интеграл $\int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta$ должна быть оценена, но аналитически трудноразрешима. Модель категории объектов, приведенная выше, дает информацию о $p(X,A|\theta )$, так что осталось изучить $p(\theta |X_{t},A_{t},O)$, задняя часть $\theta$и найдите достаточное приближение, чтобы сделать интеграл понятным. Предыдущая работа аппроксимирует заднюю часть $\delta$функция с центром в $\theta ^{*}$, сжимая рассматриваемый интеграл в $p(X,A|\theta ^{*})$. Этот $\theta ^{*}$ обычно оценивается с использованием максимального правдоподобия ( $\theta ^{*}=\theta ^{ML}$) или Максимум A сзади ( $\theta ^{*}=\theta ^{MAP}$) процедура. Однако, поскольку при однократном обучении используется мало обучающих примеров, распределение не будет четко выраженным, как предполагается в $\delta$аппроксимация функции. Таким образом, вместо этого традиционного приближения байесовский алгоритм однократного обучения стремится «найти параметрическую форму $p(\theta )$ такое, что обучение $p(\theta |X_{t},A_{t},O_{fg})$ осуществимо". Алгоритм использует распределение Нормальное - Уишарта в качестве сопряженного априора $p(\theta |X_{t},A_{t},O_{fg})$, а на этапе обучения вариационные байесовские методы используются для изучения гиперпараметров распределения с той же вычислительной сложностью, что и методы максимального правдоподобия. Тогда, поскольку $p(X,A|\theta )$ является продуктом гауссианов, выбранных в модели категории объекта, интеграл сводится к многомерному распределению Стьюдента T , которое можно оценить.

Выполнение

Обнаружение и представление функций

Чтобы обнаружить особенности изображения и представить его в виде модели созвездия, детектор значимости Кадира – Брейди используется на изображениях в оттенках серого, обнаруживая заметные области изображения. Затем эти области кластеризуются, что дает ряд особенностей (кластеров) и параметр формы. $X$, состоящий из кластерных центров. Детектор Кадира-Брэйди был выбран потому, что он создает меньше, но более заметных областей, в отличие от детекторов признаков, таких как многомасштабный Харрис, который создает многочисленные, менее значимые области.

Затем области берутся из изображения и масштабируются до небольшого участка размером 11 × 11 пикселей, что позволяет представить каждый участок в 121-мерном пространстве. Эта размерность уменьшается с помощью анализа главных компонент , и $A$, параметр внешнего вида, затем формируется из первых 10 основных компонентов каждого патча.

Обучение

Чтобы получить априорные данные о форме и внешнем виде, изучаются три категории (пятнистые кошки, лица и самолеты) с использованием оценки максимального правдоподобия. Эти параметры модели категории объекта затем используются для оценки гиперпараметров желаемых априорных значений.

Учитывая набор обучающих примеров, алгоритм запускает детектор признаков на этих изображениях и определяет параметры модели по важным областям. Индекс гипотезы h, присваивающий свойства частям, предотвращает решение линейной модели в замкнутой форме, поэтому апостериорный $p(\theta |X_{t},A_{t},O_{fg})$ оценивается с помощью вариационного алгоритма байесовского ожидания-максимизации, который выполняется до сходимости параметров после ~ 100 итераций. Изучение категории таким способом занимает менее минуты на машине с частотой 2,8 ГГц, моделью из 4 частей и <10 обучающими изображениями.

Результаты эксперимента

Пример мотоцикла

Чтобы узнать категорию мотоцикла:

• Шесть обучающих изображений выбираются из категории мотоциклов набора данных Калифорнийского технологического института 4 и применяется детектор Кадира-Брэйди, что дает $X_{t}$ и через PCA , $A_{t}$.
• Затем параметры предыдущей модели вычисляются на основе 30 моделей. $\theta _{t}$, по 10 из каждой из трех изученных категорий: пятнистые кошки, лица и самолеты. В этом априоре закодировано знание о том, что «модели, которым не хватает визуальной последовательности [т. е. фоновый беспорядок], занимают другую часть пространства параметров [от] когерентных моделей».
• При обучении, которое выполняется следующим образом, предшествующее смещает заднее. $p(\theta |X_{t},A_{t},O_{fg})$ к частям пространства параметров, соответствующим когерентным моделям. Используется только один компонент смеси, что позволяет $\Omega =1$. Оценка задней части показана ниже.
• Наконец, на рисунках ниже показана изученная модель мотоцикла с формой и внешним видом деталей, а также соответствующими характеристиками.
• Для тестов на распознавание приведенная выше модель применяется к 50 изображениям, на которых есть мотоциклы, и к 50 изображениям, на которых их нет. На изображении ниже показана кривая ROC, измеряющая вероятность обнаружения по сравнению с вероятностью ложного обнаружения, а также некоторые признанные примеры.

Общие плотности при преобразованиях

Другой алгоритм использует передачу знаний по параметрам модели для изучения новой категории объектов, внешне похожей на ранее изученные категории. Изображение представляется либо как текстура и форма, либо как скрытое изображение, которое было преобразовано, что обозначается $I=T(I_{L})$.

Сиамская нейронная сеть работает в тандеме с двумя разными входными векторами для вычисления сопоставимых выходных векторов.

Застывание

В этом контексте сгущение — это «одновременная векторизация каждого из набора изображений друг к другу». Для набора обучающих изображений определенной категории сгущение итеративно преобразует каждое изображение, чтобы минимизировать совместную попиксельную энтропию изображений E, где

$E=\sum _{p=1}^{P}H(\nu (p)),$

"где $\nu (p)$ — двоичная случайная величина, определяемая значениями конкретного пикселя p на всех изображениях, $H()$ - дискретная энтропийная функция этой переменной, а $1\leq p\leq P$ — это набор индексов пикселей изображения».

Алгоритм сгущения начинается с набора изображений $I_{i}$ и соответствующая матрица преобразования $U_{i}$, который в конце алгоритма будет представлять собой преобразование $I_{i}$ в его скрытую $I_{L_{i}}$. Эти скрытые $I_{L_{i}}$ минимизировать совместную попиксельную энтропию. Таким образом, задачей алгоритма сгущения является оценка преобразований $U_{i}$.

Эскиз алгоритма:

• Инициализировать $U_{I}$это к личности.
• Вычислите совместную попиксельную энтропию текущего набора изображений.
• Для каждого изображения $I_{i}$, перебрать все возможные аффинные преобразования $A$ (вращение, перемещение по оси X, перемещение по оси Y, масштаб по оси X, масштаб по оси Y, сдвиг по оси X, сдвиг по оси y) и проверьте, если $AU_{i}$ уменьшает совместную пиксельную энтропию. Если да, установите $U_{i}=AU_{i}$.
• Повторите предыдущий шаг до схождения.

В конце алгоритма $U_{i}(I)=I_{L_{i}}$, и $T=U_{i}^{-1}$ преобразует скрытое изображение обратно в первоначально наблюдаемое изображение.

Классификация

Чтобы использовать эту модель для классификации, ее необходимо оценить с максимальной апостериорной вероятностью для наблюдаемого изображения. $I$. Применяя правило Байеса к $P(c_{j}|I)$ и параметризация преобразованием $T$ дает сложный интеграл, который необходимо аппроксимировать, а затем наилучшее преобразование $T$ (то, что сопоставляет тестовое изображение с его скрытым изображением) должно быть найдено. Как только это преобразование найдено, тестовое изображение может быть преобразовано в его скрытое, а классификатор ближайшего соседа, основанный на расстоянии Хаусдорфа между изображениями, может классифицировать скрытое (и, следовательно, тестовое изображение) как принадлежащее определенному классу. $c_{j}$.

Найти $T$, тестовое изображение I вставляется в обучающий ансамбль для процесса застывания. Поскольку тестовое изображение взято из одной из категорий $c_{j}$, застывание обеспечивает соответствующее $T_{\text{test}}=U_{\text{test}}^{-1}$ это отображает Я в его скрытое состояние. Тогда латентное можно классифицировать.

Однопримерная классификация

Учитывая набор преобразований $B_{i}$ полученный в результате объединения множества изображений определенной категории, классификатор можно расширить на случай, когда только одно обучающее $I_{t}$ пример новой категории $c$ разрешено. Применение всех преобразований $B_{i}$ последовательно, чтобы $I_{t}$ создает искусственный обучающий набор для $c$. Этот искусственный набор данных можно увеличить, заимствовав преобразования из многих уже известных категорий. Как только этот набор данных будет получен, $I$, тестовый экземпляр $c$, могут быть классифицированы так же, как и в обычной процедуре классификации. Ключевое предположение заключается в том, что категории достаточно схожи, чтобы преобразования одной можно было применить к другой.

См. также

• Вариационные байесовские методы
• Вариационная передача сообщений
• Алгоритм ожидания-максимизации
• Байесовский вывод
• Обнаружение функций
• Изучение правил ассоциации
• Сеть Хопфилда
• Обучение с нулевым выстрелом

Ссылки

• Ли, Фей Фей (2006). «Передача знаний при обучении распознаванию классов визуальных объектов» (PDF) . Международная конференция по развитию и обучению (ICDL) .
• Ли, Фэй Фэй; Фергюс, Р.; Перона, П. (2006). «Однократное изучение категорий объектов» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 28 (4): 594–611. дои : 10.1109/TPAMI.2006.79 . ПМИД   16566508 . S2CID   6953475 .
• Миллер; Мацакис; Виола (2000). «Обучение на одном примере с помощью общей плотности преобразований» (PDF) . Учеб. Компьютерное зрение и распознавание образов .
• Ли, ФФ; ВанРуллен, Р.; Коч, К.; Перона, П. (2002). «Быстрая категоризация естественных сцен при почти полном отсутствии внимания» . ПНАС . 99 (14): 9596–9601. Бибкод : 2002PNAS...99.9596L . дои : 10.1073/pnas.092277599 . ПМК   123186 . ПМИД   12077298 .
• Торп, С.; Файз, Д.; Марло, К. (1996). «Скорость обработки данных в зрительной системе человека» (PDF) . Природа . 381 (6582): 520–522, 1996. Бибкод : 1996Natur.381..520T . дои : 10.1038/381520a0 . ПМИД   8632824 . S2CID   4303570 .
• Бидерман, И. (1987). «Распознавание по компонентам: теория человеческого понимания» (PDF) . Психологический обзор . 94 (2): 115–147. дои : 10.1037/0033-295X.94.2.115 . ПМИД   3575582 .
• Финк, М. (2004). «Классификация объектов на основе одного примера с использованием псевдометрик релевантности класса». НИПС . CiteSeerX   10.1.1.91.7461 .
• Барт; Ульман (2005). «Перекрестное обобщение: изучение новых классов на одном примере путем замены функций» (PDF) . ЦВПР .
• Мерфи, К.; Торральба, А.; Фриман, WT (2004). «Использование леса, чтобы увидеть деревья: графическая модель, связывающая особенности, объекты и сцены» (PDF) . НИПС .
• Хойем, Д.; Эфрос, А.А.; Герберт, М. (2005). «Геометрический контекст из одного изображения» (PDF) . ИККВ .
• Аттиас, Х. (1999). «Вывод параметров и структуры моделей со скрытыми переменными с помощью вариационного Байеса». Учеб. Из 15-й конф. Неопределенность искусственного интеллекта : 21–30. arXiv : 1301.6676 .
• Берл, М.; Вебер, М.; Перона, П. (1996). «Вероятностный подход к распознаванию объектов с использованием локальной фотометрии и глобальной геометрии» (PDF) . Учеб. Европейская конф. Компьютерное зрение . Конспекты лекций по информатике. 1407 : 628–641. дои : 10.1007/BFb0054769 . ISBN  978-3-540-64613-6 .
• Фергюс, Р.; Перона, П.; Зиссерман, А. (2003). «Распознавание классов объектов посредством неконтролируемого масштабно-инвариантного обучения» (PDF) . Учеб. Компьютерное зрение и распознавание образов : 264–271.
• Вебер, М.; Веллинг, М.; Перона, П. (2000). «Обучение моделей распознавания без учителя» (PDF) . Учеб. Европейская конф. Компьютерное зрение . Конспекты лекций по информатике. 1842 : 101–108. дои : 10.1007/3-540-45054-8_2 . ISBN  978-3-540-67685-0 .
• Кадир, Т.; Брэди, М. (2001). «Масштаб, значимость и описание изображения» . Международный журнал компьютерного зрения . 45 (2): 83–105. дои : 10.1023/А:1012460413855 . S2CID   825395 .