Контекстная классификация изображений

Контекстная классификация изображений , тема распознавания образов в компьютерном зрении , представляет собой подход классификации , основанный на контекстной информации в изображениях. «Контекстуальный» означает, что этот подход фокусируется на отношениях соседних пикселей, которые также называются соседством. Целью этого подхода является классификация изображений с использованием контекстной информации.

Введение

Подобно языку обработки , одно слово может иметь несколько значений, если не указан контекст, а шаблоны в предложениях — единственные информативные сегменты, которые нас интересуют. Для изображений принцип тот же. Найдите закономерности и свяжите с ними правильные значения.

Как показано на изображении ниже, если показана только небольшая часть изображения, очень сложно понять, о чем оно.

Mouth

Даже попробуйте другую часть изображения, классифицировать изображение все равно сложно.

Left eye

Однако если повысить контекстуальность изображения, то распознавание имеет больше смысла.

Увеличение поля улыбающегося лица

Как показано на полных изображениях ниже, почти каждый может легко его классифицировать.

Полное изображение

Во время процедуры сегментации методы, не использующие контекстную информацию, чувствительны к шуму и вариациям, поэтому результат сегментации будет содержать большое количество неправильно классифицированных областей, и часто эти области малы (например, один пиксель).

По сравнению с другими методами этот подход устойчив к шуму и существенным изменениям, поскольку учитывает непрерывность сегментов.

Ниже будут описаны несколько методов этого подхода.

Приложения

Работает как фильтр постобработки для помеченного изображения.

Этот подход очень эффективен против небольших областей, вызванных шумом. И эти небольшие области обычно состоят из нескольких пикселей или одного пикселя. Этим регионам присвоена наиболее вероятная метка.Однако у этого метода есть недостаток. Маленькие регионы также могут быть образованы правильными регионами, а не шумом, и в этом случае метод фактически ухудшает классификацию.Этот подход широко используется в приложениях дистанционного зондирования .

Улучшение классификации постобработки

Это двухэтапный процесс классификации:

1. Для каждого пикселя пометьте его и сформируйте для него новый вектор признаков.
2. Используйте новый вектор признаков и объедините контекстную информацию, чтобы присвоить окончательную метку объекту.

Объединение пикселей на более ранних этапах

Вместо использования отдельных пикселей соседние пиксели можно объединить в однородные области, используя контекстную информацию. И предоставьте эти регионы классификатору.

Получение функции пикселя из окрестности

Исходные спектральные данные могут быть дополнены добавлением контекстной информации, переносимой соседними пикселями, или даже заменены в некоторых случаях. Этот вид методов предварительной обработки широко используется при распознавании текстурированных изображений . Типичные подходы включают средние значения, дисперсии, описание текстуры и т. д.

Объединение спектральной и пространственной информации

Классификатор использует уровень серого и окрестности пикселей (контекстную информацию) для присвоения меток пикселям. В таком случае информация представляет собой комбинацию спектральной и пространственной информации.

На базе классификатора минимальных ошибок Байеса

Контекстная классификация данных изображения основана на классификаторе минимальных ошибок Байеса (также известном как наивный классификатор Байеса ).

Представьте пиксель :

• Пиксель обозначается как $x_{0}$.
• Окрестность каждого пикселя $x_{0}$ является вектором и обозначается как $N(x_{0})$.
  • Значения в векторе окрестности обозначаются как $f(x_{i})$.
  • Каждый пиксель представлен вектором

$\xi =\left(f(x_{0}),f(x_{1}),\ldots ,f(x_{k})\right)$

$x_{i}\in N(x_{0});\quad i=1,\ldots ,k$

• Метки (классификация) пикселей по соседству $N(x_{0})$ представлены в виде вектора

$\eta =\left(\theta _{0},\theta _{1},\ldots ,\theta _{k}\right)$

$\theta _{i}\in \left\{\omega _{0},\omega _{1},\ldots ,\omega _{k}\right\}$

$\omega _{s}$ здесь обозначает назначенный класс.

• Вектор представляет метки в окрестностях $N(x_{0})$ без пикселя $x_{0}$

${\hat {\eta }}=\left(\theta _{1},\theta _{2},\ldots ,\theta _{k}\right)$

Район :Размер квартала. Ограничения на размер нет, но он считается относительно небольшим для каждого пикселя. $x_{0}$.Разумный размер района будет $3\times 3$ 4- связности или 8-связности ( $x_{0}$ отмечен красным и расположен в центре).

• 
  район с 4 связями ,
• 
  с 8 связями Район

Расчет :

Применить минимальную классификацию ошибок к пикселю $x_{0}$, если вероятность класса $\omega _{r}$ представляю пиксель $x_{0}$ является самым высоким среди всех, то присвойте $\omega _{r}$ как его класс.

$\theta _{0}=\omega _{r}\quad {\text{ if }}\quad P(\omega _{r}\mid f(x_{0}))=\max _{s=1,2,\ldots ,R}P(\omega _{s}\mid f(x_{0}))$

Правило контекстной классификации описано ниже, оно использует вектор признаков $x_{1}$ скорее, чем $x_{0}$.

$\theta _{0}=\omega _{r}\quad {\text{ if }}\quad P(\omega _{r}\mid \xi )=\max _{s=1,2,\ldots ,R}P(\omega _{s}\mid \xi )$

Используйте формулу Байеса для расчета апостериорной вероятности. $P(\omega _{s}\mid \xi )$

$P(\omega _{s}\mid \xi )={\frac {p(\xi \mid \omega _{s})P(\omega _{s})}{p\left(\xi \right)}}$

Количество векторов совпадает с количеством пикселей в изображении. Для классификатора используется вектор, соответствующий каждому пикселю. $x_{i}$, а вектор генерируется из окрестности пикселя.

Основные этапы контекстной классификации изображений :

1. Вычислить вектор признаков $\xi$ для каждого пикселя.
2. Рассчитать параметры распределения вероятностей $p(\xi \mid \omega _{s})$ и $P(\omega _{s})$
3. Вычислить апостериорные вероятности $P(\omega _{r}\mid \xi )$ и все этикетки $\theta _{0}$. Получите результат классификации изображений.

Алгоритмы

Соответствие шаблону

Сопоставление шаблонов представляет собой реализацию этого подхода методом «грубой силы». Идея заключается в том, чтобы сначала создать набор шаблонов, а затем искать мелкие детали изображения, соответствующие шаблону.

Этот метод требует больших вычислительных ресурсов и неэффективен. На протяжении всего процесса он хранит целый список шаблонов, а количество комбинаций чрезвычайно велико. Для $m\times n$ пиксельное изображение, может быть максимум $2^{m\times n}$ комбинаций, что приводит к большим вычислительным затратам. Этот метод является методом сверху вниз и часто называется поиском по таблице или поиском по словарю .

Цепь Маркова низшего порядка

Цепь Маркова также может применяться при распознавании образов. Пиксели изображения можно распознать как набор случайных величин, а затем использовать цепь Маркова низшего порядка, чтобы найти взаимосвязь между пикселями. Изображение рассматривается как виртуальная линия, и метод использует условную вероятность.

Кривые, заполняющие гильбертово пространство

проходит Кривая Гильберта по уникальному шаблону через все изображение, она пересекает каждый пиксель, не посещая ни один из них дважды, и сохраняет непрерывную кривую. Это быстро и эффективно.

Марковские сетки

Цепь Маркова низшего порядка и кривые заполнения пространства Гильберта, упомянутые выше, рассматривают изображение как линейную структуру. Однако сетки Маркова будут учитывать двумерную информацию.

Дерево зависимостей

Дерево зависимостей — это метод, использующий древовидную зависимость для аппроксимации распределений вероятностей.

Внешние ссылки

• Домашняя страница Advanced Vision
• Использование контекста в распознавании образов
• Анализ и понимание изображений: контекстная классификация изображений. Архивировано 10 декабря 2004 г. на Wayback Machine.