Особенность (компьютерное зрение)
| Обнаружение функций |
|---|
| Обнаружение края |
| Обнаружение углов |
| Обнаружение больших двоичных объектов |
| Обнаружение гребня |
| Преобразование Хафа |
| Тензор структуры |
| Обнаружение аффинных инвариантных функций |
| Описание функции |
| Масштабировать пространство |
| Часть серии о |
| Машинное обучение и интеллектуальный анализ данных |
|---|
В компьютерном зрении и обработке изображений признак — это часть информации о содержании изображения; обычно о том, имеет ли определенная область изображения определенные свойства. Объектами могут быть определенные структуры на изображении, такие как точки, края или объекты. Объекты также могут быть результатом общей операции соседства или обнаружения признаков, примененных к изображению. Другие примеры особенностей связаны с движением в последовательностях изображений или с формами, определяемыми в виде кривых или границ между различными областями изображения.
В более широком смысле признаком является любая часть информации, которая имеет отношение к решению вычислительной задачи, связанной с определенным приложением. Это то же самое, что и функция в машинном обучении и распознавании образов в целом, хотя обработка изображений имеет очень сложный набор функций. Концепция функций является очень общей, и выбор функций в конкретной системе компьютерного зрения может сильно зависеть от конкретной решаемой проблемы.
Определение
[ редактировать ]Не существует универсального или точного определения того, что представляет собой функция, а точное определение часто зависит от проблемы или типа приложения. Тем не менее, функция обычно определяется как «интересная» часть изображения , и функции используются в качестве отправной точки для многих алгоритмов компьютерного зрения.
Поскольку функции используются в качестве отправной точки и основных примитивов для последующих алгоритмов, общий алгоритм часто будет настолько хорош, насколько хорош его детектор функций. Следовательно, желательным свойством детектора признаков является повторяемость : будет ли один и тот же признак обнаружен в двух или более разных изображениях одной и той же сцены.
Обнаружение признаков — это низкоуровневая операция обработки изображений . То есть обычно она выполняется как первая операция над изображением и проверяет каждый пиксель , чтобы определить, присутствует ли в этом пикселе какой-либо признак. Если это часть более крупного алгоритма, то алгоритм обычно исследует изображение только в области объектов. В качестве встроенного предварительного условия для обнаружения признаков входное изображение обычно сглаживается с помощью ядра Гаусса в представлении в масштабном пространстве , и вычисляется одно или несколько изображений признаков, часто выражаемых в терминах локальных производной изображения операций .
Иногда, когда обнаружение признаков требует больших вычислительных затрат и существуют ограничения по времени, для управления этапом обнаружения признаков может использоваться алгоритм более высокого уровня, так что поиск признаков осуществляется только в определенных частях изображения.
Существует множество алгоритмов компьютерного зрения, которые на начальном этапе используют обнаружение признаков, поэтому в результате было разработано очень большое количество детекторов признаков. Они сильно различаются по типам обнаруженных особенностей, вычислительной сложности и повторяемости.
Когда объекты определяются с помощью операций локального соседства, применяемых к изображению (процедуры, обычно называемой извлечением признаков) , можно различать подходы к обнаружению признаков, которые производят локальные решения о том, существует ли объект данного типа в данной точке изображения или нет, и те, кто в результате производит недвоичные данные. Это различие становится актуальным, когда обнаруженные в результате признаки относительно редки. Несмотря на то, что решения принимаются локально, выходные данные этапа обнаружения признаков не обязательно должны быть двоичными изображениями. Результат часто представляется в виде наборов (связанных или несвязанных) координат точек изображения, в которых были обнаружены особенности, иногда с точностью до субпикселя.
Когда извлечение признаков выполняется без принятия локальных решений, результат часто называют изображением признака . Следовательно, изображение объекта можно рассматривать как изображение в том смысле, что оно является функцией тех же пространственных (или временных) переменных, что и исходное изображение, но значения пикселей содержат информацию об особенностях изображения, а не об интенсивности или цвете. Это означает, что изображение объекта можно обрабатывать так же, как обычное изображение, генерируемое датчиком изображения. Изображения объектов также часто вычисляются как интегрированный шаг в алгоритмах обнаружения функций.
Векторы признаков и пространства признаков
[ редактировать ]В некоторых приложениях недостаточно извлечь только один тип функции для получения соответствующей информации из данных изображения. Вместо этого извлекаются два или более различных объекта, в результате чего в каждой точке изображения получается два или более дескриптора объекта. Обычной практикой является организация информации, предоставляемой всеми этими дескрипторами, как элементы одного вектора, обычно называемого вектором признаков . Набор всех возможных векторов признаков образует пространство признаков . [1]
Типичный пример векторов признаков появляется, когда каждая точка изображения должна быть классифицирована как принадлежащая к определенному классу. Предполагая, что каждая точка изображения имеет соответствующий вектор признаков на основе подходящего набора признаков, а это означает, что каждый класс хорошо разделен в соответствующем пространстве признаков, классификация каждой точки изображения может быть выполнена с использованием стандартного метода классификации .
В действительности текстуры и контуры будут представлены не отдельными узлами, а скорее соответствующими весовыми шаблонами нескольких узлов.
Другой похожий пример возникает, когда нейронной сети к изображениям применяется обработка на основе . Входные данные, подаваемые в нейронную сеть, часто представляют собой вектор признаков из каждой точки изображения, причем вектор создается из нескольких различных признаков, извлеченных из данных изображения. На этапе обучения сеть может сама определить, какие комбинации различных функций полезны для решения поставленной проблемы.
Типы
[ редактировать ]Края
[ редактировать ]Края — это точки, где существует граница (или край) между двумя областями изображения. В общем, ребро может иметь практически произвольную форму и может включать в себя стыки. На практике края обычно определяются как наборы точек на изображении, которые имеют сильную величину градиента . Более того, некоторые распространенные алгоритмы затем объединяют точки с высоким градиентом вместе, чтобы сформировать более полное описание ребра. Эти алгоритмы обычно накладывают некоторые ограничения на свойства края, такие как форма, гладкость и значение градиента.
Локально ребра имеют одномерную структуру.
Углы/интересные точки
[ редактировать ]Термины «углы» и «точки интереса» используются как взаимозаменяемые и относятся к точечным элементам изображения, имеющим локальную двумерную структуру. Название «Угол» возникло из-за того, что ранние алгоритмы сначала выполняли обнаружение краев , а затем анализировали края, чтобы найти быстрые изменения направления (углы). Затем эти алгоритмы были разработаны так, что больше не требовалось явное обнаружение краев, например, путем поиска высоких уровней кривизны в градиенте изображения . Затем было замечено, что так называемые углы также обнаруживаются на тех частях изображения, которые не являются углами в традиционном смысле (например, может быть обнаружено небольшое яркое пятно на темном фоне). Эти точки часто называют точками интереса, но по традиции используется термин «угол». [ нужна ссылка ] .
Блобы/области точек интереса
[ редактировать ]Капли обеспечивают дополнительное описание структур изображения с точки зрения областей, в отличие от углов, которые более точечны. Тем не менее, дескрипторы больших двоичных объектов часто могут содержать предпочтительную точку (локальный максимум реакции оператора или центр тяжести), а это означает, что многие детекторы больших двоичных объектов также могут рассматриваться как операторы точки интереса. Детекторы пятен могут обнаруживать области изображения, которые слишком гладкие, чтобы их можно было обнаружить угловым детектором.
Попробуйте уменьшить изображение, а затем выполнить обнаружение углов. Детектор будет реагировать на точки, которые резкие на уменьшенном изображении, но могут быть гладкими на исходном изображении. Именно в этот момент разница между угловым детектором и детектором каплей становится несколько расплывчатой. В значительной степени это различие можно устранить, включив соответствующее понятие масштаба. Тем не менее, из-за их свойств реагирования на разные типы структур изображения в разных масштабах, детекторы блодов LoG и DoH также упоминаются в статье об обнаружении углов .
Хребты
[ редактировать ]Для вытянутых объектов понятие гребней является естественным инструментом. Дескриптор гребня, вычисленный на основе изображения уровня серого, можно рассматривать как обобщение медиальной оси . С практической точки зрения гребень можно рассматривать как одномерную кривую, которая представляет ось симметрии и, кроме того, имеет атрибут локальной ширины гребня, связанный с каждой точкой гребня. Однако, к сожалению, алгоритмически сложнее извлечь функции гребней из общих классов изображений уровня серого, чем функции краев, углов или пятен. Тем не менее, дескрипторы гребней часто используются для выделения дорог на аэрофотоснимках и для выделения кровеносных сосудов на медицинских изображениях — см . «Обнаружение гребней» .
Обнаружение
[ редактировать ]
Обнаружение признаков включает в себя методы вычисления абстракций информации изображения и принятия локальных решений в каждой точке изображения, существует ли в этой точке признак изображения заданного типа или нет. Полученные объекты будут подмножествами области изображения, часто в форме изолированных точек, непрерывных кривых или связанных областей.
Извлечение признаков иногда производится за несколько масштабов. Одним из таких методов является масштабно-инвариантное преобразование признаков (SIFT).
| Детектор функций | Край | Угол | Блоб | Ридж |
|---|---|---|---|---|
| Канни [3] | Да | Нет | Нет | Нет |
| Собель | Да | Нет | Нет | Нет |
| Харрис и Стивенс / Плесси [4] | Да | Да | Нет | Нет |
| СЬЮЗЕН [5] | Да | Да | Нет | Нет |
| Ши и Томази [6] | Нет | Да | Нет | Нет |
| Кривизна кривой уровня [7] | Нет | Да | Нет | Нет |
| БЫСТРЫЙ [8] | Нет | Да | Нет | Нет |
| Лапласиан Гаусса [7] | Нет | Да | Да | Нет |
| Разница гауссиан [9] [10] | Нет | Да | Да | Нет |
| Определитель гессиана [7] | Нет | Да | Да | Нет |
| Меры прочности по гессенской системе [11] [12] | Нет | Да | Да | Нет |
| МСЭР [13] | Нет | Нет | Да | Нет |
| Гребни главной кривизны [14] [15] [16] | Нет | Нет | Нет | Да |
| Пятна уровня серого [17] | Нет | Нет | Да | Нет |
Добыча
[ редактировать ]После обнаружения объекта можно извлечь локальный участок изображения вокруг объекта. Это извлечение может потребовать довольно значительного объема обработки изображений. Результат известен как дескриптор объекта или вектор объекта. Среди подходов, которые используются для описания признаков, можно упомянуть N -джеты и локальные гистограммы ( см. в масштабно-инвариантном преобразовании признаков один из примеров дескриптора локальной гистограммы ). В дополнение к такой атрибутивной информации, этап обнаружения признаков сам по себе может также предоставлять дополнительные атрибуты, такие как ориентация края и величина градиента при обнаружении края, а также полярность и сила капли при обнаружении капли.
Низкий уровень
[ редактировать ]- Обнаружение края
- Обнаружение углов
- Обнаружение больших двоичных объектов
- Обнаружение гребня
- Преобразование масштабно-инвариантного объекта
Кривизна
[ редактировать ]- Направление края, изменение интенсивности, автокорреляция .
Движение изображения
[ редактировать ]- Обнаружение движения . Дифференциальный подход на основе территории. Оптический поток .
На основе формы
[ редактировать ]- Пороговое значение
- Извлечение больших двоичных объектов
- Соответствие шаблону
- Преобразование Хафа
- Линии
- Круги/эллипсы
- Произвольные формы (обобщенное преобразование Хафа)
- Работает с любой параметризуемой функцией (переменные класса, обнаружение кластеров и т. д.).
- Обобщенное преобразование Хафа
Гибкие методы
[ редактировать ]- Деформируемые параметризованные формы
- Активные контуры (змеи)
Представительство
[ редактировать ]Конкретная особенность изображения, определенная с точки зрения конкретной структуры данных изображения, часто может быть представлена по-разному. Например, край может быть представлен как логическая переменная в каждой точке изображения, которая описывает, присутствует ли край в этой точке. В качестве альтернативы мы можем вместо этого использовать представление, которое обеспечивает меру достоверности вместо логического утверждения о существовании ребра, и объединить его с информацией об ориентации ребра. Точно так же цвет определенной области может быть представлен либо в терминах среднего цвета (три скаляра), либо в виде цветовой гистограммы (три функции).
При разработке системы компьютерного зрения или алгоритма компьютерного зрения выбор представления функций может стать критической проблемой. В некоторых случаях для решения проблемы может потребоваться более высокий уровень детализации описания функции, но за это приходится иметь дело с большим количеством данных и более сложной обработкой. Ниже обсуждаются некоторые факторы, имеющие значение для выбора подходящего представления. В этом обсуждении экземпляр представления объекта называется дескриптор функции или просто дескриптор .
Определенность или уверенность
[ редактировать ]Двумя примерами особенностей изображения являются локальная ориентация края и локальная скорость в последовательности изображений. В случае ориентации значение этого признака может быть более или менее неопределенным, если в соответствующей окрестности присутствует более одного ребра. Локальная скорость не определена, если соответствующая область изображения не содержит каких-либо пространственных изменений. Вследствие этого наблюдения может оказаться целесообразным использовать представление признака, которое включает в себя меру уверенности или уверенности, связанную с утверждением о значении признака. В противном случае типична ситуация, когда один и тот же дескриптор используется для представления значений признаков с низкой степенью достоверности и значений признаков, близких к нулю, что приводит к неоднозначности интерпретации этого дескриптора. В зависимости от приложения такая двусмысленность может быть приемлемой или неприемлемой.
В частности, если избранное изображение будет использоваться в последующей обработке, может быть хорошей идеей использовать представление признака, которое включает информацию об уверенности или достоверности . Это позволяет вычислить новый дескриптор объекта из нескольких дескрипторов, например, вычисленных в одной и той же точке изображения, но в разных масштабах, или из разных, но соседних точек, с точки зрения средневзвешенного значения, где веса получаются из соответствующих достоверностей. В простейшем случае соответствующее вычисление может быть реализовано как фильтрация нижних частот выделенного изображения. Полученное изображение объекта, как правило, будет более устойчивым к шуму.
Усредняемость
[ редактировать ]Помимо включения в представление мер достоверности, представление соответствующих значений признаков само по себе может подходить или нет для операции усреднения . На практике большинство представлений признаков можно усреднить, но только в некоторых случаях полученному дескриптору можно дать правильную интерпретацию с точки зрения значения признака. Такие представления называются усредненными .
Например, если ориентация края представлена через угол, это представление должно иметь разрыв, где угол переходит от максимального значения к минимальному значению. Следовательно, может случиться так, что две подобные ориентации будут представлены углами, среднее значение которых не близко ни к одному из исходных углов, и, следовательно, это представление не является усредняемым. Существуют и другие представления ориентации ребер, такие как структурный тензор , которые усредняются.
Другой пример относится к движению, где в некоторых случаях можно извлечь только нормальную скорость относительно некоторого края. Если были извлечены две такие особенности и можно предположить, что они относятся к одной и той же истинной скорости, эта скорость не определяется как среднее значение нормальных векторов скорости. Следовательно, нормальные векторы скорости не усредняются. Вместо этого существуют другие представления движений с использованием матриц или тензоров, которые дают истинную скорость в терминах средней операции дескрипторов нормальной скорости. [ нужна ссылка ]
Соответствие
[ редактировать ]Объекты, обнаруженные на каждом изображении, можно сопоставить на нескольких изображениях, чтобы установить соответствующие объекты, например соответствующие точки .
Алгоритм основан на сравнении и анализе соответствия точек между эталонным изображением и целевым изображением. Если какая-либо часть загроможденной сцены имеет общие соответствия, превышающие пороговое значение, эта часть изображения загроможденной сцены является целевой и считается, что она включает в себя эталонный объект. [18]
См. также
[ редактировать ]- Компьютерное зрение
- Автоматическое аннотирование изображений
- Особенности обучения
- Выбор функции
- Обнаружение переднего плана
- Векторизация (трассировка изображений)
Ссылки
[ редактировать ]- ^ Скотт Э. Умбо (27 января 2005 г.). Компьютерная обработка изображений: анализ и обработка цифровых изображений . ЦРК Пресс. ISBN 978-0-8493-2919-7 .
- ^ Ферри К. и Кайзер С. (2019). Нейронные сети для детей . Справочники. ISBN 1492671207 .
{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Кэнни, Дж. (1986). «Вычислительный подход к обнаружению краев». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 8 (6): 679–714. дои : 10.1109/TPAMI.1986.4767851 . ПМИД 21869365 . S2CID 13284142 .
- ^ К. Харрис; М. Стивенс (1988). «Комбинированный детектор углов и краев» (PDF) . Материалы 4-й конференции Alvey Vision . стр. 147–151. Архивировано из оригинала (PDF) 1 апреля 2022 г. Проверено 11 февраля 2021 г.
- ^ С.М. Смит; Дж. М. Брэди (май 1997 г.). «СЬЮЗАН — новый подход к низкоуровневой обработке изображений» . Международный журнал компьютерного зрения . 23 (1): 45–78. дои : 10.1023/A:1007963824710 . S2CID 15033310 .
- ^ Дж. Ши; К. Томази (июнь 1994 г.). «Хорошие функции для отслеживания» . 9-я конференция IEEE по компьютерному зрению и распознаванию образов . Спрингер.
- ^ Jump up to: а б с Т. Линдеберг (1998). «Обнаружение признаков с автоматическим выбором масштаба» (аннотация) . Международный журнал компьютерного зрения . 30 (2): 77–116. дои : 10.1023/А:1008045108935 . S2CID 723210 .
- ^ Э. Ростен; Т. Драммонд (2006). «Машинное обучение для высокоскоростного обнаружения поворотов». Европейская конференция по компьютерному зрению . Спрингер. стр. 430–443. CiteSeerX 10.1.1.60.3991 . дои : 10.1007/11744023_34 .
- ^ Дж. Л. Кроули и AC Паркер, « Представление формы на основе пиков и гребней в разнице низкочастотного преобразования» [ мертвая ссылка ] ", Транзакции IEEE на PAMI, PAMI 6 (2), стр. 156–170, март 1984 г.
- ^ Д. Лоу (2004). «Отличительные особенности изображения по масштабно-инвариантным ключевым точкам» . Международный журнал компьютерного зрения . 60 (2): 91. CiteSeerX 10.1.1.73.2924 . дои : 10.1023/B:VISI.0000029664.99615.94 . S2CID 221242327 .
- ^ Т. Линдеберг «Свойства выбора масштаба детекторов точек интереса в обобщенном масштабном пространстве», Журнал Mathematical Imaging and Vision, том 46, выпуск 2, страницы 177-210, 2013.
- ^ Т. Линдеберг «Сопоставление изображений с использованием точек интереса в обобщенном масштабном пространстве», Журнал Mathematical Imaging and Vision, том 52, номер 1, страницы 3–36, 2015.
- ^ Дж. Мэйтас; О. Чам; М. Урбан; Т. Пайдла (2002). «Надежное стерео с широкой базовой линией из максимально стабильных экстремальных областей» (PDF) . Британская конференция по машинному зрению . стр. 384–393.
- ^ Р. Харалик, « Хребты и долины на цифровых изображениях », Компьютерное зрение, графика и обработка изображений, том. 22, нет. 10, стр. 28–38, апрель 1983 г.
- ^ Д. Эберли, Р. Гарднер, Б. Морс, С. Пайзер, К. Шарлах, Хребты для анализа изображений , Журнал математических изображений и видения, т. 4 н. 4, стр. 353–373, декабрь 1994 г.
- ^ Т. Линдеберг (1998). «Обнаружение кромок и обнаружение гребней с автоматическим выбором масштаба» (аннотация) . Международный журнал компьютерного зрения . 30 (2): 117–154. дои : 10.1023/А:1008097225773 . S2CID 207658261 .
- ^ Т. Линдеберг (1993). «Обнаружение заметных структур изображений, похожих на капли, и их масштабов с помощью первичного эскиза в масштабном пространстве: метод фокусировки внимания» (аннотация) . Международный журнал компьютерного зрения . 11 (3): 283–318. дои : 10.1007/BF01469346 . S2CID 11998035 .
- ^ «Обнаружение объектов в загроможденной сцене Используя сопоставление точечных объектов — MATLAB & Simulink» . www.mathworks.com . Проверено 6 июля 2019 г.
Дальнейшее чтение
[ редактировать ]- Т. Линдеберг (2009). «Масштаб-космос» . В Бенджамине Ва (ред.). Энциклопедия информатики и техники . Том. IV. Джон Уайли и сыновья. стр. 2495–2504. дои : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 . (сводка и обзор ряда детекторов признаков, сформулированных на основе операций в масштабном пространстве)