Аффинная адаптация формы

Аффинная адаптация формы — это методология итеративной адаптации формы ядер сглаживания в аффинной группе ядер сглаживания к локальной структуре изображения в области окрестности конкретной точки изображения. Аналогичным образом, адаптация аффинной формы может быть достигнута путем итеративного искажения локального фрагмента изображения с помощью аффинных преобразований с одновременным применением вращательно-симметричного фильтра к деформированным фрагментам изображения. При условии, что этот итерационный процесс сходится, результирующая фиксированная точка будет аффинно-инвариантной . В области компьютерного зрения эта идея использовалась для определения операторов аффинно-инвариантных точек интереса, а также методов аффинно-инвариантного анализа текстур.

Аффинно-адаптированные операторы точек интереса

Точки интереса, полученные с помощью адаптированного к масштабу детектора пятен Лапласа или многомасштабного углового детектора Харриса с автоматическим выбором масштаба, инвариантны к перемещениям, вращениям и равномерным изменениям масштаба в пространственной области. Однако изображения, которые представляют собой входные данные для системы компьютерного зрения, также подвержены перспективным искажениям. Чтобы получить точки интереса, более устойчивые к перспективным преобразованиям, естественным подходом является разработка детектора признаков, инвариантного к аффинным преобразованиям .

Аффинная инвариантность может быть достигнута на основе измерений одной и той же многомасштабной оконной матрицы второго момента. $\mu$ как используется в многомасштабном операторе Харриса при условии, что мы расширяем концепцию пространства регулярного масштаба, полученную путем свертки с вращательно-симметричными гауссовскими ядрами, до аффинного гауссовского масштабного пространства , полученного с помощью гауссовских ядер с адаптированной формой ( Lindeberg 1994 , раздел 15.3; Lindeberg & Гардинг, 1997 ). Для двухмерного изображения $I$ , позволять ${\bar {x}}=(x,y)^{T}$ и пусть $\Sigma _{t}$ быть положительно определенной матрицей 2×2. Тогда неоднородное гауссово ядро можно определить как

g({\bar {x}};\Sigma )={\frac {1}{2\pi {\sqrt {\operatorname {det} \Sigma _{t}}}}}e^{-{\bar {x}}\Sigma _{t}^{-1}{\bar {x}}/2}

и учитывая любое входное изображение $I_{L}$ аффинное гауссово масштабное пространство - это трехпараметрическое масштабное пространство, определяемое как

L({\bar {x}};\Sigma _{t})=\int _{\bar {xi}}I_{L}(x-\xi )\,g({\bar {\xi }};\Sigma _{t})\,d{\bar {\xi }}.

Далее введем аффинное преобразование $\eta =B\xi$ где $B$ представляет собой матрицу 2×2 и определяет преобразованное изображение $I_{R}$ как

I_{L}({\bar {\xi }})=I_{R}({\bar {\eta }})

.

Тогда представления в аффинном масштабном пространстве $L$ и $R$ из $I_{L}$ и $I_{R}$ соответственно связаны соотношением

L({\bar {\xi }},\Sigma _{L})=R({\bar {\eta }},\Sigma _{R})

при условии, что матрицы аффинной формы $\Sigma _{L}$ и $\Sigma _{R}$ связаны согласно

\Sigma _{R}=B\Sigma _{L}B^{T}

.

Если не принимать во внимание математические детали, которые, к сожалению, становятся несколько техническими, если стремиться к точному описанию происходящего, важным сообщением является то, что аффинное гауссово масштабное пространство замкнуто при аффинных преобразованиях .

Если мы, учитывая обозначения $\nabla L=(L_{x},L_{y})^{T}$ а также матрица локальной формы $\Sigma _{t}$ и матрица формы интегрирования $\Sigma _{s}$ , ввести аффинно-адаптированную многомасштабную матрицу второго момента в соответствии с

\mu _{L}({\bar {x}};\Sigma _{t},\Sigma _{s})=g({\bar {x}}-{\bar {\xi }};\Sigma _{s})\,\left(\nabla _{L}({\bar {\xi }};\Sigma _{t})\nabla _{L}^{T}({\bar {\xi }};\Sigma _{t})\right)

можно показать, что при любом аффинном преобразовании ${\bar {q}}=B{\bar {p}}$ аффинно-адаптированная многомасштабная матрица второго момента преобразуется в соответствии с

\mu _{L}({\bar {p}};\Sigma _{t},\Sigma _{s})=B^{T}\mu _{R}({\bar {q}};B\Sigma _{t}B^{T},B\Sigma _{s}B^{T})B

.

Опять же, не обращая внимания на некоторые запутанные технические детали, важным сообщением здесь является то, что при наличии соответствия между точками изображения ${\bar {p}}$ и ${\bar {q}}$ , аффинное преобразование $B$ можно оценить на основе измерений многомасштабных матриц второго момента $\mu _{L}$ и $\mu _{R}$ в двух доменах.

Важным следствием этого исследования является то, что если мы сможем найти аффинное преобразование $B$ такой, что $\mu _{R}$ является константой, умноженной на единичную матрицу, то мы получаем фиксированную точку, инвариантную к аффинным преобразованиям ( Линдеберг 1994 , раздел 15.4; Линдеберг и Гардинг 1997 ). Для целей практической реализации этого свойства часто можно достичь одним из двух основных способов. Первый подход основан на преобразованиях сглаживающих фильтров и состоит из:

оценка матрицы второго момента $\mu$ в области изображений,
определение нового адаптированного ядра сглаживания с ковариационной матрицей, пропорциональной $\mu ^{-1}$ ,
сглаживание исходного изображения с помощью ядра сглаживания, адаптированного к форме, и
повторяя эту операцию до тех пор, пока разница между двумя последовательными матрицами второго момента не станет достаточно малой.

Второй подход основан на искажениях в области изображений и предполагает:

оценка $\mu$ в области изображений,
оценивая локальное аффинное преобразование, пропорциональное ${\hat {B}}=\mu ^{1/2}$ где $\mu ^{1/2}$ обозначает матрицу квадратного корня из $\mu$ ,
деформация входного изображения с помощью аффинного преобразования ${\hat {B}}^{-1}$ и
повторяя эту операцию до тех пор, пока $\mu$ достаточно близко к константе, умноженной на единичную матрицу.

Этот общий процесс называется адаптацией аффинной формы ( Линдеберг и Гардинг 1997 ; Баумберг 2000 ; Миколайчик и Шмид 2004 ; Туителаарс и ван Гул 2004 ; Равела 2004 ; Линдеберг 2008 ). В идеальном непрерывном случае оба подхода математически эквивалентны. Однако в практических реализациях первый подход на основе фильтра обычно более точен при наличии шума, тогда как второй подход на основе деформации обычно быстрее.

На практике описанный здесь процесс адаптации аффинной формы часто сочетается с автоматическим выбором масштаба обнаружения точек интереса, как описано в статьях об обнаружении каплей и обнаружении углов , чтобы получить точки интереса, которые инвариантны к полной аффинной группе, включая изменения масштаба. Помимо широко используемого многомасштабного оператора Харриса, эта аффинная адаптация формы также может быть применена к другим типам операторов точки интереса, таким как оператор лапласа/разности гауссовских BLOB-объектов и определитель гессиана ( Lindeberg 2008 ). Аффинную адаптацию формы также можно использовать для распознавания аффинно-инвариантных текстур и сегментации аффинно-инвариантных текстур.

С понятием аффинной адаптации формы тесно связано понятие аффинной нормализации , которая определяет аффинную инвариантную систему отсчета , как далее описано Линдебергом ( 2013a , b , 2021 : Приложение I.3), так что любое измерение изображения, выполняемое в аффинной инвариантная система отсчета является аффинно-инвариантной.

См. также

Ссылки

Баумберг, А. (2000). «Надежное сопоставление функций в широко разделенных представлениях». Материалы конференции IEEE по компьютерному зрению и распознаванию образов . стр. I: 1774–1781. дои : 10.1109/CVPR.2000.855899 .
Линдеберг, Т. (1994). Теория масштаба-пространства в компьютерном зрении . Спрингер. ISBN 0-7923-9418-6 .
Линдеберг, Т.; Гардинг, Дж. (1997). «Сглаживание с адаптацией к форме при оценке трехмерных сигналов глубины на основе аффинных искажений локальной двумерной структуры» . Вычисление изображений и зрительных образов . 15 (6): 415–434. дои : 10.1016/S0262-8856(97)01144-X .
Линдеберг, Т. (2008). «Масштаб-космос» . Энциклопедия компьютерных наук и техники ( Бенджамин Ва , изд.), John Wiley and Sons . Том. IV. стр. 2495–2504. дои : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 .
Линдеберг, Т. (2013a). «Инвариантность зрительных операций на уровне рецептивных полей» . ПЛОС ОДИН . 8 (7): e66990:1–33. arXiv : 1210.0754 . Бибкод : 2013PLoSO...866990L . дои : 10.1371/journal.pone.0066990 . ПМЦ 3716821 . ПМИД 23894283 .
Линдеберг, Т. (2013b). «Обобщенная аксиоматическая теория масштабного пространства» . Достижения в области визуализации и электронной физики . 178 (7): 1–96. дои : 10.1016/B978-0-12-407701-0.00001-7 . ISBN 9780124077010 .
Линдеберг, Т. (2021). «Нормативная теория зрительных рецептивных полей» . Гелион . 7 (1): e05897. дои : 10.1016/j.heliyon.2021.e05897 . ПМЦ 7820928 . ПМИД 33521348 .
Миколайчик, К.; Шмид, К. (2004). «Масштабные и аффинно-инвариантные детекторы точек интереса» (PDF) . Международный журнал компьютерного зрения . 60 (1): 63–86. дои : 10.1023/B:VISI.0000027790.02288.f2 . S2CID 1704741 . Интеграция многомасштабного оператора Харриса с методологией автоматического выбора масштаба, а также с аффинной адаптацией формы.
Туйтелаарс, Т.; ван Гул, Л. (2004). «Сопоставление широко разделенных представлений на основе аффинных инвариантных областей» (PDF) . Международный журнал компьютерного зрения . 59 (1): 63–86. дои : 10.1023/B:VISI.0000020671.28016.e8 . S2CID 5107897 . Архивировано из оригинала (PDF) 12 июня 2010 г.
Равела, С. (2004). «Формирование рецептивных полей для аффинной инвариантности». Материалы конференции IEEE Computer Society 2004 г. по компьютерному зрению и распознаванию образов, 2004 г. CVPR 2004 . Том. 2. С. 725–730. дои : 10.1109/CVPR.2004.1315236 . ISBN 0-7695-2158-4 .