Тензор обобщенной структуры

В анализе изображений тензор обобщенной структуры (GST) является расширением тензора декартовой структуры до криволинейных координат . ^[1] Он в основном используется для обнаружения и представления параметров «направления» кривых, точно так же, как тензор декартовой структуры обнаруживает и представляет направление в декартовых координатах. Лучше всего изучены семейства кривых, порожденные парами локально ортогональных функций.

Это широко известный метод в приложениях обработки изображений и видео, включая компьютерное зрение, таких как биометрическая идентификация по отпечаткам пальцев, ^[2] и исследования срезов тканей человека. ^[3]^[4]

GST в 2D и локально ортогональных базисах

Пусть термин image представляет собой функцию $f(\xi (x,y),\eta (x,y))$ где $x,y$ являются действительными переменными и $\xi ,\eta$ , и $f$ , являются вещественнозначными функциями. GST представляет собой направление, в котором изображение $f$ может подвергаться бесконечно малому перемещению с минимальной ( общей ошибкой наименьших квадратов ) по «линиям», удовлетворяющим следующим условиям:

1. «Линии» — это обычные линии в криволинейной системе координат. $\xi ,\eta$

\cos(\theta )\xi (x,y)+\sin(\theta )\eta (x,y)={\text{constant}}

которые представляют собой кривые в декартовых координатах, как показано уравнением выше. Ошибка измеряется в $L^{2}$ смысл и минимальность ошибки относятся тем самым к норме L2 .

2. Функции $\xi (x,y),\eta (x,y)$ составляют гармоническую пару, т. е. удовлетворяют уравнениям Коши–Римана ,

{\begin{aligned}&{\frac {\partial \xi }{\partial x}}=-{\frac {\partial \eta }{\partial y}},\\[4pt]&{\frac {\partial \xi }{\partial y}}={\frac {\partial \eta }{\partial x}}.\end{aligned}}

Соответственно, такие криволинейные координаты $\xi ,\eta$ локально ортогональны.

Тогда GST состоит из

GST=(\lambda _{max}-\lambda _{min})\int w(\xi ,\eta )\left[{\begin{array}{c}{\frac {\partial f}{\partial \xi }}\\{\frac {\partial f}{\partial \eta }}\\\end{array}}\right][{\frac {\partial f}{\partial \xi }},{\frac {\partial f}{\partial \eta }}]d\xi d\eta +\lambda _{min}I

где $0\leq \lambda _{min}\leq \lambda _{max}$ — ошибки (бесконечно-малого) перевода в наилучшем направлении (обозначаются углом $\theta$ ) и худшее направление (обозначается $\theta +\pi /2$ ). Функция $w(\xi ,\eta )$ — это оконная функция, определяющая «внешний масштаб», в котором обнаружение $\theta$ будет осуществляться, что можно опустить, если оно уже включено в $f$ или если $f$ это полное изображение (а не локальное). Матрица $I$ является единичной матрицей . Используя правило цепочки , можно показать, что описанное выше интегрирование может быть реализовано как свертка в декартовых координатах, примененная к тензору обычной структуры, когда $\xi ,\eta$ соединить действительную и мнимую части аналитической функции $g(z)$ ,

{\begin{array}{c}\xi (x,y)=\Re g(z)\\\eta (x,y)=\Im g(z)\\\end{array}}

где $z=x+iy$ . ^[5] Примеры аналитических функций включают в себя $g(z)=\log z=\log(x+iy)$ , а также мономы $g(z)=z^{n}=(x+iy)^{n}$ , $g(z)=z^{n/2}=(x+iy)^{n/2}$ , где $n$ — произвольное положительное или отрицательное целое число. Мономы $g(z)=z^{n}$ также называются гармоническими функциями в компьютерном зрении и обработке изображений.

Таким образом, тензор декартовой структуры является частным случаем GST, где $\xi =x$ , и $\eta =y$ , т.е. гармоническая функция просто $g(z)=z=(x+iy)$ . Таким образом, выбрав гармоническую функцию $g$ , можно обнаружить все кривые, которые являются линейными комбинациями своих действительных и мнимых частей, путем свертки только на (прямоугольных) сетках изображений, даже если $\xi ,\eta$ являются некартезианскими. Кроме того, вычисления свертки могут выполняться с использованием сложных фильтров, применяемых к комплексной версии структурного тензора. Таким образом, реализации GST часто выполнялись с использованием сложной версии структурного тензора, а не с использованием тензора (1,1).

Сложная версия НДС

Поскольку существует комплексная версия тензора обычной структуры , существует также комплексная версия GST.

{\begin{array}{c}\kappa _{20}=(\lambda _{1}-\lambda _{2})\exp(i2\theta )&=&w*(h*f)^{2}\\\kappa _{11}=\lambda _{1}+\lambda _{2}&=&|w|*|h*f|^{2}\\\end{array}}

который идентичен своему двоюродному брату с той разницей, что $w$ это сложный фильтр. Напомним, что обычный структурный тензор $w$ — это реальный фильтр, обычно определяемый с помощью выборки и масштабирования гауссиана для определения окрестностей, также известный как внешний масштаб. Эта простота является причиной того, что при реализации GST преимущественно используется описанная выше сложная версия. Для семейств кривых $\xi ,\eta$ определяется аналитическими функциями $g$ , можно показать, что ^[1] функция, определяющая окрестности, имеет комплексное значение,

w=(x\pm iy)^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))\propto (D_{x}\pm iD_{y})^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))

,

так называемая симметричная производная гауссианы. Таким образом, изменение ориентации искомого шаблона непосредственно включается в функцию определения окрестности, и обнаружение происходит в пространстве (обычного) структурного тензора.

Основная концепция использования в обработке изображений и компьютерном зрении.

Эффективное обнаружение $\theta$ в изображениях возможно путем обработки изображений по паре $\xi$ , $\eta$ . Сложные свертки (или соответствующие матричные операции) и поточечные нелинейные отображения являются основными вычислительными элементами реализаций GST. Общая оценка наименьших квадратов ошибки $2\theta$ затем получается вместе с двумя ошибками, $\lambda _{max}$ и $\lambda _{min}$ . По аналогии с тензором декартовой структуры оцененный угол представлен в виде двойного угла, т.е. $2\theta$ предоставляется путем вычислений и может использоваться как признак формы, тогда как $\lambda _{max}-\lambda _{min}$ отдельно или в сочетании с $\lambda _{max}+\lambda _{min}$ может использоваться как мера качества (достоверности, определенности) для оценки угла.

Логарифмические спирали, включая круги, можно обнаружить, например, с помощью (сложных) сверток и нелинейных отображений. ^[1] Спирали могут быть в серых (значных) изображениях или в двоичном изображении , т.е. местоположения краевых элементов соответствующих рисунков, таких как контуры кругов или спиралей, не должны быть известны или отмечены иным образом.

Тензор обобщенной структуры можно использовать в качестве альтернативы преобразованию Хафа при обработке изображений и компьютерном зрении для обнаружения закономерностей, локальную ориентацию которых можно смоделировать, например точек соединения. Основные различия заключаются в следующем:

Допускается отрицательное, а также сложное голосование;
С помощью одного шаблона можно обнаружить несколько шаблонов, принадлежащих к одному семейству;
Бинаризация изображения не требуется.

Физико-математическая интерпретация

Криволинейные координаты GST могут объяснить физические процессы, применяемые к изображениям. Хорошо известная пара процессов состоит из вращения и масштабирования. Они связаны с преобразованием координат $\xi =\log({\sqrt {x^{2}+y^{2}}})$ и $\eta =\tan ^{-1}(x,y)$ .

Если изображение $f$ состоит из изокривых, которые можно объяснить только $\xi$ т.е. его изокривые состоят из кругов $f(\xi ,\eta )=g(\xi )$ , где $g$ — это любая дифференцируемая функция с действительным знаком, определенная в 1D, изображение инвариантно к вращениям (вокруг начала координат).

Операция масштабирования (включающая в себя уменьшение масштаба) моделируется аналогичным образом. Если на изображении есть изокривые, похожие на «звезду» или велосипедные спицы, т.е. $f(\xi ,\eta )=g(\eta )$ для некоторой дифференцируемой 1D-функции $g$ затем изображение $f$ инвариантен к масштабированию (относительно начала координат).

В сочетании,

f(\xi ,\eta )=g(\cos(\theta )\log({\sqrt {x^{2}+y^{2}}})+\sin(\theta )\tan ^{-1}(x,y))

инвариантен к определенному повороту в сочетании с масштабированием, где величина определяется параметром $\theta$ .

Аналогично, тензор декартовой структуры также является представлением перевода . Здесь физический процесс заключается в обычном перемещении некоторой суммы вдоль $x$ в сочетании с переводом $y$ ,

\cos(\theta )x+\sin(\theta )y={\text{constant}}

где сумма задается параметром $\theta$ . Очевидно $\theta$ здесь представляет направление линии.

Как правило, предполагаемый $\theta$ представляет направление (в $\xi ,\eta$ координаты), вдоль которых бесконечно малые перемещения оставляют изображение инвариантным, на практике наименьшим вариантом. Таким образом, каждая базисная пара криволинейных координат имеет пару бесконечно малых трансляторов, линейная комбинация которых представляет собой дифференциальный оператор . Последние связаны с алгеброй Ли .

Разнообразный

«Изображение» в контексте GST может означать как обычное изображение, так и изображение его окрестности (локальное изображение), в зависимости от контекста. Например, фотография — это изображение, как и все его окрестности.

См. также

Ссылки

^ Jump up to: ^а ^б ^с Бигун, Дж.; Бигун, Т.; Нильссон, К. (декабрь 2004 г.). «Распознавание по производным симметрии и тензору обобщенной структуры» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 26 (12): 1590–1605. дои : 10.1109/TPAMI.2004.126 . ПМИД 15573820 . S2CID 602221 .
^ Фронталер, Х.; Коллрейдер, К.; Бигун, Дж. (2008). «Локальные функции для улучшения и извлечения деталей из отпечатков пальцев» . Транзакции IEEE при обработке изображений . 17 (3): 354–363. Бибкод : 2008ITIP...17..354F . CiteSeerX 10.1.1.160.6312 . дои : 10.1109/TIP.2007.916155 . ПМИД 18270124 . S2CID 7119251 .
^ О. Шмитт; Х. Биркхольц (2010). «Улучшение цитоархитектонического картирования за счет сочетания электродинамического моделирования с локальной ориентацией на изображениях коры головного мозга высокого разрешения» . Микроск. Рез. Тех . 74 (3): 225–243. дои : 10.1109/TIP.2007.916155 . ПМИД 18270124 . S2CID 7119251 .
^ О. Шмитт; М. Пакура; Т. Аах; Л. Хомке; М. Бёме; С. Бок; С. Прейсс (2004). «Анализ нервных волокон и их распределение в гистологических срезах головного мозга человека». Микроск. Рез. Тех . 63 (4): 220–243. дои : 10.1002/jemt.20033 . ПМИД 14988920 . S2CID 28746142 .
^ Бигун, Йозеф (декабрь 1997 г.). «Распознавание образов в изображениях по симметрии и преобразованиям координат». Компьютерное зрение и понимание изображений . 68 (3): 290–307. дои : 10.1006/cviu.1997.0556 .

[bigun04pami3-1] Jump up to: ^а ^б ^с Бигун, Дж.; Бигун, Т.; Нильссон, К. (декабрь 2004 г.). «Распознавание по производным симметрии и тензору обобщенной структуры» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 26 (12): 1590–1605. дои : 10.1109/TPAMI.2004.126 . ПМИД 15573820 . S2CID 602221 .

[fronthaler08tip-2] Фронталер, Х.; Коллрейдер, К.; Бигун, Дж. (2008). «Локальные функции для улучшения и извлечения деталей из отпечатков пальцев» . Транзакции IEEE при обработке изображений . 17 (3): 354–363. Бибкод : 2008ITIP...17..354F . CiteSeerX 10.1.1.160.6312 . дои : 10.1109/TIP.2007.916155 . ПМИД 18270124 . S2CID 7119251 .

[Schmitt-3] О. Шмитт; Х. Биркхольц (2010). «Улучшение цитоархитектонического картирования за счет сочетания электродинамического моделирования с локальной ориентацией на изображениях коры головного мозга высокого разрешения» . Микроск. Рез. Тех . 74 (3): 225–243. дои : 10.1109/TIP.2007.916155 . ПМИД 18270124 . S2CID 7119251 .

[Schmitt2-4] О. Шмитт; М. Пакура; Т. Аах; Л. Хомке; М. Бёме; С. Бок; С. Прейсс (2004). «Анализ нервных волокон и их распределение в гистологических срезах головного мозга человека». Микроск. Рез. Тех . 63 (4): 220–243. дои : 10.1002/jemt.20033 . ПМИД 14988920 . S2CID 28746142 .

[5] Бигун, Йозеф (декабрь 1997 г.). «Распознавание образов в изображениях по симметрии и преобразованиям координат». Компьютерное зрение и понимание изображений . 68 (3): 290–307. дои : 10.1006/cviu.1997.0556 .

[1]

[2]

[3]

[4]

[5]