Момент изображения

В обработке изображений , компьютерном зрении и смежных областях момент изображения — это определенное средневзвешенное значение ( момент ) интенсивностей пикселей изображения или функция таких моментов, обычно выбранная для того, чтобы иметь какое-то привлекательное свойство или интерпретацию.

Моменты изображения полезны для описания объектов после сегментации . Простые свойства изображения , которые определяются с помощью моментов изображения, включают площадь (или общую интенсивность), его центроид и информацию о его ориентации .

Сырые моменты

Для двумерной непрерывной функции f ( x , y ) момент (иногда называемый «необработанным моментом») порядка ( p + q ) определяется как

$M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy$

для p , q = 0,1,2,...Адаптируя это к скалярному (в оттенках серого) изображению с интенсивностью пикселей I ( x , y ), моменты необработанного изображения M _ij вычисляются по формуле

$M_{ij}=\sum _{x}\sum _{y}x^{i}y^{j}I(x,y)\,\!$

В некоторых случаях это можно вычислить, рассматривая изображение как функцию плотности вероятности , т. е . разделив указанное выше на

$\sum _{x}\sum _{y}I(x,y)\,\!$

Теорема единственности (Ху [1962]) утверждает, что если f ( x , y ) кусочно-непрерывен и имеет ненулевые значения только в конечной части xy плоскости существуют моменты всех порядков, и последовательность моментов ( M _pq ) однозначно определяется f ( x , y ). И наоборот, ( M _pq ) однозначно определяет f ( x , y ). На практике изображение суммируется с помощью функций нескольких моментов более низкого порядка.

Примеры

Простые свойства изображения, полученные с помощью необработанных моментов, включают:

• Площадь (для бинарных изображений) или сумма уровней серого (для изображений в оттенках серого): $M_{00}$
• Центроид: $\{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}$

Центральные моменты

Центральные моменты определяются как

$\mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy$

где ${\bar {x}}={\frac {M_{10}}{M_{00}}}$ и ${\bar {y}}={\frac {M_{01}}{M_{00}}}$ являются компонентами центроида .

Если ƒ ( x , y ) является цифровым изображением, то предыдущее уравнение принимает вид

$\mu _{pq}=\sum _{x}\sum _{y}(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)$

Центральными моментами порядка до 3 являются:

$\mu _{00}=M_{00},\,\!$

$\mu _{01}=0,\,\!$

$\mu _{10}=0,\,\!$

$\mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},$

$\mu _{20}=M_{20}-{\bar {x}}M_{10},$

$\mu _{02}=M_{02}-{\bar {y}}M_{01},$

$\mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},$

$\mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},$

$\mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},$

$\mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.$

Можно показать, что:

$\mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}$

Центральные моменты являются трансляционным инвариантом .

Примеры

Информацию об ориентации изображения можно получить, сначала используя центральные моменты второго порядка для построения ковариационной матрицы .

$\mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}$

$\mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}$

$\mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}$

Ковариационная матрица изображения $I(x,y)$ сейчас

$\operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}$.

Собственные векторы этой матрицы соответствуют большой и малой осям интенсивности изображения, поэтому ориентацию можно, таким образом, извлечь из угла собственного вектора, связанного с наибольшим собственным значением, по отношению к оси, ближайшей к этому собственному вектору. Можно показать, что этот угол Θ определяется следующей формулой:

$\Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)$

Приведенная выше формула справедлива до тех пор, пока:

$\mu '_{20}-\mu '_{02}\neq 0$

матрицы равны Легко показать, что собственные значения ковариационной

$\lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},$

и пропорциональны квадрату длины осей собственных векторов. Таким образом, относительная разница в величине собственных значений является показателем эксцентриситета изображения или того, насколько оно вытянуто. Эксцентриситет ​ ​

${\sqrt {1-{\frac {\lambda _{2}}{\lambda _{1}}}}}.$

Моментные инварианты

Моменты хорошо известны своим применением в анализе изображений, поскольку их можно использовать для получения инвариантов относительно конкретных классов преобразования.

термином «инвариантные моменты» В этом контексте часто злоупотребляют . Однако, хотя моментные инварианты являются инвариантами, образованными из моментов, единственными моментами, которые сами по себе являются инвариантами, являются центральные моменты.

Обратите внимание, что инварианты, подробно описанные ниже, точно инвариантны только в непрерывной области. В дискретной области ни масштабирование, ни вращение не определены четко: дискретное изображение, преобразованное таким образом, обычно является аппроксимацией, и преобразование необратимо. Таким образом, эти инварианты инвариантны лишь приблизительно при описании формы в дискретном изображении.

Инварианты перевода

Центральные моменты µ _{i j} любого порядка по построению инвариантны относительно сдвигов .

Масштабные инварианты

Инварианты η _{i j} относительно перемещения и масштаба могут быть построены из центральных моментов путем деления на правильно масштабированный нулевой центральный момент:

$\eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}\,\!$

где я + j ≥ 2.Обратите внимание, что трансляционная инвариантность напрямую следует за использованием только центральных моментов.

Инварианты вращения

Как показано в работе Ху, инварианты относительно перевода , масштаба и вращения могут быть построены:

$I_{1}=\eta _{20}+\eta _{02}$

$I_{2}=(\eta _{20}-\eta _{02})^{2}+4\eta _{11}^{2}$

$I_{3}=(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}$

$I_{4}=(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}$

$I_{5}=(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]$

$I_{6}=(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})$

$I_{7}=(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}].$

Они хорошо известны как инварианты момента Ху .

Первый, I ₁ , аналогичен моменту инерции вокруг центроида изображения, где интенсивность пикселей аналогична физической плотности. Первые шесть, I ₁ ... I ₆ , являются зеркально-симметричными, т.е. они не изменяются, если изображение меняется на зеркальное. Последний, I ₇ , является антисимметричным по отражению (меняет знак при отражении), что позволяет ему отличать зеркальные изображения от идентичных в остальном изображений.

Общая теория получения полных и независимых наборов инвариантов момента вращения была предложена Дж. Флюссером. Он показал, что традиционный набор моментных инвариантов Ху не является ни независимым, ни полным. I ₃ не очень полезен, так как зависит от остальных ( $I_{3}=(I_{5}^{2}+I_{7}^{2})/I_{4}^{3}$). В исходном наборе Ху отсутствует независимый моментный инвариант третьего порядка:

$I_{8}=\eta _{11}[(\eta _{30}+\eta _{12})^{2}-(\eta _{03}+\eta _{21})^{2}]-(\eta _{20}-\eta _{02})(\eta _{30}+\eta _{12})(\eta _{03}+\eta _{21})$

Как и I ₇ , I ₈ также является антисимметричным по отражению.

Позже Дж. Флюссер и Т. Сук специализировал теорию для случая N-вращательно-симметричных форм.

Приложения

Чжан и др. применил моментные инварианты Ху для решения проблемы обнаружения патологического мозга (PBD). Дорр и Флоренс использовали информацию об ориентации объекта, связанную с центральными моментами второго порядка, для эффективного извлечения поперечных сечений объекта, инвариантных к трансляции и вращению, из данных изображений микрорентгеновской томографии.

Д. А. Хельцель и Вэй-Хуа Чиенг использовали инвариант момента Ху для работы с четырехстержневым механизмом с размерными параметрами, который позволил получить 15 различных групп (шаблонов) кривых муфты из 356 сгенерированных кривых муфты.

Внешние ссылки

• Анализ двоичных изображений , Эдинбургский университет
• Статистические моменты , Эдинбургский университет
• Вариантные моменты , страница Machine Perception and Computer Vision (исходный код Matlab и Python)
• Hu Moments на YouTube Вступительное видео
• Суть Реализация этой страницы, jupyter и python.