Градиентный векторный поток

Градиентный векторный поток ( GVF ), система компьютерного зрения, представленная Чэньян Сюй и Джерри Л. Принсом , — векторное поле, создаваемое процессом сглаживания и рассеивания входного векторного поля. Обычно он используется для создания векторного поля из изображений, указывающего на края объекта на расстоянии. Он широко используется в приложениях анализа изображений и компьютерного зрения для отслеживания объектов, распознавания формы, сегментации и обнаружения краев . В частности, он обычно используется в сочетании с моделью активного контура .

Результаты применения алгоритма градиентного векторного потока к трехмерным данным метасферы

Фон

Поиск объектов или однородных областей на изображениях — это процесс, известный как сегментация изображения. Во многих приложениях расположение границ объекта можно оценить с помощью локальных операторов, которые создают новое изображение, называемое картой границ. Затем карту ребер можно использовать для управления деформируемой моделью, иногда называемойактивный контур или змея, чтобы он плавно проходил через карту краев, тем самым определяя сам объект.

Распространенный способ заставить деформируемую модель двигаться к карте ребер — взять пространственный градиент карты ребер, получив векторное поле. Поскольку карта ребер имеет максимальную интенсивность непосредственно на краю и падает до нуля по мере удаления от края, эти векторы градиента задают направления для движения активного контура. Когда векторы градиента равны нулю, активный контур не будет перемещаться, и это правильное поведение, когда контур опирается на вершину самой карты ребер. Однако, поскольку само ребро определяется локальными операторами, эти векторы градиента также будут равны нулю вдали от края, и поэтому активный контур не будет перемещаться к краю при инициализации далеко от края.

Поток векторов градиента (GVF) — это процесс, который пространственно расширяет векторы градиента карты ребер, создавая новое векторное поле, содержащееинформация о расположении краев объекта по всей области изображения. GVF определяется как диффузионный процесс, действующий накомпоненты входного векторного поля. Он разработан для того, чтобы сбалансировать точность исходного векторного поля, поэтому оно не изменяется слишком сильно.с регуляризацией, предназначенной для создания сглаженного поля на выходе.

Хотя GVF изначально был разработан для сегментации объектов с использованием активных контуров, притянутых к краям, с тех пор он быладаптирован и использован для многих альтернативных целей. Некоторые новые цели, включая определение непрерывного представления медиальной оси, регуляризация алгоритмов анизотропной диффузии изображений, нахождение центров лентообразных объектов, построение графов для оптимальной сегментации поверхности, предварительное создание формы, и многое другое.

Теория

Теория GVF была первоначально описана Сюем и Принсом. Позволять $\textstyle f(x,y)$ быть картой ребер, определенной в области изображения. Для единообразия результатов важно ограничить интенсивность карты ребер диапазоном от 0 до 1 и по соглашению $\textstyle f(x,y)$ принимает большие значения (близкие к 1) на краях объекта. Поле градиентного векторного потока (GVF) задается векторным полем $\textstyle \mathbf {v} (x,y)=[u(x,y),v(x,y)]$ что минимизирует энергетический функционал

$${\mathcal {E}}=\iint _{\mathbb {R} ^{2}}|\nabla f|^{2}|\mathbf {v} -\nabla f|^{2}+\mu (u_{x}^{2}+u_{y}^{2}+v_{x}^{2}+v_{y}^{2})\,dx\,dy\,.$$

(1)

В этом уравнении индексы обозначают частные производные, а градиент карты ребер задается векторным полем $\textstyle \nabla f=(f_{x},f_{y})$. На рис. 1 показана карта ребер, градиент(слегка размытой) карты границ и поле GVF, сгенерированноеминимизация $\textstyle {\mathcal {E}}$.

Рис. 1. Карта ребер (слева) описывает границу объекта. Градиент (слегка размытой) карты краев (в центре) указывает на границу, но очень локальный. Поле градиентного векторного потока (GVF) (справа) также указывает на границу, но имеет гораздо больший диапазон захвата.

Уравнение 1 представляет собой вариационную формулировку, в которой есть как член данных, так и член регуляризации. Первый член подынтегральной функции является термином данных. Это побуждает к решению $\textstyle \mathbf {v}$ чтобы точно соответствовать градиентам карты краев, поскольку это сделает $\textstyle \mathbf {v} -\nabla f$ маленький. Однако это должно происходить только в том случае, если градиенты карты краев велики, поскольку $\textstyle \mathbf {v} -\nabla f$ умножается на квадрат длины этих градиентов. Второй член подынтегральной функции является членом регуляризации. Он способствует тому, чтобы пространственные вариации компонентов решения были небольшими, штрафуя сумму всех частичных значений.производные от $\textstyle \mathbf {v}$. Как это принято в вариационных формулировках такого типа, имеется параметр регуляризации $\textstyle \mu >0$ это должно быть указано пользователем, чтобы скомпенсировать влияние каждого из двух условий. Если $\textstyle \mu$ большое, то результирующее поле будет очень гладким и может также не согласовыватьсяс нижележащими градиентами краев.

Теоретическое решение. Нахождение $\textstyle \mathbf {v} (x,y)$ минимизировать уравнение 1требует использования вариационного исчисления, поскольку $\textstyle \mathbf {v} (x,y)$ это функция, а не переменная. Соответственно, уравнения Эйлера, обеспечивающие необходимые условия для $\textstyle \mathbf {v}$ Решение может быть найдено с помощью вариационного исчисления, что дает

$$\mu \nabla ^{2}u-(u-f_{x})(f_{x}^{2}+f_{y}^{2})=0\,,$$ (2а)

$$\mu \nabla ^{2}v-(v-f_{x})(f_{x}^{2}+f_{y}^{2})=0\,,$$ (2б)

где $\textstyle \nabla ^{2}$ является оператором Лапласа. Поучительно рассмотреть вид уравнений (2). Каждое из них представляет собой уравнение в частных производных, компоненты которого $u$ и $v$ из $\mathbf {v}$ должен удовлетворить. Если величина краевого градиента мала, то решение каждого уравнения полностью определяется уравнением Лапласа, например $\textstyle \nabla ^{2}u=0$, что создаст гладкое скалярное поле, полностью зависящее от его граничных условий. Граничные условия эффективно обеспечиваются теми местами на изображении, где величина краевого градиента велика, где решение приводится в большее соответствие с краевыми градиентами.

Вычислительные решения. Существует два основных способа расчета GVF. Во-первых, энергетическая функция ${\mathcal {E}}$ саму (1) можно напрямую дискретизировать и минимизировать, например, градиентным спуском. Во-вторых, частичная дифференциальные уравнения в (2) можно дискретизировать и решать итеративно. В оригинальной статье GVF использовался итерационный метод.подход, в то время как в более поздних статьях были представлены значительно более быстрые реализации, такие как метод на основе октодерева, многосеточный метод, и расширенный метод Лагранжа. Кроме того, в

Расширения и достижения. GVF легко расширяется до более высоких измерений. Энергетическая функция легко записывается в векторной форме как

$${\mathcal {E}}=\int _{\mathbb {R} ^{n}}\mu |\nabla \mathbf {v} |^{2}+|\nabla f|^{2}|\mathbf {v} -\nabla f|^{2}d\mathbf {x} \,,$$

(3)

которую можно решить градиентным спуском или нахождением и решением ееУравнение Эйлера. На рис. 2 представлена ​​иллюстрация трехмерного поля GVF на карте ребер простого объекта (см. ).

Рис. 2. Объект, показанный в левом верхнем углу, используется в качестве карты ребер для создания трехмерного поля GVF. Векторы и линии тока поля GVF показаны в увеличенной области (Z), вертикальной плоскости (V) и горизонтальной плоскости (H).

Данные и члены регуляризации в подынтегральной функции функционала GVF также могут быть изменены. Описана модификацияв , называется обобщенный векторный поток градиента (GGVF) определяет две скалярные функции и переформулирует энергию как

$${\mathcal {E}}=\int _{\mathbb {R} ^{n}}g(|\nabla f|)|\nabla \mathbf {v} |^{2}+h(|\nabla f|)|\mathbf {v} -\nabla f|^{2}d\mathbf {x} \,.$$

(4)

В то время как выбор $\textstyle g(\nabla f|)=\mu$ и $\textstyle h(|\nabla f|)=|\nabla f|^{2}$ уменьшить GGVF до GVF, альтернативные варианты $\textstyle g(|\nabla f|)=\exp\{-|\nabla f|/K\}$ и $\textstyle h(\nabla f|)=1-g(|\nabla f|)$, для $K$ константа, выбираемая пользователем, может улучшить компромисс между термином данных и его регуляризацией в некоторых приложениях.

Формулировка GVF была расширена до векторных изображений в где используется тензор взвешенной структуры векторного изображения. Вероятностно-взвешенное расширение GVF, основанное на обучении, было предложено в для дальнейшего улучшения сегментации изображений с сильно загроможденными текстурами или высоким уровнем шума.

Вариационная формулировка GVF также была изменена в GVF движения (MGVF), чтобы включить движение объекта впоследовательность изображений. В то время как диффузия векторов GVF из обычной карты ребер действует изотропно, формулировка MGVF учитывает ожидаемое движение объекта между кадрами изображения.

Альтернатива GVF, называемая сверткой векторного поля (VFC), обеспечивает многие преимущества GVF, обладает превосходной помехоустойчивостью иможно вычислить очень быстро. Поле VFC $\textstyle \mathbf {v} _{\mathrm {VFC} }$ определяется как свертка карты ребер $f$ с ядром векторного поля $\mathbf {k}$

$$\mathbf {v} _{\mathrm {VFC} }(x,y)=f(x,y)*\mathbf {k} (x,y)\,,$$

(5)

где

$$\mathbf {k} (x,y)=\left\{{\begin{array}{cl}m(x,y)\left({\frac {-x}{\sqrt {x^{2}+y^{2}}}},{\frac {-y}{\sqrt {x^{2}+y^{2}}}}\right)&(x,y)\neq (0,0)\\(0,0)&\mathrm {otherwise} \end{array}}\right.$$

(6)

Ядро векторного поля $\textstyle \mathbf {k}$ имеет векторы, которые всегда указывают на начало координат, но их величины, подробно определяемыефункция $m$, уменьшаются до нуля с увеличением расстояния от начала координат.

Прелесть VFC в том, что его можно вычислить очень быстро, используя быстрое преобразование Фурье (БПФ), умножение и обратное БПФ.дальность захвата может быть большой и явно задается радиусом $R$ ядра векторного поля. Возможным недостатком VFC является то, что он слабый.края могут быть перегружены сильными краями, но эту проблему можно облегчить, используя гибридный метод, который переключается на традиционныйсилы, когда змея приближается к границе.

Характеристики. GVF обладает характеристиками, которые сделали его полезным во многих разнообразных приложениях. Уже было отмечено, чтоего основная первоначальная цель заключалась в том, чтобы расширить локальное краевое поле по всей области изображения, далеко от фактического края во многих случаях.случаи. Это свойство было описано как расширение диапазона захвата внешней силы активного контура.модель. Он также способен перемещать активные контуры в вогнутые области границы объекта. Эти два свойства иллюстрируютсяна рисунке 3.

Рис. 3. Активный контур с традиционными внешними силами (слева) должен быть инициализирован очень близко к границе и он все равно не будет сходиться к истинной границе в вогнутых областях. Активный контур, использующий внешние силы GVF (справа), можно инициализировать дальше, и он будет сходиться к истинной границе, даже в вогнутых областях.

Предыдущие силы, которые использовались в качестве внешних сил (на основе градиентов карты ребер и просто связанных с ними вариантов), требовали давления.сил с целью перемещения границ на большие расстояния и в вогнутые области. Силы давления, также называемые баллонными силами, обеспечиваютнепрерывная сила на границе в одном направлении (наружу или внутрь) и имеет тенденцию оказывать эффект проталкивания слабые границы. GVF часто может заменить силы давления и обеспечить лучшую производительность в таких ситуациях.

Поскольку процесс диффузии присущ решению GVF, векторы, указывающие в противоположных направлениях, имеют тенденцию конкурировать, когда они встречаются в точке.центральное расположение, тем самым определяя тип геометрической особенности, которая связана с конфигурацией границы, но не очевидна напрямую изкарта края. Например, перцептивные края — это пробелы в карте границ, которые люди обычно визуально соединяют.восприятие. GVF помогает соединить их, рассеивая противоположные векторы градиента краев через зазор; и хотя тамне является фактической картой границ, активный контур будет сходиться к воспринимаемому краю, потому что векторы GVF направляют их туда (см. Сюй, К.; Принс, JL (2012). «Активные контуры, деформируемые модели и градиентный векторный поток» . Интернет-ресурс, включая загрузку кода. ).Это свойство сохраняется, когда существуют так называемые слабые ребра, идентифицируемые областями карт ребер, имеющими более низкие значения.

Векторы GVF также встречаются в оппозиции в центральных местах объектов, тем самым определяя тип медиальности. Это свойство былоиспользуется как альтернативное определение скелета объектов а также как способ инициализации деформируемых моделей внутри объектов, чтобы схождение к границе было более вероятным.

Приложения

Наиболее фундаментальное применение GVF — это использование внешней силы в деформируемой модели. Типичное приложение рассматривает изображение $\textstyle I(\mathbf {x} )$ с объектом, отделенным по интенсивности от его фона. Таким образом, подходящая карта ребер $\textstyle f(\mathbf {x} )$ может быть определен

$$f(\mathbf {x} )={\frac {|\nabla (I(\mathbf {x} )*G_{\sigma }(\mathbf {x} ))|}{\max _{\mathbf {x} }|\nabla (I(\mathbf {x} )*G_{\sigma }(\mathbf {x} ))|}}\,,$$

(7)

где $\textstyle G_{\sigma }$ представляет собой ядро ​​размытия по Гауссу со стандартным отклонением $\textstyle \sigma$ и $*$ является сверткой. Это определение применимо в любом измерении и дает карту ребер, попадающую в диапазон $[0,1]$. Размытие по Гауссу используется в первую очередь для того, чтобызначимый вектор градиента всегда можно вычислить, но $\sigma$ обычно остается довольно небольшим, чтобы истинные положения края не были слишкомискаженный. Учитывая эту карту ребер, векторное поле GVF $\textstyle \mathbf {v} (\mathbf {x} )$ можно вычислить, решив (2).

Сама деформируемая модель может быть реализована различными способами, включая параметрические модели, такие как исходная модель.змея или активные поверхности и неявные модели, включая геометрические деформируемые модели. В случаепараметрических деформируемых моделей векторное поле GVF $\mathbf {v}$ могут использоваться непосредственно в качестве внешних сил в модели. Если деформируемая модель определяется эволюцией (двумерного) активного контура $\mathbf {X} (s,t)$, тогда простойуравнение эволюции параметрического активного контура можно записать как

$$\gamma \mathbf {X} _{t}=\alpha \mathbf {X} _{ss}-\mathbf {v} (\mathbf {X} )\,.$$

(8)

Здесь индексы обозначают частные производные и $\gamma$ и $\alpha$ являются константами, выбранными пользователем.

Рис. 4. Внутренняя, центральная и внешняя поверхности коры головного мозга человека (вверху) найдены последовательно с помощью сил GVF в трех геометрических деформируемых моделях. Центральная поверхность использует функцию принадлежности серого вещества (внизу слева) в качестве карты границ, которая рисует центральную поверхность с центральным слоем коркового серого вещества. Положения трех поверхностей показаны как вложенные поверхности в корональном разрезе (внизу справа).

В случае геометрических деформируемых моделей векторное поле GVF $\mathbf {v}$ сначала проецируется против нормального направлениянеявный волновой фронт, определяющий дополнительную функцию скорости. Соответственно, тогда эволюция знаковой функции расстояния $\textstyle \phi _{t}(\mathbf {x} )$ определяющий простой геометрический деформируемый контур, можно записать как

$$\gamma \phi _{t}=[\alpha \kappa -\mathbf {v} \cdot {\frac {\nabla \phi }{|\nabla \phi |}}]|\nabla \phi |\,,$$

(9)

где $\kappa$ – кривизна контура и $\alpha$ — константа, выбираемая пользователем.

Более сложная формулировка деформируемой модели, сочетающая в себепредложено геодезическое активное контурное течение с силами ГВФ.в . В этой статье также показано, как применять добавку.Схема разделения операторов для быстрого расчета этого метода сегментации. Уникальность и существование этогокомбинированная модель были апробированы в России. Дальнейшая модификация этой модели с использованием члена внешней силы, минимизирующего расхождение GVF, была предложена в чтобы добиться еще лучшей сегментации изображений со сложными геометрическими объектами.

GVF использовался для обнаружения как внутренних, центральных, так и центральных корковых поверхностей при анализе изображений мозга. как показано на рисунке 4.Процесс сначала находит внутреннюю поверхность, используя трехмерную геометрическую деформируемую модель с обычными силами. Затем центральныйповерхность находится путем использования свойства центральной тенденции GVF. В частности, корковая функция принадлежности человеческого мозгаCortex, полученный с использованием нечеткого классификатора, используется для вычисления GVF, как если бы он сам был картой толстых ребер. Вычисленные векторы GVF указывают нацентр коры и затем может использоваться в качестве внешних сил для перемещения внутренней поверхности к центральной поверхности. Наконец, еще одингеометрическая деформируемая модель с обычными силами используется для перемещения центральной поверхности в положение на внешней поверхности коры.

Несколько заметных недавних применений GVF включают построение графов для оптимальной сегментации поверхности в оптической когерентности в спектральной области. объемы томографии, основанная на обучении вероятностная формулировка активного контура GVF, позволяющая придавать объектам больший вес представляет интерес для сегментации ультразвуковых изображений, и адаптивный многофункциональный активный контур GVF для улучшенной сегментации ультразвукового изображения без настраиваемых вручную параметров.

Связанные понятия

• Деформируемые модели
• Активная контурная модель
• Обнаружение края