Жесткая сегментация движения

В компьютерном зрении сегментация жесткого движения — это процесс разделения областей , особенностей или траекторий видеопоследовательности на последовательные подмножества пространства и времени. Эти подмножества соответствуют независимым жестко движущимся объектам сцены. Цель этой сегментации — дифференцировать и извлечь значимое жесткое движение из фона и проанализировать его. Методы сегментации изображения помечают пиксели как часть пикселей с определенными характеристиками в определенный момент времени. Здесь пиксели сегментируются в зависимости от их относительного движения за период времени, то есть времени видеопоследовательности.

Для этого было предложено несколько методов. Не существует единого способа классификации сегментации движения из-за ее большого разнообразия в литературе. В зависимости от критерия сегментации, используемого в алгоритме, его можно разделить на следующие категории: разность изображений, статистические методы, вейвлеты, расслоение, оптический поток и факторизация. Более того, в зависимости от требуемого количества представлений алгоритмы могут быть двух- или многопредставленными. Сегментация жесткого движения нашла все более широкое применение в последнее время с развитием наблюдения и редактирования видео . Эти алгоритмы обсуждаются далее.

Введение в твердое движение

В целом движение можно рассматривать как трансформацию объекта в пространстве и времени. Если это преобразование сохраняет размер и форму объекта, оно называется жестким преобразованием. Жесткое преобразование может быть вращательным, поступательным или отражательным. Мы определяем жесткое преобразование математически как:

$\digamma :A\to A$

Рисунок 1: Жесткое движение в 3-D

где F — жесткое преобразование тогда и только тогда, когда оно сохраняет изометрию и ориентацию пространства .

В смысле движения жесткое преобразование — это перемещение твердого объекта в пространстве. Как показано на рисунке 1: это трехмерное движение представляет собой преобразование исходных координат (X,Y,Z) в преобразованные координаты (X',Y',Z'), которое является результатом зафиксированного вращения и перемещения. матрицей вращения R и вектором поступательного движения T соответственно. Следовательно, преобразование будет:

${\begin{bmatrix}X'\\Y'\\Z'\\\end{bmatrix}}=R\cdot {\begin{bmatrix}X\\Y\\Z\\\end{bmatrix}}+T$

где,

$R={\begin{bmatrix}r11&r12&r13\\r21&r22&r23\\r31&r32&r33\\\end{bmatrix}}and\ T={\begin{bmatrix}T_{x}\\T_{y}\\T_{z}\\\end{bmatrix}}$

$R$ имеет 9 неизвестных, которые соответствуют углу поворота по каждой оси и $T$ имеет 3 неизвестных ( $Tx,Ty,Tz$), которые учитывают перемещение в направлениях X, Y и Z соответственно. Это движение (3-D) во времени при захвате камерой (2-D) соответствует изменению пикселей в последующих кадрах видеопоследовательности. Это преобразование также известно как двумерное движение твердого тела или двумерное евклидово преобразование . Это можно записать как:

$X'=R\cdot X+t$

где,

$X={\begin{bmatrix}X\\Y\\\end{bmatrix}},\ X'={\begin{bmatrix}X'\\Y'\\\end{bmatrix}},\ R={\begin{bmatrix}\cos(\theta )&&-\sin(\theta )\\\sin(\theta )&&\cos(\theta )\\\end{bmatrix}}and\ t={\begin{bmatrix}t_{x}\\t_{y}\\\end{bmatrix}}$

X→ исходная координата пикселя.

X'→ преобразованная координата пикселя.

R → ортонормированная матрица вращения с R ⋅ R ^Т = I и |R| = 1.

t→ поступательный вектор, но в пространстве 2D-изображения.

Для наглядности рассмотрим пример видеоряда камеры наблюдения за дорожным движением. В нем будут движущиеся автомобили, и это движение не меняет их форму и размер. Более того, движение представляет собой комбинацию вращения и трансформации автомобиля в 3D, что отражается в его последующих видеокадрах. Таким образом, говорят, что автомобиль имеет жесткое движение.

Сегментация движения

Рисунок 2: Алгоритм сегментации движения

Методы сегментации изображения направлены на сегментирование различных частей изображения в соответствии с интересующей областью. Поскольку видео представляет собой последовательность изображений, сегментация движения направлена ​​на разложение видео на движущиеся объекты и фон путем сегментации объектов, которые подвергаются различным шаблонам движения. Анализ этих пространственных и временных изменений, происходящих в последовательности изображений, путем разделения визуальных признаков сцен на разные группы, позволяет извлечь визуальную информацию. Каждая группа соответствует движению объекта в динамической последовательности. В простейшем случае сегментация движения может означать извлечение движущихся объектов из неподвижной камеры, но камера также может двигаться, что создает относительное движение статического фона. В зависимости от типа извлекаемых визуальных особенностей алгоритмы сегментации движения можно разделить на две категории. Первый известен как сегментация прямого движения, при которой используется интенсивность пикселей изображения. Такие алгоритмы предполагают постоянную освещенность. Вторая категория алгоритмов вычисляет набор признаков, соответствующих реальным физическим точкам на объектах. Эти редкие функции затем используются для характеристики либо двухмерного движения сцены, либо трехмерного движения объектов на сцене. Существует ряд требований для разработки хорошего алгоритма сегментации движения. Алгоритм должен извлекать отдельные особенности (углы или выступающие точки), которые представляют объект с помощью ограниченного числа точек, и он должен иметь возможность работать с окклюзии . На изображения также будет влиять шум и в них будут отсутствовать данные, поэтому они должны быть надежными. Некоторые алгоритмы обнаруживают только один объект, но видеоряд может иметь разные движения. Таким образом, алгоритм должен состоять из нескольких детекторов объектов. Более того, тип модели камеры, если она используется, также характеризует алгоритм. В зависимости от характеристики объекта алгоритм может обнаруживать жесткое, нежесткое движение или и то, и другое. Более того, алгоритмы, используемые для оценки одиночных движений твердого тела, могут давать точные результаты, устойчивые к шуму и выбросам, но при распространении на несколько движений твердого тела они терпят неудачу. В случае описанных ниже методов сегментации на основе представлений это происходит потому, что предположение об единственной фундаментальной матрице нарушается, поскольку каждое движение теперь будет представлено посредством новой фундаментальной матрицы, соответствующей этому движению.

Алгоритмы сегментации

Как упоминалось ранее, не существует конкретного способа различать методы сегментации движения, но в зависимости от критерия сегментации, используемого в алгоритме, их можно в общих чертах классифицировать следующим образом:

Разница изображений

Это очень полезный метод обнаружения изменений в изображениях благодаря его простоте и способности справляться с окклюзией и множественными движениями. Эти методы предполагают постоянную интенсивность источника света. Алгоритм сначала рассматривает два кадра одновременно, а затем вычисляет попиксельную разницу интенсивности. При этом вычислении он определяет порог разницы интенсивности и отображает изменения на контуре . Используя этот контур, он извлекает пространственную и временную информацию, необходимую для определения движения в сцене. Хотя этот метод прост в реализации, он не устойчив к шуму. Еще одна трудность этих техник — движение камеры. Когда камера движется, все изображение меняется, и это необходимо учитывать. Для преодоления этих трудностей было введено множество новых алгоритмов.

Статистическая теория

Сегментацию движения можно рассматривать как проблему классификации, где каждый пиксель должен быть классифицирован как фон или передний план. Такие классификации моделируются в рамках статистической теории и могут использоваться в алгоритмах сегментации. Эти подходы можно разделить в зависимости от используемой статистической основы. Наиболее часто используемые фреймворки максимальны апостериорная вероятность (MAP), Фильтр твердых частиц (PF) и максимизация ожиданий (EM). MAP использует правило Байеса для реализации, где конкретный пиксель должен быть отнесен к заранее определенным классам. ПФ основан на концепции эволюции переменной с изменением вес с течением времени. Окончательная оценка представляет собой взвешенную сумму всех переменных. Оба эти метода являются итеративными. Алгоритм EM также является итеративным методом оценки. Он вычисляет оценку максимального правдоподобия (ML) параметров модели при наличии отсутствующих или скрытых данных и определяет наиболее вероятное соответствие наблюдаемых данных.

Оптический поток

Оптический поток (OF) помогает определить относительную скорость пикселей точек в последовательности изображений. Как и различие изображений, это старая концепция, используемая для сегментации. Первоначально основным недостатком OF было отсутствие устойчивости к шуму и высокие вычислительные затраты, но благодаря недавним методам сопоставления ключевых точек и аппаратным реализациям эти ограничения уменьшились. Чтобы повысить устойчивость к окклюзии и временной остановке, OF обычно используется с другими статистическими методами или методами различия изображений. В сложных сценариях, особенно когда сама камера движется, OF обеспечивает основу для оценки фундаментальной матрицы , где выбросы представляют другие объекты, движущиеся независимо в сцене. Альтернативно, оптический поток, основанный на сегментах линий вместо точечных объектов, также может использоваться для сегментации нескольких движений твердого тела.

Вейвлет

Изображение состоит из различных частотных составляющих. Края, углы и плоские области могут быть представлены с помощью разных частот. Методы, основанные на вейвлетах, выполняют анализ различных частотных компонентов изображений, а затем изучают каждый компонент с разным разрешением, чтобы они соответствовали его масштабу. Многомасштабное разложение обычно используется для уменьшения шума. Хотя этот метод дает хорошие результаты, это ограничено предположением, что движение объектов происходит только перед камерой. Реализации методов на основе вейвлетов присутствуют вместе с другими подходами, такими как оптический поток, и применяются в различных масштабах для уменьшения эффекта шума.

Слои

Методы, основанные на слоях, делят изображения на слои, которые имеют равномерное движение. Этот подход определяет различные слои глубины изображения и определяет, в каком слое находится объект или часть изображения. Такие методы используются в стереозрении , где необходимо вычислить расстояние по глубине. Первый метод на основе слоев был предложен в 1993 году. Поскольку люди также используют сегментацию на основе слоев, этот метод является естественным решением проблем окклюзии, но он очень сложен и требует ручной настройки.

Факторизация

Томаси и Канаде представили первый метод факторизации. Этот метод отслеживал особенности последовательности изображений и восстанавливал форму и движение. Этот метод факторизовал матрицу траектории W, определенную после отслеживания различных особенностей последовательности, на две матрицы: движения и структуры с использованием разложения по сингулярным значениям . Простота алгоритма является причиной его широкого использования, но он чувствителен к шуму и выбросам . Большинство этих методов реализуются в предположении жесткого и независимого движения.

Алгоритмы на основе просмотра

Дальнейшие алгоритмы обнаружения движения также можно классифицировать в зависимости от количества изображений: а именно, подходы, основанные на двух и нескольких изображениях. Подходы, основанные на двух ракурсах, обычно основаны на эпиполярной геометрии . Рассмотрим два перспективных изображения твердого тела с камеры и найдем соответствия их характеристикам. Видно, что эти соответствия удовлетворяют либо эпиполярному ограничению для обычного твердого тела, либо ограничению гомографии для плоского объекта. Плоское движение в последовательности — это движение фона, фасада или земли. Таким образом, это вырожденный случай движения твердого тела вместе с обычными твердыми объектами, например автомобилями. Следовательно, мы ожидаем увидеть в последовательности более одного типа движения, описываемого множеством эпиполярных ограничений и гомографий. Алгоритмы на основе представлений чувствительны к выбросам, но последние подходы справляются с выбросами, используя консенсус случайной выборки ( RANSAC ). и усовершенствованные Дирихле . модели технологических смесей Другие подходы используют минимизацию глобальных измерений, чтобы выявить кластеры, соответствующие базовому подпространству. Эти подходы используют только два кадра для сегментации движения, даже если доступно несколько кадров, поскольку они не могут использовать многокадровую информацию. Подходы, основанные на нескольких представлениях, используют траекторию характерных точек в отличие от подходов, основанных на двух представлениях. Был предложен ряд подходов, в том числе конфигурация основных углов (PAC). и разреженная кластеризация подпространств (SSC) методы. Эти хорошо работают в случаях двух или трех движений. Эти алгоритмы также устойчивы к шуму за счет компромисса со скоростью, т. е. они менее чувствительны к шуму, но медленны в вычислениях. Другими алгоритмами с многопредставленным подходом являются кластеризация спектральной кривизны (SCC), метод на основе скрытого представления низкого ранга (LatLRR). и подходы, основанные на ICLM. Эти алгоритмы быстрее и точнее, чем алгоритмы, основанные на двух представлениях, но требуют большего количества кадров для поддержания точности.

Проблемы

Совместная сегментация движущихся объектов

Сегментация движения — это область исследований, поскольку существует множество проблем, требующих улучшения. Одной из основных проблем является обнаружение признаков и поиск соответствий . Существуют сильные алгоритмы обнаружения признаков, но они по-прежнему дают ложные срабатывания, что может привести к неожиданным соответствиям. Найти соответствия этих пикселей или признаков — непростая задача. Эти несовпадающие характерные точки объектов и фона часто приводят к выбросам. Наличие шума изображения и выбросов дополнительно влияет на точность оценки структуры по движению (SFM). Другая проблема связана с моделями движения или представлениями движения. Для этого требуется, чтобы движение было смоделировано или оценено в данной модели, используемой в алгоритме. Большинство алгоритмов выполняют сегментацию двумерного движения, предполагая, что движения в сцене могут быть смоделированы с помощью двумерных аффинных моделей движения. Теоретически это справедливо, поскольку двумерная модель поступательного движения может быть представлена ​​общей моделью аффинного движения. Однако подобные приближения при моделировании могут иметь негативные последствия. Трансляционная модель имеет два параметра, а аффинная модель — 6 параметров, поэтому мы оцениваем четыре дополнительных параметра. Более того, данных для оценки аффинной модели движения может быть недостаточно, поэтому оценка параметров может быть ошибочной. Некоторые из других проблем, с которыми пришлось столкнуться:

• Предварительные знания об объектах или о количестве объектов на сцене необходимы и не всегда доступны.
• Размытие — распространенная проблема, когда речь идет о движении.
• Движущиеся объекты могут создавать окклюзии, и вполне возможно, что весь объект может исчезнуть и снова появиться на сцене.
• Измерение соответствия трехмерных объектов на изображениях может быть зашумлено с точки зрения координат пикселей.

Были предложены надежные алгоритмы, которые устраняют выбросы и реализуют их с большей точностью. Метод факторизации Томази и Канаде является одним из методов, упомянутых выше в разделе факторизации.

Приложения

Сегментация движения имеет множество важных приложений. Он используется для сжатия видео. С помощью сегментации можно устранить избыточность, связанную с повторением одних и тех же визуальных паттернов на последовательных изображениях. Его также можно использовать для задач описания видео, таких как ведение журнала, аннотирование и индексирование. Используя методы автоматического извлечения объектов, можно разделить видеоконтент с информацией, относящейся к конкретному объекту. Таким образом, концепция может использоваться поисковыми системами и видеотеками. Некоторые конкретные приложения включают в себя:

• Видеонаблюдение в приложениях безопасности
• Анализ спортивной сцены
• Приложения по обеспечению безопасности дорожного движения в интеллектуальных транспортных средствах
• Индексирование видео
• Мониторинг трафика
• Распознавание объектов

Внешние ссылки

• Vision Lab охватывает GPCA, RANSAC (консенсус RANdom SAmple) и сходство локального подпространства (LSA), JCAS (совместная категоризация и сегментация), кластеризацию подпространства низкого ранга (LRSC) и теорию разреженного представления. Ссылка на несколько реализаций с использованием Matlab от Vision Lab Университета Джонса Хопкинса.