Поле движения

В компьютерном зрении поле движения является идеальным представлением движения в трехмерном пространстве (3D), проецируемом на изображение камеры. Учитывая упрощенную модель камеры , каждая точка $(y_{1},y_{2})$ на изображении — это проекция некоторой точки 3D-сцены, но положение проекции фиксированной точки в пространстве может меняться со временем. Поле движения формально можно определить как производную по времени от положения всех точек изображения, при условии, что они соответствуют фиксированным трехмерным точкам. Это означает, что поле движения можно представить как функцию, которая отображает координаты изображения в двумерный вектор. Поле движения представляет собой идеальное описание проецируемого трехмерного движения в том смысле, что оно может быть определено формально, но на практике обычно можно определить лишь приближение поля движения на основе данных изображения.

Введение

Иллюстрация некоторых 3D-точек и соответствующих им точек изображения, описанных моделью камеры-обскуры . Поскольку трехмерные точки движутся в пространстве, соответствующие точки изображения также движутся. Поле движения состоит из векторов движения изображения для всех точек изображения.

Модель камеры отображает каждую точку $(x_{1},x_{2},x_{3})$ в 3D-пространстве к точке 2D-изображения $(y_{1},y_{2})$ в соответствии с некоторыми функциями отображения $m_{1},m_{2}$:

${\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\begin{pmatrix}m_{1}(x_{1},x_{2},x_{3})\\m_{2}(x_{1},x_{2},x_{3})\end{pmatrix}}$

Предполагая, что сцена, изображаемая камерой, динамична; он состоит из объектов, движущихся относительно друг друга, объектов, которые деформируются, а также, возможно, камеры, движущейся относительно сцены. Фиксированная точка в трехмерном пространстве сопоставляется с различными точками изображения. Дифференцирование предыдущего выражения по времени дает

${\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}(x_{1},x_{2},x_{3})}{dt}}\\[2mm]{\frac {dm_{2}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}$

Здесь

$\mathbf {u} ={\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}$

— поле движения, а вектор u зависит как от положения изображения $(y_{1},y_{2})$ а также в момент t . Сходным образом,

$\mathbf {x'} ={\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}$

- это движение соответствующей трехмерной точки, и ее связь с полем движения определяется выражением

$\mathbf {u} =\mathbf {M} \,\mathbf {x} '$

где $\mathbf {M}$ зависит ли положение изображения $2\times 3$ матрица

$\mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}$

Это соотношение подразумевает, что поле движения в конкретной точке изображения инвариантно к трехмерным движениям, которые лежат в нулевом пространстве изображения. $\mathbf {M}$. Например, в случае камеры-обскуры все компоненты трехмерного движения, направленные к фокусной точке камеры или от нее, не могут быть обнаружены в поле движения.

Особые случаи

Поле движения $\mathbf {v}$ определяется как:

$\mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P} }{Z^{2}}}$

где

$\mathbf {V} =-\mathbf {T} -\mathbf {\omega } \times \mathbf {P}$.

где

• $\mathbf {P}$ — это точка сцены, где Z — расстояние до этой точки сцены.
• $\mathbf {V}$ относительное движение между камерой и сценой,
• $\mathbf {T}$ – поступательная составляющая движения, а
• $\mathbf {\omega }$ – угловая скорость движения.

Связь с оптическим потоком

Основная статья: оптический поток

Поле движения представляет собой идеальную конструкцию, основанную на идее, что можно определить движение каждой точки изображения, и выше описано, как это 2D-движение связано с 3D-движением. Однако на практике истинное поле движения можно лишь приблизительно определить на основе измерений данных изображения. Проблема заключается в том, что в большинстве случаев каждая точка изображения имеет индивидуальное движение, которое поэтому необходимо измерять локально с помощью операции соседства с данными изображения. приближение, часто называемое оптическим потоком Как следствие, правильное поле движения не может быть определено для определенных типов окрестностей, и вместо этого необходимо использовать . Например, окрестность, имеющая постоянную интенсивность, может соответствовать ненулевому полю движения, но оптический поток равен нулю, поскольку локальное движение изображения невозможно измерить. Аналогично, окрестность, которая является внутренней одномерной (например, край или линия), может соответствовать произвольному полю движения, но оптический поток может захватывать только нормальную составляющую поля движения. Существуют и другие эффекты, такие как шум изображения, 3D-окклюзия, временное сглаживание, которые присущи любому методу измерения оптического потока и приводят к отклонению результирующего оптического потока от истинного поля движения.

Короче говоря, поле движения невозможно правильно измерить для всех точек изображения, а оптический поток является аппроксимацией поля движения. Существует несколько различных способов расчета оптического потока, основанных на разных критериях проведения оптической оценки.

Ссылки

• Бернд Йене и Хорст Хауссекер (2000). Компьютерное зрение и его приложения. Руководство для студентов и практиков . Академическая пресса. ISBN  0-13-085198-1 .

• Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение . Прентис Холл. ISBN  0-13-030796-3 .

• Милан Шонка, Вацлав Главац и Роджер Бойл (1999). Обработка изображений, анализ и машинное зрение . Издательство ПВС. ISBN  0-534-95393-Х .