Основная матрица

В компьютерном зрении основная матрица — это $3\times 3$ матрица , $\mathbf {E}$ который связывает соответствующие точки на стереоизображениях , предполагая, что камеры удовлетворяют модели камеры-обскуры .

Функция

Более конкретно, если $\mathbf {y}$ и $\mathbf {y} '$ — однородные нормализованные координаты изображения на изображениях 1 и 2 соответственно, тогда

$(\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0$

если $\mathbf {y}$ и $\mathbf {y} '$ соответствуют одной и той же трехмерной точке сцены (а не «тогда и только тогда», поскольку точки, лежащие на одной и той же эпиполярной линии на первом изображении, будут сопоставлены с той же эпиполярной линией на втором изображении).

Вышеупомянутое соотношение, определяющее существенную матрицу, было опубликовано в 1981 году Х. Кристофером Лонге-Хиггинсом , представив эту концепцию сообществу компьютерного зрения. В книге Ричарда Хартли и Эндрю Зиссермана сообщается, что аналогичная матрица появилась в фотограмметрии задолго до этого. Статья Лонге-Хиггинса включает алгоритм оценки $\mathbf {E}$ из набора соответствующих нормализованных координат изображения, а также алгоритма определения взаимного положения и ориентации двух камер при условии, что $\mathbf {E}$ известно. Наконец, показано, как можно определить трехмерные координаты точек изображения с помощью необходимой матрицы.

Использовать

Существенную матрицу можно рассматривать как предшественник фундаментальной матрицы . $\mathbf {F}$. Обе матрицы можно использовать для установления ограничений между совпадающими точками изображения, но фундаментальную матрицу можно использовать только по отношению к калиброванным камерам, поскольку внутренние параметры камеры (матрицы $\mathbf {K}$ и $\mathbf {K} '$) должно быть известно, чтобы добиться нормализации. Однако если камеры откалиброваны, необходимая матрица может быть полезна для определения как относительного положения и ориентации между камерами, так и трехмерного положения соответствующих точек изображения. Существенная матрица связана с фундаментальной матрицей с помощью

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} .$

Вывод и определение

Этот вывод следует за статьей Лонге-Хиггинса.

Две нормализованные камеры проецируют трехмерный мир на соответствующие плоскости изображения. Пусть трехмерные координаты точки P будут $(x_{1},x_{2},x_{3})$ и $(x'_{1},x'_{2},x'_{3})$ относительно системы координат каждой камеры. Поскольку камеры нормализованы, соответствующие координаты изображения равны

${\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}$ и ${\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}$

Тогда однородное представление двух координат изображения определяется выражением

${\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}$ и ${\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}$

что также можно записать более компактно как

$\mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}$ и $\mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'$

где $\mathbf {y}$ и $\mathbf {y} '$ являются однородными представлениями координат двумерного изображения и ${\tilde {\mathbf {x} }}$ и ${\tilde {\mathbf {x} }}'$ являются правильными трехмерными координатами, но в двух разных системах координат.

Другим следствием нормализованных камер является то, что их соответствующие системы координат связаны посредством перемещения и вращения. Это означает, что два набора трехмерных координат связаны соотношением

${\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )$

где $\mathbf {R}$ это $3\times 3$ матрица вращения и $\mathbf {t}$ представляет собой трехмерный вектор перевода.

Тогда существенная матрица определяется как:

$\mathbf {E} =[\mathbf {t} ]_{\times }\mathbf {R}$

где $[\mathbf {t} ]_{\times }$ является матричным представлением векторного произведения с $\mathbf {t}$.Примечание. Здесь преобразование $[\mathbf {R} ^{T}|\mathbf {t} ]$ преобразует точки со 2-го вида в 1-й вид.

Для определения $\mathbf {E}$ нас интересуют только ориентации нормализованных координат изображения (См. также: Тройное произведение ).Таким образом, нам не нужен поступательный компонент при подстановке координат изображения в основное уравнение.Чтобы увидеть, что это определение $\mathbf {E}$ описывает ограничение на соответствующие координаты изображения умножить $\mathbf {E}$ слева и справа с трехмерными координатами точки P в двух разных системах координат:

${\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0$

1. Вставьте приведенные выше отношения между ${\tilde {\mathbf {x} }}'$ и ${\tilde {\mathbf {x} }}$ и определение $\mathbf {E}$ с точки зрения $\mathbf {R}$ и $\mathbf {t}$.
2. $\mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I}$ с $\mathbf {R}$ представляет собой матрицу вращения.
3. Свойства матричного представления векторного произведения .

Наконец, можно предположить, что оба $x_{3}$ и $x'_{3}$ > 0, иначе они не будут видны в обеих камерах. Это дает

$0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y}$

это ограничение, которое существенная матрица определяет между соответствующими точками изображения.

Характеристики

Не каждое произвольное $3\times 3$ Матрица может быть важной матрицей для некоторых стереокамер. Чтобы увидеть это уведомление, оно определяется как матричное произведение одной матрицы вращения и одной кососимметричной матрицы , обе $3\times 3$. Кососимметричная матрица должна иметь два одинаковых сингулярных значения и одно, равное нулю. Умножение матрицы вращения не меняет сингулярные значения, а это означает, что существенная матрица также имеет два одинаковых сингулярных значения и одно, равное нулю. Описанные здесь свойства иногда называют внутренними ограничениями существенной матрицы.

Если существенная матрица $\mathbf {E}$ умножается на ненулевой скаляр, результатом снова является существенная матрица, которая определяет точно то же ограничение, что и $\mathbf {E}$ делает. Это означает, что $\mathbf {E}$ можно рассматривать как элемент проективного пространства , то есть две такие матрицы считаются эквивалентными, если одна из них является ненулевым скалярным произведением другой. Это актуальная позиция, например, если $\mathbf {E}$ оценивается на основе данных изображения. Однако можно также занять позицию, согласно которой $\mathbf {E}$ определяется как

$\mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R}$

где $\mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t}$, а потом $\mathbf {E}$ имеет четко выраженный «масштаб». Какая позиция более актуальна, зависит от приложения.

Ограничения также можно выразить как

$\det \mathbf {E} =0$

и

$2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.$

Здесь последнее уравнение представляет собой матричное ограничение, которое можно рассматривать как девять ограничений, по одному на каждый элемент матрицы. Эти ограничения часто используются для определения существенной матрицы по пяти соответствующим парам точек.

Эссенциальная матрица имеет пять или шесть степеней свободы, в зависимости от того, рассматривается ли она как проективный элемент или нет. Матрица вращения $\mathbf {R}$ и вектор перевода $\mathbf {t}$ имеют по три степени свободы каждый, всего шесть. Однако если существенную матрицу рассматривать как проективный элемент, необходимо вычесть одну степень свободы, связанную со скалярным умножением, в результате чего всего останется пять степеней свободы.

Оценка

Учитывая набор соответствующих точек изображения, можно оценить существенную матрицу, которая удовлетворяет определяющему эпиполярному ограничению для всех точек в наборе. Однако если точки изображения подвержены шуму, что является обычным случаем в любой практической ситуации, невозможно найти существенную матрицу, которая точно удовлетворяет всем ограничениям.

В зависимости от того, как измеряется ошибка, связанная с каждым ограничением, можно определить или оценить существенную матрицу, которая оптимально удовлетворяет ограничениям для данного набора соответствующих точек изображения. Самый простой подход — поставить задачу полного наименьших квадратов , широко известную как алгоритм восьми точек .

Извлечение вращения и перевода

Учитывая, что основная матрица была определена для пары стереокамер — например, с использованием метода оценки, описанного выше — эту информацию можно использовать также для определения вращения $\mathbf {R}$ и перевод $\mathbf {t}$ (с точностью до масштабирования) между системами координат двух камер. В этих выводах $\mathbf {E}$ рассматривается как проективный элемент, а не имеющий четко определенный масштаб.

Нахождение одного решения

Следующий метод определения $\mathbf {R}$ и $\mathbf {t}$ основан на СВД выполнении $\mathbf {E}$, см. книгу Хартли и Зиссермана. Также возможно определить $\mathbf {R}$ и $\mathbf {t}$ без СВД, например, по статье Лонге-Хиггинса.

СВД $\mathbf {E}$ дает

$\mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}$

где $\mathbf {U}$ и $\mathbf {V}$ ортогональны $3\times 3$ матрицы и $\mathbf {\Sigma }$ это $3\times 3$ диагональная матрица с

$\mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}$

Диагональные записи $\mathbf {\Sigma }$ являются сингулярными значениями $\mathbf {E}$ которая по внутренним ограничениям существенной матрицы должна состоять из двух одинаковых и одного нулевого значения. Определять

$\mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}$ с $\mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}$

и сделайте следующий анзац

$[\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}$

$\mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}$

С $\mathbf {\Sigma }$ может не полностью соответствовать ограничениям при работе с реальными данными (например, изображениями с камеры), альтернатива

$[\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}$ с $\mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}$

может помочь.

Доказательство

Во-первых, эти выражения для $\mathbf {R}$ и $[\mathbf {t} ]_{\times }$ удовлетворяют определяющему уравнению для существенной матрицы

$[\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E}$

Во-вторых, необходимо показать, что это $[\mathbf {t} ]_{\times }$ является матричным представлением векторного произведения для некоторых $\mathbf {t}$. С

$\mathbf {W} \,\mathbf {\Sigma } ={\begin{pmatrix}0&-s&0\\s&0&0\\0&0&0\end{pmatrix}}$

это тот случай, что $\mathbf {W} \,\mathbf {\Sigma }$ является кососимметричным, т.е. $(\mathbf {W} \,\mathbf {\Sigma } )^{T}=-\mathbf {W} \,\mathbf {\Sigma }$. Это касается и нашего $[\mathbf {t} ]_{\times }$, с

$([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }$

Тогда из общих свойств матричного представления векторного произведения следует, что $[\mathbf {t} ]_{\times }$ должен быть оператором векторного произведения ровно одного вектора $\mathbf {t}$.

В-третьих, необходимо также показать, что приведенное выше выражение для $\mathbf {R}$ представляет собой матрицу вращения. Это произведение трех матриц, все из которых ортогональны, что означает, что $\mathbf {R}$также ортогональна или $\det(\mathbf {R} )=\pm 1$. Чтобы быть правильной матрицей вращения, она также должна удовлетворять $\det(\mathbf {R} )=1$. Поскольку в этом случае $\mathbf {E}$ рассматривается как проективный элемент, этого можно добиться, изменив знак $\mathbf {E}$ если необходимо.

Находим все решения

Пока одно из возможных решений $\mathbf {R}$ и $\mathbf {t}$ было установлено с учетом $\mathbf {E}$. Однако это не единственно возможное решение, и оно может даже не быть правильным решением с практической точки зрения. Начнем с того, что масштабирование $\mathbf {E}$ не определено, масштабирование $\mathbf {t}$ также не определен. Оно должно лежать в нулевом пространстве $\mathbf {E}$ с

$\mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0}$

Однако для последующего анализа решений точное масштабирование $\mathbf {t}$ не так важен, как его «знак», т. е. в каком направлении он указывает. Позволять ${\hat {\mathbf {t} }}$ быть нормализованным вектором в нулевом пространстве $\mathbf {E}$. Тогда дело обстоит так, что оба ${\hat {\mathbf {t} }}$ и $-{\hat {\mathbf {t} }}$ являются действительными векторами перевода относительно $\mathbf {E}$. Также возможно изменить $\mathbf {W}$ в $\mathbf {W} ^{-1}$ в выводах $\mathbf {R}$ и $\mathbf {t}$ выше. Для вектора трансляции это вызывает лишь изменение знака, возможность которого уже описана. С другой стороны, для вращения это приведет к другому преобразованию, по крайней мере, в общем случае.

Подводя итог, учитывая $\mathbf {E}$ возможны два противоположных направления $\mathbf {t}$ и два разных вращения, совместимых с этой важной матрицей. В общей сложности это дает четыре класса решений для вращения и перемещения между двумя системами координат камеры. Кроме того, существует еще неизвестное масштабирование. $s>0$ для выбранного направления перевода.

Однако оказывается, что на практике может быть реализован только один из четырех классов решений. Учитывая пару соответствующих координат изображения, три решения всегда будут создавать трехмерную точку, которая находится как минимум за одной из двух камер и, следовательно, не может быть видна. Только один из четырех классов будет последовательно создавать 3D-точки, находящиеся перед обеими камерами. Тогда это должно быть правильное решение. Тем не менее, он имеет неопределенную положительную оценку, связанную с компонентом перевода.

Вышеупомянутое определение $\mathbf {R}$ и $\mathbf {t}$ предполагает, что $\mathbf {E}$ удовлетворять внутренним ограничениям существенной матрицы . Если это не так, что, например, обычно имеет место, если $\mathbf {E}$ оценивается на основе реальных (и зашумленных) данных изображения, следует предположить, что оно приблизительно удовлетворяет внутренним ограничениям. Вектор ${\hat {\mathbf {t} }}$ затем выбирается в качестве правого сингулярного вектора $\mathbf {E}$ соответствующий наименьшему единственному значению.

3D-точки из соответствующих точек изображения

Основная статья: Триангуляция (компьютерное зрение)

Существует множество методов вычисления $(x_{1},x_{2},x_{3})$ учитывая соответствующие нормализованные координаты изображения $(y_{1},y_{2})$ и $(y'_{1},y'_{2})$, если известна существенная матрица и определены соответствующие преобразования вращения и сдвига.

См. также

• Регулировка связки
• Эпиполярная геометрия
• Фундаментальная матрица
• Геометрическая калибровка камеры
• Триангуляция (компьютерное зрение)
• Трифокальный тензор

Ящики для инструментов

• Существенная матричная оценка в MATLAB (Манолис Луракис).

Внешние ссылки

• Исследование эссенциальной матрицы Р.И. Хартли

Ссылки

• Дэвид Нистер (июнь 2004 г.). «Эффективное решение пятиточечной проблемы относительной позы». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 26 (6): 756–777. дои : 10.1109/TPAMI.2004.17 . ПМИД   18579936 . S2CID   886598 .
• Х. Стевениус, К. Энгельс и Д. Нистер (июнь 2006 г.). «Последние разработки в области прямой относительной ориентации». Журнал фотограмметрии и дистанционного зондирования ISPRS . 60 (4): 284–294. Бибкод : 2006JPRS...60..284S . CiteSeerX   10.1.1.61.9329 . дои : 10.1016/j.isprsjprs.2006.03.005 .
• Х. Кристофер Лонге-Хиггинс (сентябрь 1981 г.). «Компьютерный алгоритм восстановления сцены по двум проекциям». Природа . 293 (5828): 133–135. Бибкод : 1981Natur.293..133L . дои : 10.1038/293133a0 . S2CID   4327732 .
• Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. ISBN  978-0-521-54051-3 .
• Йи Ма; Стефано Соатто ; Яна Кошецка ; С. Шанкар Шастри (2004). Приглашение в 3-D Vision . Спрингер. ISBN  978-0-387-00893-6 .
• Ган Сюй и Чжэнъю Чжан (1996). Эпиполярная геометрия в стерео, движении и распознавании объектов . Академическое издательство Клувер. ISBN  978-0-7923-4199-4 .
• Фёрстнер, Вольфганг и Вробель, Бернхард П. (2016). Фотограмметрическое компьютерное зрение: статистика, геометрия, ориентация и реконструкция (1-е изд.). Издательская компания Springer, Incorporated. ISBN  978-3319115498 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )