Трифокальный тензор

В компьютерном зрении трифокальный тензор (также тритензор ) представляет собой массив чисел 3×3×3 (т. е. тензор ), который включает в себя все проективные геометрические отношения между тремя видами. Он связывает координаты соответствующих точек или линий в трех видах, будучи независимым от структуры сцены и зависящим только от относительного движения (т. е. позы ) среди трех видов и их внутренних параметров калибровки. Следовательно, трифокальный тензор можно рассматривать как обобщение фундаментальной матрицы в трех представлениях. Отмечается, что несмотря на то, что тензор состоит из 27 элементов, на самом деле независимыми являются только 18 из них.

Существует также так называемый калиброванный трифокальный тензор , который связывает координаты точек и линий в трех видах с учетом их внутренних параметров и кодирует относительное положение камер в глобальном масштабе, всего 11 независимых элементов или степеней свободы. Уменьшение степеней свободы позволяет использовать меньшее количество соответствий для соответствия модели за счет увеличения нелинейности.

Корреляционные срезы

Тензор также можно рассматривать как совокупность трех матриц 3х3 второго ранга. ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ известный как его корреляционные срезы . Предполагая, что матрицы проекций трех представлений равны ${\mathbf {P} }=[{\mathbf {I} }\;|\;{\mathbf {0} }]$, ${\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]$ и ${\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]$, корреляционные срезы соответствующего тензора можно выразить в замкнутой форме как ${\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{t},\;i=1\ldots 3$, где ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ соответственно, я ^й столбцы матриц камер. Однако на практике тензор оценивается на основе совпадений точек и линий в трех представлениях.

Трилинейные ограничения

Одним из наиболее важных свойств трифокального тензора является то, что он приводит к линейным отношениям между линиями и точками на трех изображениях. Точнее, для троек соответствующих точек ${\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''$ и любые соответствующие строки ${\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''$ через них выполняются следующие трилинейные ограничения :

$({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}$

${\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0$

${\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}$

$[{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }$

$[{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}$

где $[\cdot ]_{\times }$ обозначает кососимметричную матрицу векторного произведения .

Передача

Учитывая трифокальный тензор трех изображений и пару совпадающих точек в двух изображениях, можно определить местоположение точки в третьем виде без какой-либо дополнительной информации. Это известно как перенос точки , и аналогичный результат справедлив для прямых и коник. Для общих кривых перенос может быть реализован через модель локальной дифференциальной кривой соприкасающихся окружностей (т. е. кривизны), которую затем можно передать в виде коник. Изучен перенос моделей третьего порядка, отражающих кручение пространства, с помощью калиброванных трифокальных тензоров. но остается открытой проблемой для некалиброванных трифокальных тензоров.

Оценка

Некалиброванный

Классический случай – 6-точечные соответствия. даю 3 решения.

Лишь недавно был решен случай оценки трифокального тензора по 9-строчным соответствиям.

Калиброванный

Оценка калиброванного трифокального тензора считается чрезвычайно сложной и требует соответствия по 4 точкам.

Недавно был решен случай использования только трехточечных соответствий, когда точкам приписываются касательные направления или инцидентные линии; только две точки имеют инцидентные линии, это минимальная проблема степени 312 (поэтому может быть не более 312 решений) и актуальна для случаев общих кривых (точки которых имеют касательные) или характерных точек с приписанными направлениями. (например, направления SIFT). Тот же метод позволил решить смешанный случай трехточечных соответствий и одного линейного соответствия, который также оказался минимальным со степенью 216.

Дальнейшее чтение

• Хартли, Ричард И. (1997). «Линии и точки в трех ракурсах и трифокальный тензор». Международный журнал компьютерного зрения . 22 (2): 125–140. дои : 10.1023/A:1007936012022 . S2CID   8979544 .
• Торр, PHS; Зиссерман, А. (1997). «Надежная параметризация и вычисление трифокального тензора». Вычисление изображений и зрительных образов . 15 (8): 591–607. CiteSeerX   10.1.1.41.3172 . дои : 10.1016/S0262-8856(97)00010-3 .

Внешние ссылки

• Визуализация трифокальной геометрии (первоначально разработана Сильвеном Буньу из INRIA Robotvis, требуется Java )

Алгоритмы

• Реализация в Matlab оценки некалиброванного трифокального тензора и сравнения с парными фундаментальными матрицами
• Реализация C++ калиброванной оценки трифокального тензора с использованием оптимизированного кода продолжения гомотопии. В настоящее время включает случаи трех соответствующих точек с линиями в этих точках (например, в положениях и ориентациях объектов или точках кривой с касательными), а также для трех соответствующих точек и одного соответствия линии.