Матрица камеры

В компьютерном зрении матрица камеры или матрица проекции (камеры) представляет собой $3\times 4$ матрица , которая описывает отображение камеры-обскуры из 3D-точек мира в 2D-точки на изображении.

Позволять $\mathbf {x}$ — представление трехмерной точки в однородных координатах (четырехмерный вектор), и пусть $\mathbf {y}$ быть представлением изображения этой точки в камере-обскуре (трехмерный вектор). Тогда имеет место следующее соотношение

$\mathbf {y} \sim \mathbf {C} \,\mathbf {x}$

где $\mathbf {C}$ это матрица камеры и $\,\sim$ Знак означает, что левая и правая части равны, за исключением умножения на ненулевой скаляр. $k\neq 0$:

$\mathbf {y} =k\,\mathbf {C} \,\mathbf {x} .$

Так как матрица камеры $\mathbf {C}$ участвует в отображении между элементами двух проективных пространств , его тоже можно рассматривать как проективный элемент. Это означает, что у него всего 11 степеней свободы, поскольку любое умножение на ненулевой скаляр приводит к эквивалентной матрице камеры.

Вывод

Отображение координат трехмерной точки P в координаты двумерного изображения проекции точки на плоскость изображения в соответствии с моделью камеры-обскуры определяется выражением

${\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}$

где $(x_{1},x_{2},x_{3})$ - это трехмерные координаты P относительно системы координат, центрированной камерой, $(y_{1},y_{2})$ — результирующие координаты изображения, а f — фокусное расстояние камеры, для которого мы предполагаем f > 0. Кроме того, мы также предполагаем, что x ₃ > 0 .

Чтобы получить матрицу камеры, приведенное выше выражение переписывается в терминах однородных координат. Вместо 2D вектора $(y_{1},y_{2})$ мы рассматриваем проективный элемент (3D вектор) $\mathbf {y} =(y_{1},y_{2},1)$ и вместо равенства мы рассматриваем равенство с точностью до масштабирования ненулевым числом, обозначаемым $\,\sim$. Сначала мы запишем координаты однородного изображения как выражения в обычных трехмерных координатах.

${\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\begin{pmatrix}{\frac {f}{x_{3}}}x_{1}\\{\frac {f}{x_{3}}}x_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}$

Наконец, трехмерные координаты выражаются в однородном представлении. $\mathbf {x}$ а так выглядит матрица камеры:

${\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\,{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\1\end{pmatrix}}$ или $\mathbf {y} \sim \mathbf {C} \,\mathbf {x}$

где $\mathbf {C}$ — матрица камеры, которая здесь определяется выражением

$\mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}$,

и соответствующая матрица камеры теперь становится

$\mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}$

Последний шаг является следствием $\mathbf {C}$ сам по себе является проективным элементом.

Полученная здесь матрица камеры может показаться тривиальной в том смысле, что она содержит очень мало ненулевых элементов. Это во многом зависит от конкретных систем координат, выбранных для 3D и 2D точек. Однако на практике распространены и другие формы матриц камер, как будет показано ниже.

Положение камеры

Матрица камеры $\mathbf {C}$ полученное в предыдущем разделе, имеет нулевое пространство , охватываемое вектором

$\mathbf {n} ={\begin{pmatrix}0\\0\\0\\1\end{pmatrix}}$

Это также однородное представление трехмерной точки с координатами (0,0,0), то есть «центр камеры» (он же входной зрачок ; положение обскуры камеры-обскуры находится в точке O. ) Это означает, что центр камеры (и только эта точка) не может быть сопоставлен камерой с точкой в ​​плоскости изображения (или, что то же самое, он сопоставляется со всеми точками изображения, поскольку каждый луч изображения проходит через эту точку).

Для любой другой 3D-точки с $x_{3}=0$, результат $\mathbf {y} \sim \mathbf {C} \,\mathbf {x}$ корректно определен и имеет вид $\mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }$. Это соответствует бесконечной точке в плоскости проективного изображения (хотя, если плоскость изображения считать евклидовой плоскостью , соответствующей точки пересечения не существует).

Нормализованная матрица камеры и нормализованные координаты изображения

Полученную выше матрицу камеры можно еще больше упростить, если предположить, что f = 1 :

$\mathbf {C} _{0}={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{pmatrix}}=\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)$

где $\mathbf {I}$ здесь обозначает $3\times 3$ идентификационная матрица. Обратите внимание, что $3\times 4$ матрица $\mathbf {C}$ здесь разделен на конкатенацию $3\times 3$ матрица и трехмерный вектор. Матрица камеры $\mathbf {C} _{0}$ иногда называют канонической формой .

До сих пор все точки в трехмерном мире были представлены в системе координат, центрированной камерой , то есть в системе координат, начало которой находится в центре камеры (местоположение обскуры камеры-обскуры ). Однако на практике трехмерные точки могут быть представлены в виде координат относительно произвольной системы координат (X1', X2', X3'). Предполагая, что оси координат камеры (X1, X2, X3) и оси (X1', X2', X3') имеют евклидов тип (ортогональные и изотропные), существует уникальное евклидово 3D-преобразование (вращение и перемещение) между две системы координат. Другими словами, камера не обязательно находится в начале координат и смотрит вдоль Z. оси

Две операции вращения и перемещения трехмерных координат можно представить как две $4\times 4$ матрицы

$\left({\begin{array}{c|c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)$ и $\left({\begin{array}{c|c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)$

где $\mathbf {R}$ это $3\times 3$ матрица вращения и $\mathbf {t}$ представляет собой трехмерный вектор перевода. Когда первая матрица умножается на однородное представление трехмерной точки, результатом является однородное представление повернутой точки, а вторая матрица вместо этого выполняет перевод. Выполнение двух операций последовательно, т.е. сначала вращение, а затем перемещение (с вектором перемещения, заданным в уже повернутой системе координат), дает комбинированную матрицу вращения и перемещения.

$\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)$

Предполагая, что $\mathbf {R}$ и $\mathbf {t}$ это именно вращение и перемещение, которые связывают две системы координат (X1,X2,X3) и (X1',X2',X3'), приведенные выше, это означает, что

$\mathbf {x} =\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '$

где $\mathbf {x} '$ — однородное представление точки P в системе координат (X1',X2',X3').

Предполагая также, что матрица камеры имеет вид $\mathbf {C} _{0}$, отображение координат в системе (X1,X2,X3) в координаты однородного изображения становится

$\mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '$

Следовательно, матрица камеры, связывающая точки в системе координат (X1',X2',X3') с координатами изображения, равна

$\mathbf {C} _{N}=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)$

конкатенация трехмерной матрицы вращения и трехмерного вектора перемещения.

Этот тип матрицы камеры называется нормализованной матрицей камеры . Он предполагает фокусное расстояние = 1 и координаты изображения измеряются в системе координат, где начало координат расположено на пересечении оси X3 ​​и плоскости изображения и имеет те же единицы измерения. как трехмерная система координат. Полученные координаты изображения называются нормализованными координатами изображения .

Положение камеры

Опять же, нулевое пространство нормализованной матрицы камеры, $\mathbf {C} _{N}$ описанный выше, натянут на 4-мерный вектор

$\mathbf {n} ={\begin{pmatrix}-\mathbf {R} ^{-1}\,\mathbf {t} \\1\end{pmatrix}}={\begin{pmatrix}{\tilde {\mathbf {n} }}\\1\end{pmatrix}}$

Это также, опять же, координаты центра камеры, теперь относительно системы (X1',X2',X3'). В этом можно убедиться, применив сначала вращение, а затем перенос к трехмерному вектору. ${\tilde {\mathbf {n} }}$ и результатом является однородное представление трехмерных координат (0,0,0).

Это означает, что центр камеры (в его однородном представлении) находится в нулевом пространстве матрицы камеры при условии, что он представлен в виде трехмерных координат относительно той же системы координат, к которой относится матрица камеры.

Нормализованная матрица камеры $\mathbf {C} _{N}$ теперь можно записать как

$\mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)$

где ${\tilde {\mathbf {n} }}$ — трехмерные координаты камеры относительно системы (X1',X2',X3').

Общая матрица камеры

Учитывая отображение, созданное нормализованной матрицей камеры, результирующие нормализованные координаты изображения могут быть преобразованы с помощью произвольной двумерной гомографии . Сюда входят 2D-переносы и повороты, а также масштабирование (изотропное и анизотропное), а также общие преобразования 2D-перспективы . Такое преобразование можно представить как $3\times 3$ матрица $\mathbf {H}$ который отображает однородные нормализованные координаты изображения $\mathbf {y}$ к однородным преобразованным координатам изображения $\mathbf {y} '$:

$\mathbf {y} '=\mathbf {H} \,\mathbf {y}$

Вставка приведенного выше выражения для нормализованных координат изображения через трехмерные координаты дает

$\mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '$

Это дает наиболее общую форму матрицы камеры.

$\mathbf {C} =\mathbf {H} \,\mathbf {C} _{N}=\mathbf {H} \,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)$

См. также

• 3D-проекция
• Резекция камеры

Ссылки

• Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. ISBN  0-521-54051-8 .