Резекция камеры

Обратное засечение камеры — это процесс оценки параметров модели камеры-обскуры , аппроксимирующей камеру, создавшую данную фотографию или видео; он определяет, какой входящий луч света связан с каждым пикселем результирующего изображения. По сути, процесс определяет положение камеры-обскуры.

Обычно параметры камеры представляются в виде проекционной матрицы 3×4, называемой матрицей камеры . Внешние параметры камеры определяют позу (положение и ориентацию), а внутренние параметры определяют формат изображения камеры (фокусное расстояние, размер пикселя и источник изображения).

Этот процесс часто называют геометрической калибровкой камеры или просто калибровкой камеры , хотя этот термин может также относиться к фотометрической калибровке камеры или ограничиваться оценкой только внутренних параметров. Внешняя ориентация и внутренняя ориентация относятся к определению только внешних и внутренних параметров соответственно.

Классическая калибровка камеры требует наличия в сцене специальных объектов, которые не требуются при автокалибровке камеры . Обратная засечка камеры часто используется в приложениях стереозрения , где матрицы проекций двух камер используются для расчета трехмерных мировых координат точки, просматриваемой обеими камерами.

Формулировка

Матрица проекции камеры получается на основе внутренних и внешних параметров камеры и часто представляется серией преобразований; например, матрица внутренних параметров камеры, матрица вращения 3 × 3 и вектор перемещения. Матрицу проекции камеры можно использовать для связи точек в пространстве изображения камеры с местоположениями в трехмерном мировом пространстве.

Однородные координаты

В этом контексте мы используем $[u\ v\ 1]^{T}$ для представления положения 2D-точки в пиксельных координатах и $[x_{w}\ y_{w}\ z_{w}\ 1]^{T}$ используется для представления положения трехмерной точки в мировых координатах. В обоих случаях они представлены в однородных координатах (т.е. имеют дополнительный последний компонент, который первоначально по соглашению равен 1), что является наиболее распространенным обозначением в робототехнике и преобразованиях твердого тела .

Проекция

Что касается модели камеры-обскуры , матрица камеры $M$ используется для обозначения проективного отображения мировых координат в координаты пикселей .

{\begin{bmatrix}wu\\wv\\w\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}

где $M=K\,{\begin{bmatrix}R&T\end{bmatrix}}$ . $u,v$ по соглашению — это координаты x и y пикселя в камере, $K$ - внутренняя матрица, как описано ниже, и $R\,T$ сформируйте внешнюю матрицу, как описано ниже. $x_{w},y_{w},z_{w}$ — координаты источника светового луча, попадающего на датчик камеры, в мировых координатах относительно начала мира. Разделив матричное произведение на $w$ можно найти теоретическое значение координат пикселей.

Внутренние параметры

K={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}

The $K$ содержит 5 внутренних параметров конкретной модели камеры. Эти параметры включают фокусное расстояние , формат датчика изображения и основную точку камеры . Параметры $\alpha _{x}=f\cdot m_{x}$ и $\alpha _{y}=f\cdot m_{y}$ представляют фокусное расстояние в пикселях, где $m_{x}$ и $m_{y}$ являются обратными ширине и высоте пикселя на плоскости проекции и $f$ это фокусное расстояние в единицах расстояния. ^[1] $\gamma$ представляет коэффициент перекоса между осями x и y и часто равен 0. $u_{0}$ и $v_{0}$ представляют собой главную точку, которая в идеале должна находиться в центре изображения.

Нелинейные внутренние параметры, такие как искажение объектива, также важны, хотя их нельзя включить в линейную модель камеры, описываемую матрицей внутренних параметров. Многие современные алгоритмы калибровки камер также оценивают эти внутренние параметры в форме методов нелинейной оптимизации. Делается это в виде оптимизации параметров камеры и искажений в виде так называемой бандловой настройки .

Внешние параметры

${}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}$

$R,T$ являются внешними параметрами , которые обозначают преобразования системы координат из трехмерных мировых координат в трехмерные координаты камеры. Аналогично, внешние параметры определяют положение центра камеры и направление камеры в мировых координатах. $T$ — положение начала мировой системы координат, выраженное в координатах системы координат, центрированной камерой. $T$ часто ошибочно считают положением камеры. Позиция, $C$ , камеры, выраженное в мировых координатах, равно $C=-R^{-1}T=-R^{T}T$ (с $R$ — матрица вращения ).

Калибровка камеры часто используется на раннем этапе компьютерного зрения .

При использовании камеры свет из окружающей среды фокусируется на плоскости изображения и захватывается. Этот процесс уменьшает размеры данных, принимаемых камерой, с трех до двух (свет трехмерной сцены сохраняется в двухмерном изображении). Таким образом, каждый пиксель на плоскости изображения соответствует лучу света из исходной сцены.

Алгоритмы

Существует множество различных подходов к расчету внутренних и внешних параметров для конкретной установки камеры. Наиболее распространенными из них являются:

Метод прямого линейного преобразования (DLT)
метод Чжана
метод Цая
Метод Селби (для рентгеновских камер)

метод Чжана

метод Чжана ^[2]^[3] — это метод калибровки камеры, в котором используются традиционные методы калибровки (известные точки калибровки) и методы самокалибровки (соответствие между точками калибровки, когда они находятся в разных положениях). Для выполнения полной калибровки по методу Чжана требуется как минимум три разных изображения калибровочной цели/датчика либо путем перемещения датчика, либо самой камеры. Если некоторые внутренние параметры заданы в виде данных (ортогональность изображения или координаты оптического центра), количество требуемых изображений можно сократить до двух.

На первом этапе аппроксимация предполагаемой матрицы проекции $H$ между калибровочной целью и плоскостью изображения определяется методом DLT . ^[4] Впоследствии применяются методы самокалибровки для получения изображения абсолютной конической матрицы. ^[5] Основной вклад метода Чжана заключается в том, как, учитывая $n$ положения калибровочной цели, извлеките ограниченную внутреннюю матрицу $K$ , вместе с $n$ примеры $R$ и $T$ параметры калибровки.

Вывод

Предположим, у нас есть гомография ${\textbf {H}}$ который отображает точки $x_{\pi }$ на «самолете-зонде» $\pi$ точкам $x$ на изображении.

Круглые точки $I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T} }$ лежат на обоих наших самолетах-зондах $\pi$ и на абсолютной конике $\Omega _{\infty }$ . Лежа на $\Omega _{\infty }$ конечно значит они тоже проецируются на образ абсолютной коники (ИАК) $\omega$ , таким образом $x_{1}^{T}\omega x_{1}=0$ и $x_{2}^{T}\omega x_{2}=0$ . Круговые точки проецируются как

{\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end{aligned}}

.

Мы действительно можем игнорировать $x_{2}$ заменив наше новое выражение на $x_{1}$ следующее:

{\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0\end{aligned}}

Алгоритм Цая

Алгоритм Цая, важный метод калибровки камеры, включает в себя несколько подробных шагов для точного определения ориентации и положения камеры в трехмерном пространстве. Эту процедуру, хотя и техническую, в целом можно разбить на три основных этапа:

Первоначальная калибровка

Процесс начинается с этапа начальной калибровки , на котором камерой снимается серия изображений. Эти изображения, часто имеющие известный калибровочный шаблон, например шахматную доску, используются для оценки внутренних параметров камеры, таких как фокусное расстояние и оптический центр. ^[6]

Оценка установки

После первоначальной калибровки алгоритм выполняет оценку позы . Это включает в себя расчет положения и ориентации камеры относительно известного объекта в сцене. Этот процесс обычно требует определения конкретных точек калибровочного шаблона и определения векторов вращения и перемещения камеры.

Уточнение параметров

Заключительный этап – уточнение параметров . На этом этапе алгоритм уточняет коэффициенты дисторсии объектива, устраняя радиальные и тангенциальные искажения. Для повышения точности калибровки производится дальнейшая оптимизация внутренних и внешних параметров камеры.

Такой структурированный подход сделал алгоритм Цая ключевым методом как в академических исследованиях, так и в практических приложениях в области робототехники и промышленной метрологии.

Метод Селби (для рентгеновских камер)

Метод калибровки камеры Селби ^[7] посвящена автоматической калибровке систем рентгеновских камер. Системы рентгеновских камер, состоящие из рентгеновской трубки и твердотельного детектора, можно смоделировать как системы камер-обскуры, включающие 9 внутренних и внешних параметров камеры. Регистрация на основе интенсивности на основе произвольного рентгеновского изображения и эталонной модели (в виде набора томографических данных) может затем использоваться для определения относительных параметров камеры без необходимости использования специального калибровочного органа или каких-либо достоверных данных.

См. также

Ссылки

^ Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. стр. 155–157. ISBN 0-521-54051-8 .
^ З. Чжан, «Новая гибкая методика калибровки камеры». Архивировано 3 декабря 2015 г. в Wayback Machine , Транзакции IEEE по анализу шаблонов и машинному интеллекту, Том 22, № 11, страницы 1330–1334, 2000.
^ П. Штурм и С. Мэйбанк, «Калибровка камеры на плоскости: общий алгоритм, особенности, приложения». Архивировано 4 марта 2016 г. в Wayback Machine , в материалах конференции IEEE по компьютерному зрению и распознаванию образов ( CVPR), страницы 432–437, Форт-Коллинз, Колорадо, США, июнь 1999 г.
^ Абдель-Азиз, Ю.И., Карара, Х.М. « Прямое линейное преобразование координат компаратора в координаты пространства объектов в фотограмметрии ближнего действия. Архивировано 2 августа 2019 г. в Wayback Machine », Труды симпозиума по фотограмметрии ближнего действия (стр. 1–18), Фолс-Черч, Вирджиния: Американское общество фотограмметрии (1971).
^ Луонг, Q.-T.; Фожерас, О.Д. (1 марта 1997 г.). «Самокалибровка движущейся камеры по соответствиям точек и фундаментальным матрицам» . Международный журнал компьютерного зрения . 22 (3): 261–289. дои : 10.1023/А:1007982716991 . ISSN 1573-1405 .
^ Роджер Ю. Цай, «Универсальная методика калибровки камеры для высокоточной метрологии трехмерного машинного зрения с использованием готовых телевизионных камер и объективов», Журнал IEEE по робототехнике и автоматизации , Vol. РА-3, №4, август 1987 г.
^ Борис Питер Селби и др., «Позиционирование пациента с помощью самокалибровки рентгеновского детектора для терапии под визуальным контролем». Архивировано 10 ноября 2023 г. в Wayback Machine , Австралазийские физические и инженерные науки в медицине, Том 34, № 3. , стр. 391–400, 2011 г.

Внешние ссылки

Метод калибровки камеры Чжана с помощью программного обеспечения
Калибровка камеры — лекция о дополненной реальности в Мюнхенском техническом университете, Германия

[1] Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. стр. 155–157. ISBN 0-521-54051-8 .

[2] З. Чжан, «Новая гибкая методика калибровки камеры». Архивировано 3 декабря 2015 г. в Wayback Machine , Транзакции IEEE по анализу шаблонов и машинному интеллекту, Том 22, № 11, страницы 1330–1334, 2000.

[3] П. Штурм и С. Мэйбанк, «Калибровка камеры на плоскости: общий алгоритм, особенности, приложения». Архивировано 4 марта 2016 г. в Wayback Machine , в материалах конференции IEEE по компьютерному зрению и распознаванию образов ( CVPR), страницы 432–437, Форт-Коллинз, Колорадо, США, июнь 1999 г.

[4] Абдель-Азиз, Ю.И., Карара, Х.М. « Прямое линейное преобразование координат компаратора в координаты пространства объектов в фотограмметрии ближнего действия. Архивировано 2 августа 2019 г. в Wayback Machine », Труды симпозиума по фотограмметрии ближнего действия (стр. 1–18), Фолс-Черч, Вирджиния: Американское общество фотограмметрии (1971).

[5] Луонг, Q.-T.; Фожерас, О.Д. (1 марта 1997 г.). «Самокалибровка движущейся камеры по соответствиям точек и фундаментальным матрицам» . Международный журнал компьютерного зрения . 22 (3): 261–289. дои : 10.1023/А:1007982716991 . ISSN 1573-1405 .

[Tsai1987-6] Роджер Ю. Цай, «Универсальная методика калибровки камеры для высокоточной метрологии трехмерного машинного зрения с использованием готовых телевизионных камер и объективов», Журнал IEEE по робототехнике и автоматизации , Vol. РА-3, №4, август 1987 г.

[7] Борис Питер Селби и др., «Позиционирование пациента с помощью самокалибровки рентгеновского детектора для терапии под визуальным контролем». Архивировано 10 ноября 2023 г. в Wayback Machine , Австралазийские физические и инженерные науки в медицине, Том 34, № 3. , стр. 391–400, 2011 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]