Фундаментальная матрица (компьютерное зрение)

В компьютерном зрении фундаментальная матрица $\mathbf {F}$ 3×3 представляет собой матрицу , которая связывает соответствующие точки на стереоизображениях . В эпиполярной геометрии с однородными координатами изображения x и x ′ соответствующих точек в паре стереоизображений Fx описывает линию ( эпиполярную линию ), на которой должна лежать соответствующая точка x ′ на другом изображении. Это значит, что для всех пар соответствующих точек имеет место

$\mathbf {x} '^{\top }\mathbf {Fx} =0.$

Фундаментальная матрица, имеющая второй ранг и определённая только с точностью до масштаба, может быть оценена по минимуму семиточечным соответствиям. Его семь параметров представляют собой единственную геометрическую информацию о камерах, которую можно получить только с помощью соответствий точек.

Термин «фундаментальная матрица» был придуман К. Т. Луонгом в его влиятельной докторской диссертации. Иногда его также называют « бифокальным тензором ». Как тензор это двухточечный тензор , поскольку он представляет собой билинейную форму, связывающую точки в различных системах координат.

Вышеупомянутое соотношение, определяющее фундаментальную матрицу, было опубликовано в 1992 году Оливье Фожерасом и Ричардом Хартли . Хотя Х. Кристофера Лонге-Хиггинса удовлетворяет существенная матрица аналогичному соотношению, существенная матрица представляет собой метрический объект, относящийся к калиброванным камерам, тогда как фундаментальная матрица описывает соответствие в более общих и фундаментальных терминах проективной геометрии.Математически это фиксируется соотношением между фундаментальной матрицей $\mathbf {F}$ и соответствующая ей существенная матрица $\mathbf {E}$,который

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}$

$\mathbf {K}$ и $\mathbf {K} '$ является внутренней калибровкойматрицы двух задействованных изображений.

Введение

Фундаментальная матрица — это связь между любыми двумя изображениями одной и той же сцены, которая ограничивает места, где проекция точек сцены может происходить на обоих изображениях. Учитывая проекцию точки сцены на одно из изображений, соответствующая точка на другом изображении ограничивается линией, что помогает в поиске и позволяет обнаружить неправильные соответствия. Отношение между соответствующими точками , которое представляет фундаментальная матрица, называется эпиполярным ограничением , ограничением соответствия , дискретным ограничением соответствия или отношением инцидентности .

реконструкции

Фундаментальная матрица может быть определена набором точечных соответствий . Кроме того, эти соответствующие точки изображения могут быть триангулированы с мировыми точками с помощью матриц камер, полученных непосредственно из этой фундаментальной матрицы. Сцена, состоящая из этих мировых точек, находится в пределах проективной трансформации истинной сцены.

Доказательство

Скажем, что соответствие точек изображения $\mathbf {x} \leftrightarrow \mathbf {x'}$ происходит из мировой точки ${\textbf {X}}$ под матрицами камер $\left({\textbf {P}},{\textbf {P}}'\right)$ как

${\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}$

Скажем, мы преобразуем пространство с помощью общей гомографии . матрицы ${\textbf {H}}_{4\times 4}$ такой, что ${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$.

Затем камеры трансформируются как

${\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}$

${\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}$ и так же с ${\textbf {P}}_{0}'$ по-прежнему приносят нам те же очки имиджа.

фундаментальной матрицы с использованием

Фундаментальную матрицу также можно получить, используя условие компланарности.

Для спутниковых снимков

Фундаментальная матрица выражает эпиполярную геометрию в стереоизображениях. Эпиполярная геометрия на изображениях, полученных с помощью перспективных камер, выглядит как прямые линии. Однако на спутниковых снимках изображение формируется во время движения датчика по своей орбите ( pushbroom Sensor ). Таким образом, для одной сцены изображения имеется несколько центров проекции, и эпиполярная линия формируется в виде эпиполярной кривой. Однако в особых условиях, например, при небольших фрагментах изображений, спутниковые изображения можно исправить с использованием фундаментальной матрицы.

Свойства

Фундаментальная матрица имеет ранг 2. Ее ядро ​​определяет эпиполь .

См. также

• Эпиполярная геометрия
• Основная матрица
• Трифокальный тензор
• Восьмиточечный алгоритм

Ссылки

• Оливье Д. Фожерас (1992). «Что можно увидеть в трех измерениях с помощью некалиброванной стереосистемы?». Материалы Европейской конференции по компьютерному зрению . CiteSeerX   10.1.1.462.4708 .

• Оливье Д. Фожерас; КТ Луонг; Стивен Мэйбанк (1992). «Самокалибровка камеры: теория и эксперименты». Материалы Европейской конференции по компьютерному зрению . дои : 10.1007/3-540-55426-2_37 .

• QT Луонг и Оливье Д. Фожерас (1996). «Фундаментальная матрица: теория, алгоритмы и анализ устойчивости». Международный журнал компьютерного зрения . 17 (1): 43–75. дои : 10.1007/BF00127818 . S2CID   2582003 .

• Оливье Фожерас и QT Луонг (2001). Геометрия нескольких изображений . МТИ Пресс. ISBN  978-0-262-06220-6 .

• Ричард И. Хартли (1992). «Оценка относительного положения камеры для некалиброванных камер» (PDF) . Материалы Европейской конференции по компьютерному зрению .

• Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. ISBN  978-0-521-54051-3 .

• Ричард И. Хартли (1997). «В защиту восьмиточечного алгоритма». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 19 (6): 580–593. дои : 10.1109/34.601246 .
• Нуролла Татар (2019). «Стереокоррекция спутниковых изображений путем надежной оценки фундаментальной матрицы». Международный журнал дистанционного зондирования . 40 (20): 1–19. дои : 10.1080/01431161.2019.1624862 .

• QT Луонг (1992). Фундаментальная матрица и самокалибровка в компьютерном зрении . Докторская диссертация, Парижский университет, Орсе.

• Йи Ма; Стефано Соатто ; Яна Кошецка ; С. Шанкар Шастри (2004). Приглашение в 3-D Vision . Спрингер. ISBN  978-0-387-00893-6 .

• Марк Поллефейс , Рейнхард Кох и Люк ван Гул (1999). «Самокалибровка и метрическая реконструкция, несмотря на меняющиеся и неизвестные внутренние параметры камеры». Международный журнал компьютерного зрения . 32 (1): 7–25. дои : 10.1023/A:1008109111715 . S2CID   306722 .

• Филип Х.С. Торр (1997). «Разработка и сравнение робастных методов оценки фундаментальной матрицы». Международный журнал компьютерного зрения . 24 (3): 271–300. дои : 10.1023/А:1007927408552 . S2CID   12031059 .

• Филип Х.С. Торр и А. Зиссерман (2000). «MLESAC: новый надежный оценщик с применением для оценки геометрии изображения». Компьютерное зрение и понимание изображений . 78 (1): 138–156. CiteSeerX   10.1.1.110.5740 . дои : 10.1006/cviu.1999.0832 .

• Ган Сюй и Чжэнъю Чжан (1996). Эпиполярная геометрия в стерео, движении и распознавании объектов . Академическое издательство Клювер. ISBN  978-0-7923-4199-4 .

• Чжэнъю Чжан (1998). «Определение эпиполярной геометрии и ее неопределенности: обзор». Международный журнал компьютерного зрения . 27 (2): 161–195. дои : 10.1023/A:1007941100561 . S2CID   3190498 .

Ящики для инструментов

• Fundest — это библиотека GPL C / C++ для надежной , нелинейной (на основе алгоритма Левенберга-Марквардта ) фундаментальной оценки матрицы по совпадающим парам точек и различным целевым функциям (Манолис Луракис).
• Набор инструментов для структуры и движения в MATLAB (Филип Х.С. Торр)
• Набор инструментов для фундаментальной матричной оценки (Хоаким Сальви)
• Набор инструментов эпиполярной геометрии (EGT)

Внешние ссылки

• Эпиполярная геометрия и фундаментальная матрица (глава из книги Хартли и Зиссермана)
• Определение эпиполярной геометрии и ее неопределенности: обзор (Чжэнъю Чжан)
• Визуализация эпиполярной геометрии (первоначально разработана Сильвеном Буньу из INRIA Robotvis, требуется Java )
• Видео «Фундаментальная матрица», демонстрирующее законы эпиполярной геометрии.