Гомография (компьютерное зрение)

В области компьютерного зрения любые два изображения одной и той же плоской поверхности в пространстве связаны гомографией ( при условии, что это модель камеры-обскуры ). Это имеет множество практических применений, таких как исправление изображения , регистрация изображений или движение камеры — вращение и перемещение — между двумя изображениями. После обратной засечки камеры выполнения на основе предполагаемой матрицы гомографии эту информацию можно использовать для навигации или для вставки моделей трехмерных объектов в изображение или видео, чтобы они визуализировались с правильной перспективой и выглядели как часть изображения. оригинальная сцена (см. Дополненная реальность ).

3D-уравнение плоскости к плоскости

У нас есть две камеры a и b , смотрящие на точки $P_{i}$ в самолете.Переход от проекции ${}^{b}p_{i}=\left({}^{b}u_{i};{}^{b}v_{i};1\right)$ из $P_{i}$ в б в проекцию ${}^{a}p_{i}=\left({}^{a}u_{i};{}^{a}v_{i};1\right)$ из $P_{i}$ в :

{}^{a}p_{i}={\frac {{}^{b}z_{i}}{{}^{a}z_{i}}}K_{a}\cdot H_{ab}\cdot K_{b}^{-1}\cdot {}^{b}p_{i}

где ${}^{a}z_{i}$ и ${}^{b}z_{i}$ - координаты z точки P в каждом кадре камеры и где матрица гомографии $H_{ab}$ дается

H_{ab}=R-{\frac {tn^{T}}{d}}

.

$R$ — матрица вращения, с помощью которой b вращается относительно a ; t перевода — вектор из a в b ; n и d — вектор нормали к плоскости и расстояние от начала координат до плоскости соответственно. K _a и K _b камеры — матрицы внутренних параметров .

На рисунке показана камера b, смотрящая на плоскость на расстоянии d .Примечание. На рисунке выше предполагается, что $n^{T}P_{i}+d=0$ как модель самолета, $n^{T}P_{i}$ является проекцией вектора $P_{i}$ вдоль $n$ , и равный $-d$ . Так $t=t\cdot 1=t\left(-{\frac {n^{T}P_{i}}{d}}\right)$ . И у нас есть $H_{ab}P_{i}=RP_{i}+t$ где $H_{ab}=R-{\frac {tn^{T}}{d}}$ .

Эта формула действительна только в том случае, если камера b не имеет вращения и перемещения. В общем случае, когда $R_{a},R_{b}$ и $t_{a},t_{b}$ — соответствующие повороты и перемещения камер a и b , $R=R_{a}R_{b}^{T}$ и матрица гомографии $H_{ab}$ становится

H_{ab}=R_{a}R_{b}^{T}-{\frac {(-R_{a}*R_{b}^{T}*t_{b}+t_{a})n^{T}}{d}}

где d — расстояние камеры b до плоскости.

Аффинная гомография

Когда область изображения, в которой вычисляется гомография, мала или изображение получено с большим фокусным расстоянием, аффинная гомография является более подходящей моделью смещения изображения. Аффинная гомография — это особый тип общей гомографии, последняя строка которой фиксирована

h_{31}=h_{32}=0,\;h_{33}=1.

См. также

Ссылки

О. Чам, Т. Пайдла и П. Штурм (2005). «Геометрическая ошибка гомографий» (PDF) . Компьютерное зрение и понимание изображений . 97 (1): 86–102. дои : 10.1016/j.cviu.2004.03.004 .

Ящики для инструментов

Homest — это библиотека GPL C / C++ для надежной , нелинейной (на основе алгоритма Левенберга–Марквардта ) оценки гомографии по совпадающим парам точек (Манолис Луракис).
OpenCV — это полная ( открытая и бесплатная ) библиотека программного обеспечения для компьютерного зрения, которая содержит множество процедур, связанных с оценкой гомографии ( cvFindHomography ) и повторным проецированием ( cvPerspectiveTransform ).

Внешние ссылки

Серж Белонги и Дэвид Кригман (2007) Объяснение оценки гомографии, факультет компьютерных наук и инженерии Калифорнийского университета, Сан-Диего .
А. Криминизи, И. Рид и А. Зиссерман (1997) «Прибор для измерения плоскости» , §3. Вычисление гомографии между плоскостями, группа визуальной геометрии, факультет инженерных наук, Оксфордский университет .
Элан Дубровски (2009) «Оценка гомографии» , магистерская диссертация , факультет компьютерных наук Университета Британской Колумбии .
Ричард Хартли и Эндрю Зиссерман (2004) Геометрия множественного просмотра от группы визуальной геометрии, Оксфорд. Включает Matlab функции для расчета гомографии и фундаментальной матрицы (компьютерное зрение) .
Учебное пособие по GIMP — использование инструмента «Перспектива» Билли Керра на YouTube . Показывает, как выполнить перспективное преобразование с помощью GIMP .
Аллан Джепсон (2010) Плоские гомографии , факультет компьютерных наук Университета Торонто . Включает 2D-гомографию четырех пар соответствующих точек, мозаику при обработке изображений, устранение искажений перспективы в компьютерном зрении, рендеринг текстур в компьютерной графике и вычисление плоских теней.
Гомография переноса самолета Конспект курса CSE576 в Вашингтонском университете в Сиэтле .
Этьен Винсент и Роберт Лаганьер (2000) «Обнаружение плоских гомографий в паре изображений» , Школа информационных технологий и инженерии, Университет Оттавы . Описывает алгоритм обнаружения плоскостей на изображениях, использует метод консенсуса случайной выборки ( RANSAC ), описывает эвристику и итерацию.