Моделирование и рендеринг на основе изображений

В компьютерной графике и компьютерном зрении методы моделирования и рендеринга на основе изображений ( IBMR ) основаны на наборе двумерных изображений сцены для создания трехмерной модели , а затем визуализации некоторых новых видов этой сцены.

Традиционный подход компьютерной графики использовался для создания геометрической модели в 3D и попытки ее перепроецирования на двухмерное изображение. Компьютерное зрение, наоборот, в основном сосредоточено на обнаружении, группировке и извлечении особенностей (краев, лиц и т. д. ), присутствующих на данном изображении, а затем на попытках интерпретировать их как трехмерные подсказки. Моделирование и рендеринг на основе изображений позволяют использовать несколько двумерных изображений для непосредственного создания новых двумерных изображений, минуя этап ручного моделирования.

Световое моделирование

Вместо того, чтобы рассматривать только физическую модель твердого тела, методы IBMR обычно больше фокусируются на моделировании света. Фундаментальной концепцией IBMR является функция пленоптического освещения , которая представляет собой параметризацию светового поля . Пленоптическая функция описывает световые лучи, содержащиеся в данном объеме. Его можно представить в семи измерениях: луч определяется его положением. $(x,y,z)$ , его ориентация $(\theta ,\phi )$ , его длина волны $(\lambda )$ и его время $(t)$ : $P(x,y,z,\theta ,\phi ,\lambda ,t)$ . Методы IBMR пытаются аппроксимировать пленоптические функции, чтобы визуализировать новый набор двумерных изображений из другого. Учитывая высокую размерность этой функции, практические методы накладывают ограничения на параметры, чтобы уменьшить это число (обычно от 2 до 4).

Методы и алгоритмы IBMR

представления Морфинг создает переход между изображениями.
Панорамная визуализация создает панорамы, используя мозаику отдельных неподвижных изображений.
Lumigraph опирается на плотную выборку сцены.
Космическая резьба создает 3D-модель на основе согласованности фотографий. проверки

См. также

Ссылки

Внешние ссылки

Цюань, Лонг. Моделирование на основе изображений . Springer Science & Business Media, 2010. [1]
Цэ Чжу; Шуай Ли (2016). «Синтез изображений на основе изображений глубины: новые идеи и перспективы создания и заполнения дыр». Транзакции IEEE в области вещания . 62 (1): 82–93. дои : 10.1109/TBC.2015.2475697 . S2CID 19100077 .
Манси Шарма; Сантану Чаудхури; Бреджеш Лалл; М. С. Венкатеш (2014). «Гибкая архитектура для многопроекционного 3D-телевидения на основе некалиброванных камер». Журнал визуальных коммуникаций и представления изображений . 25 (4): 599–621. дои : 10.1016/j.jvcir.2013.07.012 .
Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2014). Kinect-Variety Fusion: новый гибридный подход к созданию 3D-контента без артефактов . На 22-й Международной конференции по распознаванию образов (ICPR), Стокгольм, 2014 г. doi : 10.1109/ICPR.2014.395 .
Манси Шарма; Сантану Чаудхури; Брежеш Лалл (2012). Генерация 3D-изображений с виртуальными функциями панорамирования, наклона и масштабирования . Материалы восьмой индийской конференции по компьютерному зрению, графике и обработке изображений, ACM Нью-Йорк, Нью-Йорк, США. дои : 10.1145/2425333.2425374 .