3D-реконструкция из нескольких изображений

3D-реконструкция из нескольких изображений — это создание трехмерных моделей из набора изображений. Это обратный процесс получения 2D-изображений из 3D-сцен.

Суть изображения – это проекция 3D-сцены на 2D-плоскость, при этом глубина теряется. Трехмерная точка, соответствующая определенной точке изображения, должна находиться на линии взгляда. По одному изображению невозможно определить, какая точка на этой линии соответствует точке изображения. Если доступны два изображения, то положение 3D-точки можно найти как пересечение двух лучей проекции. Этот процесс называется триангуляцией . Ключом к этому процессу являются отношения между несколькими видами, которые передают информацию о том, что соответствующие наборы точек должны содержать некоторую структуру и что эта структура связана с позами и калибровкой камеры.

В последние десятилетия существует значительный спрос на 3D-контент для компьютерной графики , виртуальной реальности и коммуникации, что приводит к изменению акцента в требованиях. Многие существующие системы для построения 3D-моделей построены на основе специализированного оборудования (например, стереоустановок), что приводит к их высокой стоимости и не может удовлетворить требования новых приложений. Этот пробел стимулирует использование средств цифровой обработки изображений (например, фотоаппаратов). Ранний метод был предложен Томаси и Канаде. ^[2]Они использовали подход аффинной факторизации для извлечения 3D-изображений из последовательностей изображений. Однако предположение об ортогональной проекции является существенным ограничением этой системы.

Обработка [ править ]

Визуальную *оболочку* можно реконструировать из нескольких силуэтов объекта. ^[3]

Задача преобразования нескольких 2D-изображений в 3D-модель состоит из ряда этапов обработки:

Калибровка камеры состоит из внутренних и внешних параметров, без которых на определенном уровне не может работать ни одна система алгоритмов. Пунктирная линия между калибровкой и определением глубины означает, что для определения глубины обычно требуется калибровка камеры.

Определение глубины является самой сложной частью всего процесса, поскольку рассчитывается 3D-компонент, отсутствующий в любом данном изображении, — глубина. : Ключевой проблемой здесь является проблема соответствия поиск совпадений между двумя изображениями, чтобы положение совпадающих элементов можно было затем триангулировать в трехмерном пространстве.

Если у вас есть несколько карт глубины, вам нужно объединить их, чтобы создать окончательную сетку, вычисляя глубину и проецируя ее из камеры – регистрация . Калибровка камеры будет использоваться для определения того, где множество сеток, созданных с помощью карт глубины, можно объединить для создания более крупной сетки, обеспечивающей более одного вида для наблюдения.

На этапе применения материала у вас есть полная 3D-сетка, что может быть конечной целью, но обычно вам нужно применить к сетке цвет из исходных фотографий. Это может варьироваться от случайного проецирования изображений на сетку до подходов объединения текстур для получения сверхвысокого разрешения и, наконец, до сегментации сетки по материалам, таким как зеркальные и диффузные свойства.

Математическое описание реконструкции [ править ]

Дана группа 3D-точек, просматриваемых N камерами с матрицами. $\{P^{i}\}_{i=1\ldots N}$ , определять $m_{j}^{i}\simeq P^{i}w_{j}$ быть однородными координатами проекции $j^{th}$ указать на $i^{th}$ камера. Задачу реконструкции можно изменить следующим образом: учитывая группу координат пикселей $\{m_{j}^{i}\}$ , находим соответствующий набор матриц камер $\{P^{i}\}$ и структура сцены $\{w_{j}\}$ такой, что

m_{j}^{i}\simeq P^{i}w_{j}

(1)

В общем случае без дальнейших ограничений мы получим проективную реконструкцию. ^[4]^[5] Если $\{P^{i}\}$ и $\{w_{j}\}$ удовлетворять (1), $\{P^{i}T\}$ и $\{T^{-1}w_{j}\}$ будет удовлетворять (1) с любой размером 4 × 4 невырожденной матрицей T .

Проективная реконструкция может быть рассчитана только по соответствию точек без какой-либо априорной информации.

Автокалибровка [ править ]

При автокалибровке или самокалибровке движение камеры и параметры сначала восстанавливаются с использованием жесткости. Тогда структуру можно будет легко рассчитать. Два метода реализации этой идеи представлены следующим образом:

Уравнения Круппы [ править ]

При минимум трёх перемещениях мы можем получить внутренние параметры камеры, используя систему полиномиальных уравнений Круппы: ^[6] которые получены из геометрической интерпретации ограничения жесткости. ^[7]^[8]

Матрица $K=AA^{\top }$ неизвестна в уравнениях Круппы и называется матрицей коэффициентов Круппы. С помощью K и методом факторизации Холецкого можно легко получить внутренние параметры:

K={\begin{bmatrix}k_{1}&k_{2}&k_{3}\\k_{2}&k_{4}&k_{5}\\k_{3}&k_{5}&1\\\end{bmatrix}}

Недавно Хартли ^[9]предложил более простую форму. Позволять $F$ быть записано как $F=DUV^{\top }$ , где

Затем уравнения Круппы переписываются (вывод можно найти в ^[9])

Мендонса и Чиполла [ править ]

Этот метод основан на использовании ограничения жесткости. Разработайте функцию стоимости, которая рассматривает внутренние параметры как аргументы и фундаментальные матрицы как параметры. ${F}_{ij}$ определяется как фундаментальная матрица, ${A}_{i}$ и ${A}_{j}$ как матрицы внутренних параметров.

Стратификация [ править ]

новые методы, основанные на концепции стратификации . Недавно были предложены ^[10]Начиная с проективной структуры, которую можно вычислить только на основе соответствий, обновите эту проективную реконструкцию до евклидовой реконструкции, используя все доступные ограничения. С помощью этой идеи проблему можно разделить на разные разделы: в зависимости от количества доступных ограничений ее можно анализировать на другом уровне: проективном, аффинном или евклидовом.

Расслоение 3D-геометрии [ править ]

Обычно мир воспринимается как трехмерное евклидово пространство . В некоторых случаях невозможно использовать полную евклидову структуру трехмерного пространства. Простейшей из них является проективная, затем аффинная геометрия, образующая промежуточные слои, и, наконец, евклидова геометрия. Понятие стратификации тесно связано с сериями преобразований геометрических объектов: в проективном слое — серия проективных преобразований (гомография ) , в аффинном слое — серия аффинных преобразований , а в евклидовом слое — серия Евклидовы преобразования.

Предположим, что фиксированная сцена снята двумя или более перспективными камерами и уже заданы соответствия между видимыми точками на разных изображениях. Однако на практике сопоставление является важной и чрезвычайно сложной проблемой в компьютерном зрении. Здесь мы полагаем, что $n$ 3D points $A_{i}$ наблюдаются $m$ камеры с проекционными матрицами $P_{j},j=1,\ldots ,m.$ Ни положение точки, ни проекция камеры неизвестны. Только прогнозы $a_{ij}$ принадлежащий $i^{th}$ точка в $j^{th}$ изображение известно.

Проективная реконструкция [ править ]

Простой подсчет показывает, что мы имеем $2nm$ независимые измерения и только $11m+3n$ неизвестные, поэтому предполагается, что задача разрешима при достаточном количестве точек и изображений. Уравнения в однородных координатах можно представить:

a_{ij}\sim P_{j}A_{i}\qquad i=1,\ldots n,~~j=1,\ldots m

(2)

Таким образом, мы можем применить неособое 4 × 4 преобразование H к проекциям $P_{j}$ → $P_{j}H^{-1}$ и мировые точки $A_{i}$ → $HA_{i}$ . Следовательно, без дальнейших ограничений реконструкция — это всего лишь неизвестная проективная деформация трехмерного мира.

Аффинная реконструкция [ править ]

См. Аффинное пространство для получения более подробной информации о вычислении местоположения плоскости на бесконечности. ${\Pi }_{\infty }$ . Самый простой способ — использовать предварительные знания, например, информацию о том, что линии на сцене параллельны или что точка занимает одну треть между двумя другими.

Мы также можем использовать априорные ограничения на движение камеры. Анализируя разные изображения одной и той же точки, можно получить линию направления движения. Пересечение нескольких линий — это точка, находящаяся на бесконечности в направлении движения, и одно ограничение на аффинную структуру.

реконструкция Евклидова

Сопоставляя проективную реконструкцию с реконструкцией, которая удовлетворяет группе избыточных евклидовых ограничений, мы можем найти проективное преобразование H в уравнении (2). Уравнения сильно нелинейны, и требуется хорошее начальное предположение о структуре. Это можно получить, предположив линейную проекцию - параллельную проекцию, которая также позволяет легко восстановить ее путем SVD-разложения. ^[2]

Алгебраическая и геометрическая ошибка [ править ]

Измеренные данные (т. е. положение изображений или точек мира) неизбежно зашумлены, и этот шум исходит из многих источников. Чтобы уменьшить влияние шума, мы обычно используем больше уравнений, чем необходимо, и решаем их методом наименьших квадратов .

Например, в типичной формулировке задачи нулевого пространства Ax = 0 (как в алгоритме DLT), квадрат невязки ||Ax|| минимизируется методом наименьших квадратов.

В общем случае, если ||Ax|| можно рассматривать как расстояние между геометрическими объектами (точками, линиями, плоскостями и т. д.), тогда то, что минимизируется, является геометрической ошибкой , в противном случае (когда ошибка не имеет хорошей геометрической интерпретации) это называется алгебраической ошибкой .

Поэтому по сравнению с алгебраической ошибкой мы предпочитаем минимизировать геометрическую ошибку по перечисленным причинам:

Минимизируемое количество имеет смысл.
Решение более стабильное.
Решение постоянно относительно евклидовых преобразований.

Все линейные алгоритмы (DLT и другие), которые мы видели до сих пор, минимизируют алгебраическую ошибку. На самом деле нет никакого оправдания минимизации алгебраической ошибки, кроме простоты реализации, поскольку это приводит к линейной задаче. Минимизация геометрической ошибки часто является нелинейной задачей, допускающей только итеративные решения и требующей отправной точки.

Обычно линейное решение, основанное на алгебраических остатках, служит отправной точкой для нелинейной минимизации геометрической функции стоимости, которая обеспечивает окончательную «полировку» решения. ^[11]

Медицинские применения

2-D изображения имеют анатомические проблемы, накладывающиеся друг на друга, и не выявляют аномалий. Трехмерную визуализацию можно использовать как в диагностических, так и в терапевтических целях.

3-D модели используются для планирования операции, морфометрических исследований и имеют большую достоверность в ортопедии. ^[12]

Постановка задачи и основы [ править ]

Реконструировать трехмерные изображения из двухмерных изображений, снятых камерой под разными углами. медицинской визуализации Методы , такие как компьютерная томография и МРТ, стоят дорого, и, хотя компьютерная томография точна, она может вызвать высокие дозы радиации, что представляет риск для пациентов с определенными заболеваниями. Методы, основанные на МРТ, не являются точными. Поскольку во время МРТ мы подвергаемся воздействию мощных магнитных полей, этот метод не подходит для пациентов с ферромагнитными металлическими имплантатами. Оба метода можно применять только в положении лежа, когда меняется общая структура кости. Итак, мы обсудим следующие методы, которые можно выполнять стоя и требуют низкой дозы облучения.

Хотя эти методы представляют собой трехмерные изображения, область интереса ограничена срезом; данные собираются для формирования временной последовательности.

стереосоответствующих точек Техника

Этот метод прост и реализуется путем определения точек вручную на многопроекционных рентгенограммах. Первым шагом является извлечение соответствующих точек на двух рентгеновских изображениях. Второй шаг — восстановить изображение в трех измерениях с использованием таких алгоритмов, как дискретное линейное преобразование (DLT). ^[13]Реконструкция возможна только при наличии точек стереосоответствия (SCP). Качество результатов зависит от количества SCP: чем больше SCP, тем лучше результаты. ^[14]но это медленно и неточно. Мастерство оператора является фактором качества изображения. Методы, основанные на SCP, не подходят для костных структур без идентифицируемых краев. Обычно методы, основанные на SCP, используются как часть процесса, включающего другие методы. ^[15]

Нестерео соответствующий контурный метод NCSS ( )

Этот метод использует рентгеновские изображения для 3D-реконструкции и разработки 3D-моделей с низкими дозами облучения в положениях, несущих вес.

В алгоритме NSCC предварительным шагом является расчет начального решения. Сначала определяются анатомические области родового объекта. Во-вторых, выполняется ручное определение 2D-контуров на рентгенограммах. На основе каждой рентгенограммы генерируются 2D-контуры с использованием объекта исходного 3D-решения. Трехмерные контуры исходной поверхности объекта проецируются на связанную с ними рентгенограмму. ^[15]Двухмерная связь, выполняемая между этими двумя заданными точками, основана на расстояниях между точками и выводах контуров, обеспечивающих соответствие между двухмерными контурами и трехмерными контурами. Следующий шаг – оптимизация исходного решения. Наконец, деформация оптимизированного решения осуществляется путем применения алгоритма Кригинга к оптимизированному решению. ^[16] Наконец, повторяя последний шаг до тех пор, пока расстояние между двумя заданными точками не превысит заданное значение точности, получается реконструированный объект.

Преимущество этого метода в том, что его можно использовать для костных структур непрерывной формы, а также сокращается вмешательство человека, но это отнимает много времени.

Техника рендеринга поверхности [ править ]

Рендеринг поверхности визуализирует 3D-объект как набор поверхностей, называемых изо-поверхностями. На каждой поверхности есть точки с одинаковой интенсивностью (так называемые изо-значения). Этот метод обычно применяется к высококонтрастным данным и помогает проиллюстрировать отдельные структуры; например, череп можно создать из кусочков головы, а систему кровеносных сосудов — из кусочков тела. Два основных метода:

Реконструкция на основе контуров: изоконтуры присоединяются друг к другу, образуя изоповерхности. ^[17]
Реконструкция на основе вокселей: воксели одного и того же значения интенсивности используются для формирования изоповерхностей. Популярными алгоритмами являются марширующие кубы, марширующие тетраэдры и делящие кубы. ^[17]

В других методах используются статистические модели формы, параметрические параметры или их гибриды.

См. также [ править ]

Оценка 3D-позы - процесс определения пространственных характеристик объектов.
3D-реконструкция - процесс воссоздания формы и внешнего вида реальных объектов.
3D фотография
Преобразование 2D в 3D - процесс преобразования 2D-фильма в 3D-форму.
Сбор 3D-данных и реконструкция объекта — сканирование объекта или среды для сбора данных о его форме.
Эпиполярная геометрия - Геометрия стереозрения.
Резекция камеры - процесс оценки параметров модели камеры-обскуры.
Компьютерное стереозрение – извлечение 3D-данных из цифровых изображений.
Структура из движения – Метод 3D-реконструкции движущихся объектов.
Сравнение программного обеспечения для фотограмметрии
Визуальный корпус
Синтез изображений человека - Компьютерное создание изображений человека.

Ссылки [ править ]

^ «Солтани А.А., Хуанг Х., Ву Дж., Кулкарни Т.Д. и Тененбаум Дж.Б. Синтез трехмерных форм посредством моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей. В материалах конференции IEEE по компьютерному зрению и Распознавание образов (стр. 1511-1519)» . Гитхаб . 6 марта 2020 г.
^ Перейти обратно: ^а ^б К. Томаси и Т. Канаде, « Форма и движение потоков изображений в условиях орфографии: подход факторизации », Международный журнал компьютерного зрения, 9 (2): 137-154, 1992.
^ А. Лаурентини (февраль 1994 г.). «Концепция визуальной оболочки для понимания изображений на основе силуэтов» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 16 (2): 150–162. дои : 10.1109/34.273735 .
^ Р. Мор и Э. Арбогаст. Это можно сделать без калибровки камеры. Письма по распознаванию образов, 12:39–43, 1991.
^ О. Фожерас. Что можно увидеть в трех измерениях с помощью некалиброванной стереосистемы? В материалах Европейской конференции по компьютерному зрению, страницы 563–578, Санта-Маргерита Л., 1992.
^ Э. Круппа. Идентифицировать объект с двух точек зрения с внутренней ориентацией. Место.-Бер.Акад.Висс., Вена, мат. естественный Кл., Отдел IIа., 122:1939-1948, 1913.
^ С. Дж. Мэйбанк и О. Фогерас. Теория самокалибровки движущейся камеры. Международный журнал компьютерного зрения, 8(2):123-151, 1992.
^ О. Фогерас и С. Мэйбанк. Движение от точечных совпадений: множественность решений . Международный журнал компьютерного зрения, 4(3):225-246, июнь 1990 г.
^ Перейти обратно: ^а ^б Р.И. Хартли. Уравнения Круппы, полученные из фундаментальной матрицы. Архивировано 22 июня 2018 г. в Wayback Machine . Транзакции IEEE по анализу шаблонов и машинному интеллекту, 19(2):133-135, февраль 1997 г.
^ Поллефейс, Марк. Самокалибровка и метрическая 3D-реконструкция из некалиброванных последовательностей изображений . Дисс. Кандидатская диссертация, ESAT-PSI, КУ Левен, 1999 г.
^ Р. Хартли и А. Зиссерман. Многовидовая геометрия в компьютерном зрении. Издательство Кембриджского университета, 2-е издание, 2003 г.
^ «Медицинская визуализация: что это и для чего?» . ГаражФерма . 18 февраля 2018 г. Проверено 18 февраля 2018 г.
^ «Пирси М.Дж. 1985. Стереорентгенография движений поясничного отдела позвоночника. Acta Orthop Scand Suppl» .
^ «Обен С.Э., Дансеро Дж., Парент Ф., Лабелль Х., де Гиз Ж.А. 1997. Морфометрические оценки персонализированных 3D-реконструкций и геометрических моделей позвоночника человека». Мед Биол Энг Компьютер .
^ Перейти обратно: ^а ^б «С.Хосейнян, Х.Арефи, 3D-реконструкция по многопроекционным медицинским рентгеновским изображениям. Обзор и оценка существующих методов» (PDF) .
^ Лапорт, С; Скалли, В; де Гиз, Ж.А.; Лаваст, Ф; Миттон, Д. (2003). «Метод бипланарной реконструкции на основе 2D и 3D контуров: применение к дистальному отделу бедренной кости» . Вычислительные методы Биомех Биомед Энгин . 6 (1): 1–6. дои : 10.1080/1025584031000065956 . ПМИД 12623432 . S2CID 3206752 .
^ Перейти обратно: ^а ^б Дж. Скотт Оуэн, HyperVis. Комитет по образованию ACM SIGGRAPH, Национальный научный фонд (DUE-9752398) и Лаборатория гипермедиа и визуализации Университета штата Джорджия .

Дальнейшее чтение [ править ]

Ясутака Фурукава и Карлос Эрнандес (2015) Многопросмотровое стерео: учебное пособие [1]
Флинн, Джон и др. « Deepstereo: учимся предсказывать новые виды на основе образов мира ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2016.

Внешние ссылки [ править ]

3D-реконструкция из нескольких изображений — обсуждаются методы извлечения 3D-моделей из простых изображений.
Визуальное 3D-моделирование из изображений и видео - технический отчет описывает теорию, практику и приемы 3D-реконструкции из изображений и видео.
Синтез трехмерных фигур посредством моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей. Создавайте и реконструируйте трехмерные фигуры посредством моделирования многопрофильных карт глубины или силуэтов.

[3DVAE-1] «Солтани А.А., Хуанг Х., Ву Дж., Кулкарни Т.Д. и Тененбаум Дж.Б. Синтез трехмерных форм посредством моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей. В материалах конференции IEEE по компьютерному зрению и Распознавание образов (стр. 1511-1519)» . Гитхаб . 6 марта 2020 г.

[Tomasi-2] Перейти обратно: ^а ^б К. Томаси и Т. Канаде, « Форма и движение потоков изображений в условиях орфографии: подход факторизации », Международный журнал компьютерного зрения, 9 (2): 137-154, 1992.

[LaurentiniVisualHull-3] А. Лаурентини (февраль 1994 г.). «Концепция визуальной оболочки для понимания изображений на основе силуэтов» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 16 (2): 150–162. дои : 10.1109/34.273735 .

[4] Р. Мор и Э. Арбогаст. Это можно сделать без калибровки камеры. Письма по распознаванию образов, 12:39–43, 1991.

[5] О. Фожерас. Что можно увидеть в трех измерениях с помощью некалиброванной стереосистемы? В материалах Европейской конференции по компьютерному зрению, страницы 563–578, Санта-Маргерита Л., 1992.

[6] Э. Круппа. Идентифицировать объект с двух точек зрения с внутренней ориентацией. Место.-Бер.Акад.Висс., Вена, мат. естественный Кл., Отдел IIа., 122:1939-1948, 1913.

[7] С. Дж. Мэйбанк и О. Фогерас. Теория самокалибровки движущейся камеры. Международный журнал компьютерного зрения, 8(2):123-151, 1992.

[8] О. Фогерас и С. Мэйбанк. Движение от точечных совпадений: множественность решений . Международный журнал компьютерного зрения, 4(3):225-246, июнь 1990 г.

[Hartley-9] Перейти обратно: ^а ^б Р.И. Хартли. Уравнения Круппы, полученные из фундаментальной матрицы. Архивировано 22 июня 2018 г. в Wayback Machine . Транзакции IEEE по анализу шаблонов и машинному интеллекту, 19(2):133-135, февраль 1997 г.

[10] Поллефейс, Марк. Самокалибровка и метрическая 3D-реконструкция из некалиброванных последовательностей изображений . Дисс. Кандидатская диссертация, ESAT-PSI, КУ Левен, 1999 г.

[11] Р. Хартли и А. Зиссерман. Многовидовая геометрия в компьютерном зрении. Издательство Кембриджского университета, 2-е издание, 2003 г.

[12] «Медицинская визуализация: что это и для чего?» . ГаражФерма . 18 февраля 2018 г. Проверено 18 февраля 2018 г.

[13] «Пирси М.Дж. 1985. Стереорентгенография движений поясничного отдела позвоночника. Acta Orthop Scand Suppl» .

[14] «Обен С.Э., Дансеро Дж., Парент Ф., Лабелль Х., де Гиз Ж.А. 1997. Морфометрические оценки персонализированных 3D-реконструкций и геометрических моделей позвоночника человека». Мед Биол Энг Компьютер .

[:0-15] Перейти обратно: ^а ^б «С.Хосейнян, Х.Арефи, 3D-реконструкция по многопроекционным медицинским рентгеновским изображениям. Обзор и оценка существующих методов» (PDF) .

[16] Лапорт, С; Скалли, В; де Гиз, Ж.А.; Лаваст, Ф; Миттон, Д. (2003). «Метод бипланарной реконструкции на основе 2D и 3D контуров: применение к дистальному отделу бедренной кости» . Вычислительные методы Биомех Биомед Энгин . 6 (1): 1–6. дои : 10.1080/1025584031000065956 . ПМИД 12623432 . S2CID 3206752 .

[:1-17] Перейти обратно: ^а ^б Дж. Скотт Оуэн, HyperVis. Комитет по образованию ACM SIGGRAPH, Национальный научный фонд (DUE-9752398) и Лаборатория гипермедиа и визуализации Университета штата Джорджия .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]