Преобразование 2D в 3D
| Тип процесса | цифровой и печатный |
|---|---|
| Промышленный сектор(ы) | Кино и телевидение, полиграфическая продукция |
| Основные технологии или подпроцессы | Компьютерное программное обеспечение |
| Продукт(ы) | Фильмы, телешоу, социальные сети, печатные изображения. |
Преобразование видео 2D в 3D (также называемое преобразованием 2D в стерео 3D и преобразованием стерео ) — это процесс преобразования 2D («плоского») фильма в 3D- форму, которая почти во всех случаях является стереоскопической , то есть это процесс создания изображений для каждый глаз из одного 2D-изображения.
Обзор [ править ]
Преобразование 2D в 3D добавляет сигнал глубины бинокулярного неравенства к цифровым изображениям, воспринимаемым мозгом, таким образом, если все сделано правильно, значительно улучшается эффект погружения при просмотре стереовидео по сравнению с 2D-видео. Однако, чтобы быть успешным, преобразование должно быть выполнено с достаточной точностью и корректностью: качество исходных 2D-изображений не должно ухудшаться, а введенный сигнал несоответствия не должен противоречить другим сигналам, используемым мозгом для восприятия глубины . Если все сделано правильно и тщательно, преобразование создает стереовидео того же качества, что и «родное» стереовидео, которое снимается в стерео и точно настраивается и выравнивается при постобработке. [1]
Можно условно определить два подхода к преобразованию стерео: качественное полуавтоматическое преобразование для кино и высококачественного 3D-телевидения и низкокачественное автоматическое преобразование для дешевого 3D-телевидения , VOD и подобных приложений.
Ререндеринг компьютерных анимационных фильмов [ править ]
Компьютерные анимационные 2D-фильмы, созданные с использованием 3D-моделей, можно перерисовать в стереоскопическом 3D, добавив вторую виртуальную камеру, если исходные данные все еще доступны. Технически это не преобразование; следовательно, такие повторно обработанные фильмы имеют то же качество, что и фильмы, изначально созданные в стереоскопическом 3D. Примеры этого метода включают переиздание «Истории игрушек» и «Истории игрушек 2» . Пересмотр исходных компьютерных данных для двух фильмов занял четыре месяца, а также еще шесть месяцев, чтобы добавить 3D. [2] Однако не все фильмы CGI перерисовываются для переиздания в 3D из-за затрат, требуемого времени, нехватки квалифицированных ресурсов или отсутствия компьютерных данных.
Важность и применимость [ править ]
С увеличением количества фильмов, выпускаемых в формате 3D, преобразование 2D в 3D стало более распространенным. Большинство стерео 3D-блокбастеров, не использующих компьютерную графику, полностью или хотя бы частично конвертированы из 2D-материалов. Даже «Аватар» содержит несколько сцен, снятых в 2D и преобразованных в стерео при постобработке. [3] Причины съемки в 2D вместо стерео – финансовые, технические, а иногда и художественные: [1] [4]
- Рабочий процесс постобработки стерео гораздо более сложен и не так отлажен, как рабочий процесс 2D, требующий больше работы и рендеринга.
- Профессиональные стереоскопические установки намного дороже и громоздки, чем обычные монокулярные камеры. Некоторые кадры, особенно боевые сцены, можно снять только с помощью относительно небольших 2D-камер.
- Стереокамеры могут вносить различные несоответствия в стереоизображение (например, вертикальный параллакс , наклон, сдвиг цвета, отражения и блики в разных положениях), которые в любом случае следует исправлять при постобработке, поскольку они портят 3D-эффект. Эта коррекция иногда может иметь сложность, сравнимую со стереопреобразованием.
- Стереокамеры могут выдавать практические эффекты, используемые во время съемок. Например, некоторые сцены в «Властелин колец» трилогии фильма были сняты с использованием принудительной перспективы , чтобы два актера выглядели разного размера. Та же сцена, снятая в стереорежиме, показала бы, что актеры находились на разном расстоянии от камеры.
- По своей природе стереокамеры имеют ограничения на то, насколько далеко камера может находиться от снимаемого объекта, но при этом обеспечивают приемлемое стереоразделение. Например, самый простой способ снять сцену, происходящую на боковой стороне здания, — это использовать камеру, расположенную через дорогу, на соседнем здании, используя зум-объектив. Однако, хотя зум-объектив обеспечит приемлемое качество изображения, стереоразделение на таком расстоянии будет практически нулевым.
Даже в случае стереосъемки часто может потребоваться преобразование. Помимо упомянутых сложных для съемки сцен, существуют ситуации, когда несоответствия в стереоизображениях слишком велики для корректировки, и проще выполнить преобразование 2D в стерео, рассматривая одно из изображений как исходный 2D-источник.
Общие проблемы [ править ]
Независимо от конкретных алгоритмов, все рабочие процессы преобразования должны решать следующие задачи: [4] [5]
- Выделение «бюджета глубины» – определение диапазона допустимого несоответствия или глубины, какое значение глубины соответствует положению экрана (так называемое положение «точки схождения»), допустимые диапазоны расстояний для эффектов за кадром и за кадром. -объекты фона экрана. Если объект в стереопаре находится в одном и том же месте для обоих глаз, то он появится на поверхности экрана и будет иметь нулевой параллакс. Говорят, что объекты перед экраном имеют отрицательный параллакс, а фоновые изображения за экраном имеют положительный параллакс. Существуют соответствующие отрицательные или положительные смещения в положениях объектов для изображений для левого и правого глаза.
- Контроль комфортного несоответствия в зависимости от типа сцены и движения — слишком большой параллакс или противоречивые сигналы глубины могут вызвать напряжение глаз и тошноту.
- Заполнение непокрытых областей — изображения левого или правого ракурса показывают сцену под другим углом, а части объектов или целые объекты, покрытые передним планом в исходном 2D-изображении, должны стать видимыми в стереопаре. Иногда фоновые поверхности известны или могут быть оценены, поэтому их следует использовать для заполнения непокрытых областей. В противном случае неизвестные области должны быть заполнены художником или закрашены , поскольку точная реконструкция невозможна.
Высококачественные методы преобразования также должны решать многие типичные проблемы, в том числе:
- Полупрозрачные объекты
- Размышления
- Нечеткие границы полупрозрачных объектов – например, волосы, мех, объекты, находящиеся вне фокуса на переднем плане, тонкие объекты.
- Зернистость пленки (настоящая или искусственная) и подобные шумовые эффекты
- Сцены с быстрым беспорядочным движением
- Мелкие частицы – дождь, снег, взрывы и так далее.
Качественная полуавтоматическая конверсия [ править ]
Преобразование на основе глубины [ править ]
Большинство полуавтоматических методов стереопреобразования используют карты глубины и рендеринг на основе изображений глубины. [4] [5]
Идея состоит в том, что отдельное вспомогательное изображение, известное как « карта глубины для каждого кадра или для серии однородных кадров создается », для обозначения глубины объектов, присутствующих в сцене. Карта глубины представляет собой отдельное изображение в оттенках серого, имеющее те же размеры, что и исходное 2D-изображение, с различными оттенками серого, обозначающими глубину каждой части кадра. Хотя отображение глубины может создать довольно мощную иллюзию трехмерных объектов в видео, оно по своей сути не поддерживает полупрозрачные объекты или области и не представляет закрытые поверхности; Чтобы подчеркнуть это ограничение, трехмерные представления на основе глубины часто явно называют 2.5D . [6] [7] Эти и другие подобные проблемы следует решать отдельным методом. [6] [8] [9]
Основными этапами методов преобразования на основе глубины являются:
- Распределение бюджета глубины — какая общая глубина сцены и где будет плоскость экрана.
- Сегментация изображения , создание подложек или масок, обычно методом ротоскопирования . Каждая важная поверхность должна быть изолирована. Уровень детализации зависит от требуемого качества конвертации и бюджета.
- Создание карты глубины. Каждой изолированной поверхности должна быть присвоена карта глубины. Отдельные карты глубины должны быть объединены в карту глубины сцены. Это итеративный процесс, требующий корректировки объектов, форм, глубины и визуализации промежуточных результатов в стерео. К наиболее важным поверхностям добавляется микрорельеф глубины, трехмерная форма, чтобы избежать эффекта «картона», когда стереоизображения выглядят как комбинация плоских изображений, просто установленных на разной глубине.
- Генерация стерео на основе 2D+Depth с любой дополнительной информацией, такой как чистые пластины, восстановленный фон, карты прозрачности и т. д. Когда процесс будет завершен, будут созданы левое и правое изображения. Обычно исходное 2D-изображение рассматривается как центральное изображение, поэтому генерируются два стереоизображения. Однако некоторые методы предлагают использовать исходное изображение в качестве изображения одного глаза и генерировать только изображение другого глаза, чтобы минимизировать стоимость преобразования. [4] При генерации стерео пиксели исходного изображения смещаются влево или вправо в зависимости от карты глубины, максимального выбранного параллакса и положения поверхности экрана.
- Реконструкция и покраска любых открытых участков, не заполненных стереогенератором.
Стерео может быть представлено в любом формате для предварительного просмотра, включая анаглиф .
Трудоемкими этапами являются сегментация/ротоскопирование изображения, создание карты глубины и заполнение непокрытой области. Последнее особенно важно для максимально качественной конвертации.
Существуют различные методы автоматизации создания карт глубины и реконструкции фона. Например, автоматическую оценку глубины можно использовать для создания начальных карт глубины для определенных кадров и кадров. [11]
Людей, занимающихся такой работой, можно назвать художниками глубины. [12]
Многослойность [ править ]
Многослойность, являющаяся развитием карт глубины, позволяет обойти ограничения карт глубины путем введения нескольких слоев масок глубины в оттенках серого для реализации ограниченной полупрозрачности. Подобно простой технике, [13] Многослойность предполагает применение карты глубины к более чем одному «куску» плоского изображения, что приводит к гораздо лучшему приближению глубины и выступа. Чем больше слоев обрабатывается отдельно в каждом кадре, тем выше качество 3D-иллюзии.
Другие подходы [ править ]
3D-реконструкция и повторное проецирование могут использоваться для стереопреобразования. Он включает в себя создание 3D-модели сцены, извлечение исходных поверхностей изображения в виде текстур для 3D-объектов и, наконец, рендеринг 3D-сцены с двух виртуальных камер для получения стереовидео. Этот подход достаточно хорошо работает в сценах со статичными жесткими объектами, таких как городские кадры со зданиями, внутренние кадры, но имеет проблемы с нежесткими телами и мягкими размытыми краями. [3]
Другой метод — настроить левую и правую виртуальные камеры, смещенные относительно исходной камеры, но разделив разницу смещения, а затем закрасив края окклюзии изолированных объектов и персонажей. По сути, чистое покрытие нескольких элементов заднего, среднего и переднего плана.
Бинокулярное несоответствие также можно вывести из простой геометрии. [14]
Автоматическое преобразование [ править ]
Глубина от движения [ править ]
Можно автоматически оценить глубину, используя различные типы движения. В случае движения камеры можно рассчитать карту глубины всей сцены. Кроме того, можно обнаружить движение объекта и назначить движущимся областям меньшие значения глубины, чем фон. Окклюзии предоставляют информацию об относительном положении движущихся поверхностей. [15] [16]
Глубина от фокуса [ править ]
Подходы этого типа еще называют «глубина от расфокусировки» и «глубина от размытия». [15] [17] В подходах «глубина от расфокусировки» (DFD) информация о глубине оценивается на основе степени размытия рассматриваемого объекта, тогда как подходы «глубина от фокуса» (DFF) имеют тенденцию сравнивать резкость объекта по диапазону изображений. снято с разным фокусным расстоянием , чтобы узнать расстояние до камеры. Для правильной работы DFD требуется всего два или три изображения с разным фокусом, тогда как DFF требуется как минимум от 10 до 15 изображений, но он более точен, чем предыдущий метод.
Если на обработанном изображении обнаруживается небо, то можно также принять во внимание, что более удаленные объекты, помимо того, что являются туманными, должны быть более ненасыщенными и более голубоватыми из-за толстого слоя воздуха. [17]
Глубина с точки зрения [ править ]
Идея метода основана на том факте, что параллельные линии, такие как железнодорожные пути и обочины, кажутся сходящимися с расстоянием, в конечном итоге достигая точки схода на горизонте. Нахождение этой точки схода дает самую дальнюю точку всего изображения. [15] [17]
Чем больше линии сходятся, тем дальше они кажутся. Таким образом, для карты глубины область между двумя соседними исчезающими линиями может быть аппроксимирована градиентной плоскостью.
Артефакты преобразования [ править ]
- Картонный эффект — явление, при котором 3D-объекты, расположенные на разной глубине, кажутся зрителю плоскими, как если бы они были сделаны из картона, при этом относительная глубина между объектами сохраняется.
- Несоответствие резкости краев — данный артефакт может появиться из-за размытой карты глубины на границах объектов. Граница становится четкой на одном ракурсе и размытой на другом. Артефакт несоответствия резкости краев обычно возникает по следующим причинам:
- Использование метода «резинового листа», определяемого как деформация пикселей, окружающих области окклюзии, чтобы избежать явного заполнения окклюзии. В таких случаях края карты смещения размываются, а переход между областями переднего плана и фона сглаживается. Область, занимаемая краем/размытием в движении, либо «растягивается», либо «подворачивается», в зависимости от направления смещения объекта. Естественно, такой подход приводит к несоответствию резкости краев между видами.
- Отсутствие надлежащей обработки полупрозрачных краев, что может привести к удвоению краев или появлению ореолов.
- Простые методы заполнения окклюзии, приводящие к растягиванию артефактов вблизи краев объекта.
- Прилипание к объектам заднего плана — эта ошибка «приклеивания» объектов переднего плана к фону.
Показатели качества 3D [ править ]
ПКМ [ править ]
ПКМ [18] имитируйте HVS, поскольку полученные результаты очень близко соответствуют среднему баллу мнений (MOS), полученному в результате субъективных тестов. PQM количественно определяет искажение яркости и искажение контраста, используя аппроксимацию (дисперсии), взвешенную по среднему значению каждого блока пикселей, для получения искажения изображения. Это искажение вычитается из 1 для получения объективного показателя качества.
HV3D [ править ]
ХВ3Д [19] Показатель качества был разработан с учетом визуального восприятия человеком трехмерного изображения. Он учитывает качество отдельных правого и левого ракурсов, качество циклопического ракурса (слияние правого и левого ракурса, того, что воспринимает зритель), а также качество информации о глубине.
VQMT3D [ править ]
Проект VQMT3D [20] включает несколько разработанных метрик для оценки качества преобразования 2D в 3D
| Метрика | Сорт | Тип | Применимо к |
| Картонный эффект | Передовой | Качественный | Преобразование 2D в 3D |
| Несоответствие резкости краев | Уникальный | Качественный | Преобразование 2D в 3D |
| Объекты, застрявшие на заднем плане | Уникальный | Качественный | Преобразование 2D в 3D |
| Сравнение с 2D-версией | Уникальный | Качественный | Преобразование 2D в 3D |
См. также [ править ]
- Аутостереоскопия
- Перекрестные помехи (электроника)
- Digital 3D
- Раскрашивание пленки . Многие проблемы, связанные с 3D-преобразованием, такие как идентификация/распознавание краев объекта, также встречаются при раскрашивании.
- Легенда3D
- Список 3D-фильмов
- Стереоскопическая видеоигра - многие видеоигры S-3D на самом деле не отображают два изображения, но также используют методы преобразования рендеринга 2D + глубины.
- Структура из движения
- 2D плюс глубина
- 3D-дисплей
- 3D фильм
- 3D-реконструкция из нескольких изображений
Ссылки [ править ]
- ^ Jump up to: Перейти обратно: а б Барри Сэндрю. «Преобразование 2D в 3D может быть лучше, чем исходное 3D»
- ^ Мерфи, Мекадо (1 октября 2009 г.). «Базз и Вуди добавляют измерение» . Нью-Йорк Таймс . Проверено 18 февраля 2010 г.
- ^ Jump up to: Перейти обратно: а б Майк Сеймур. Искусство преобразования стерео: 2D в 3D
- ^ Jump up to: Перейти обратно: а б с д Скотт Сквайрс. Преобразования 2D в 3D
- ^ Jump up to: Перейти обратно: а б Джон Карафин. Современное преобразование 2D в 3D и стереовизуальные эффекты. Архивировано 26 апреля 2012 г. в университете Wayback Machine International 3D Society. Презентация с мероприятия 3DU-Japan 21 октября 2011 г. в Токио.
- ^ Jump up to: Перейти обратно: а б У, Цзяцзюнь; и др. (2017). MarrNet: 3D-реконструкция формы с помощью 2,5D-эскизов (PDF) . Конференция по нейронным системам обработки информации (NeurIPS) . стр. 540–550.
- ^ Татено, Кейсуке; и др. (2016). Когда 2.5D недостаточно: одновременная реконструкция, сегментация и распознавание на плотном SLAM (PDF) . Международная конференция IEEE по робототехнике и автоматизации (ICRA) . стр. 2295–2302.
- ^ Рок, Джейсон; и др. (2015). Создание формы трехмерного объекта из изображения одной глубины (PDF) . Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR) . стр. 2484–2493.
- ^ Шин, Дэюн; и др. (2019). Реконструкция 3D-сцены с использованием многослойной глубины и эпиполярных преобразователей (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) . стр. 2172–2182.
- ^ «Солтани А.А., Хуанг Х., Ву Дж., Кулкарни Т.Д. и Тененбаум Дж.Б. Синтез трехмерных форм посредством моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей. В материалах конференции IEEE по компьютерному зрению и Распознавание образов (стр. 1511-1519)» . Гитхаб . 11.07.2019.
- ^ ЮВсофт. Процесс преобразования 2D в стерео 3D
- ^ Майк Айзенберг (31 октября 2011 г.). «Интервью с 3D-художником Адамом Главацем» . Экранная ругань . Проверено 28 декабря 2015 г.
- ^ Катлер, Джеймс. «Маскирование нескольких слоев в Adobe Photoshop» . Архивировано из оригинала 18 января 2012 года.
- ^ Преобразование 2D-изображения в 3D-лентикулярную печать.
- ^ Jump up to: Перейти обратно: а б с Доктор Лай-Ман По. Методы автоматического преобразования видео 2D в 3D для 3D-телевидения. Кафедра электронной инженерии, Городской университет Гонконга . 13 апреля 2010 г.
- ^ Пример автоматического преобразования 2D в 2D плюс глубина для сцены движения камеры.
- ^ Jump up to: Перейти обратно: а б с Цинцин Мы. «Преобразование 2D в 3D: обзор» (PDF) . Факультет электротехники, математики и информатики Делфтского технологического университета. Архивировано из оригинала (PDF) 15 апреля 2012 г.
- ^ Ховелуро, П.; Малекмохамади, Х.; Фернандо, Вашингтон; Кондоз, AM (2010). «Метрика перцептивного качества видео для оценки качества 3D-видео». 2010 3DTV-конференция: The True Vision – захват, передача и отображение 3D-видео . IEEE. стр. 1–4. дои : 10.1109/3dtv.2010.5506331 . ISBN 978-1-4244-6377-0 .
- ^ Баниталеби-Дехкорди, Амин; Пуразад, Махса Т.; Насиопулос, Панос (2013). «Показатель качества 3D-видео для сжатия 3D-видео». Ивмсп 2013 . IEEE. стр. 1–4. arXiv : 1803.04629 . дои : 10.1109/ivmspw.2013.6611930 . ISBN 978-1-4673-5858-3 .
- ^ VQMT3D
Источники [ править ]
- Манси Шарма; Сантану Чаудхури; Брежеш Лалл (2014). Kinect-Variety Fusion: новый гибридный подход к созданию 3D-контента без артефактов . На 22-й Международной конференции по распознаванию образов (ICPR), Стокгольм, 2014 г. doi : 10.1109/ICPR.2014.395 .