Преобразование 2D в 3D

Преобразование 2D в 3D

Тип процесса	цифровой и печатный
Промышленный сектор(ы)	Кино и телевидение, полиграфическая продукция
Основные технологии или подпроцессы	Компьютерное программное обеспечение
Продукт(ы)	Фильмы, телешоу, социальные сети, печатные изображения.

Преобразование видео 2D в 3D (также называемое преобразованием 2D в стерео 3D и преобразованием стерео ) — это процесс преобразования 2D («плоского») фильма в 3D- форму, которая почти во всех случаях является стереоскопической , то есть это процесс создания изображений для каждый глаз из одного 2D-изображения.

Обзор

Преобразование 2D в 3D добавляет сигнал глубины бинокулярного неравенства к цифровым изображениям, воспринимаемым мозгом, таким образом, если все сделано правильно, значительно улучшается эффект погружения при просмотре стереовидео по сравнению с 2D-видео. Однако, чтобы быть успешным, преобразование должно быть выполнено с достаточной точностью и корректностью: качество исходных 2D-изображений не должно ухудшаться, а введенный сигнал несоответствия не должен противоречить другим сигналам, используемым мозгом для восприятия глубины . Если все сделано правильно и тщательно, преобразование создает стереовидео того же качества, что и «родное» стереовидео, которое снимается в стерео и точно настраивается и выравнивается при постобработке.

Можно условно определить два подхода к преобразованию стерео: качественное полуавтоматическое преобразование для кино и высококачественного 3D-телевидения и низкокачественное автоматическое преобразование для дешевого 3D-телевидения , VOD и подобных приложений.

Ререндеринг компьютерных анимационных фильмов

Компьютерные анимационные 2D-фильмы, созданные с использованием 3D-моделей, можно перерисовать в стереоскопическом 3D, добавив вторую виртуальную камеру, если исходные данные все еще доступны. Технически это не преобразование; следовательно, такие повторно обработанные фильмы имеют то же качество, что и фильмы, изначально созданные в стереоскопическом 3D. Примеры этого метода включают переиздание «Истории игрушек» и «Истории игрушек 2» . Пересмотр исходных компьютерных данных для двух фильмов занял четыре месяца, а также еще шесть месяцев, чтобы добавить 3D. Однако не все фильмы CGI перерисовываются для переиздания в 3D из-за затрат, требуемого времени, нехватки квалифицированных ресурсов или отсутствия компьютерных данных.

Важность и применимость

С увеличением количества фильмов, выпускаемых в формате 3D, преобразование 2D в 3D стало более распространенным. Большинство стерео 3D-блокбастеров, не использующих компьютерную графику, полностью или хотя бы частично конвертированы из 2D-материалов. Даже «Аватар» , известный своей обширной стереосъемкой, содержит несколько сцен, снятых в 2D и преобразованных в стерео при постобработке. Причины съемки в 2D вместо стерео могут быть финансовыми, техническими, а иногда и художественными:

• Рабочий процесс постобработки стерео гораздо более сложен и не так отлажен, как рабочий процесс 2D, требующий больше работы и рендеринга.
• Профессиональные стереоскопические установки намного дороже и громоздки, чем обычные монокулярные камеры. Некоторые кадры, особенно боевые сцены, можно снять только с помощью относительно небольших 2D-камер.
• Стереокамеры могут вносить различные несоответствия в стереоизображение (например, вертикальный параллакс , наклон, сдвиг цвета, отражения и блики в разных положениях), которые в любом случае следует исправлять при постобработке, поскольку они портят 3D-эффект. Эта коррекция иногда может иметь сложность, сравнимую со стереопреобразованием.
• Стереокамеры могут выдавать практические эффекты, используемые во время съемок. Например, некоторые сцены в «Властелин колец» трилогии фильма были сняты с использованием принудительной перспективы , чтобы два актера выглядели разного размера. Та же самая сцена, снятая в стереорежиме, показала бы, что актеры находились на разном расстоянии от камеры.
• По самой своей природе стереокамеры имеют ограничения на то, насколько далеко камера может находиться от снимаемого объекта, и при этом обеспечивают приемлемое стереоразделение. Например, самый простой способ снять сцену, происходящую на боковой стороне здания, — это использовать камеру, расположенную через дорогу, на соседнем здании, используя зум-объектив. Однако, хотя зум-объектив обеспечит приемлемое качество изображения, стереоразделение на таком расстоянии будет практически нулевым.

Даже в случае стереосъемки часто может потребоваться преобразование. Помимо сцен, которые сложно снимать, в стереоизображениях могут быть несоответствия, которые слишком велики для корректировки, и проще выполнить преобразование 2D в стерео, рассматривая одно из стереоизображений как исходный 2D-источник.

Общие проблемы

Независимо от конкретных алгоритмов, все рабочие процессы преобразования должны решать следующие задачи:

1. Выделение «бюджета глубины» – определение диапазона допустимого несоответствия или глубины, какое значение глубины соответствует положению экрана (так называемое положение «точки схождения»), допустимые диапазоны расстояний для эффектов за кадром и за кадром. -объекты фона экрана. Если объект в стереопаре находится в одном и том же месте для обоих глаз, то он появится на поверхности экрана и будет иметь нулевой параллакс. Говорят, что объекты перед экраном имеют отрицательный параллакс, а фоновые изображения за экраном имеют положительный параллакс. Существуют соответствующие отрицательные или положительные смещения в положениях объектов для изображений для левого и правого глаза.
2. Контроль комфортного несоответствия в зависимости от типа сцены и движения — слишком большой параллакс или противоречивые сигналы глубины могут вызвать напряжение глаз и тошноту.
3. Заполнение непокрытых областей — изображения левого или правого ракурса показывают сцену под другим углом, а части объектов или целые объекты, покрытые передним планом в исходном 2D-изображении, должны стать видимыми в стереопаре. Иногда фоновые поверхности известны или могут быть оценены, поэтому их следует использовать для заполнения непокрытых областей. В противном случае неизвестные области должны быть заполнены художником или закрашены , поскольку точная реконструкция невозможна.

Высококачественные методы преобразования также должны решать многие типичные проблемы, в том числе:

• Полупрозрачные объекты
• Размышления
• Нечеткие границы полупрозрачных объектов – например, волосы, мех, объекты, находящиеся вне фокуса на переднем плане, тонкие объекты.
• Зернистость пленки (настоящая или искусственная) и подобные шумовые эффекты
• Сцены с быстрым беспорядочным движением
• Мелкие частицы – дождь, снег, взрывы и так далее.

Качественное полуавтоматическое преобразование

Преобразование на основе глубины

Большинство полуавтоматических методов стереопреобразования используют карты глубины и рендеринг на основе изображений глубины.

Идея состоит в том, что отдельное вспомогательное изображение, известное как « карта глубины для каждого кадра или для серии однородных кадров создается », для обозначения глубины объектов, присутствующих в сцене. Карта глубины представляет собой отдельное изображение в оттенках серого, имеющее те же размеры, что и исходное 2D-изображение, с различными оттенками серого, обозначающими глубину каждой части кадра. Хотя отображение глубины может создать довольно мощную иллюзию трехмерных объектов в видео, оно по своей сути не поддерживает полупрозрачные объекты или области и не представляет закрытые поверхности; Чтобы подчеркнуть это ограничение, трехмерные представления на основе глубины часто явно называют 2.5D . Эти и другие подобные проблемы следует решать отдельным методом.

Пример карты глубины

Создание и реконструкция трехмерных фигур на основе карт глубины или силуэтов с одним или несколькими видами.

Основными этапами методов преобразования на основе глубины являются:

1. Распределение бюджета глубины — какая общая глубина сцены и где будет плоскость экрана.
2. Сегментация изображения , создание подложек или масок, обычно методом ротоскопирования . Каждая важная поверхность должна быть изолирована. Уровень детализации зависит от требуемого качества конвертации и бюджета.
3. Создание карты глубины. Каждой изолированной поверхности должна быть присвоена карта глубины. Отдельные карты глубины должны быть объединены в карту глубины сцены. Это итеративный процесс, требующий корректировки объектов, форм, глубины и визуализации промежуточных результатов в стерео. К наиболее важным поверхностям добавляется микрорельеф глубины, трехмерная форма, чтобы избежать эффекта «картона», когда стереоизображения выглядят как комбинация плоских изображений, просто установленных на разной глубине.
4. Генерация стерео на основе 2D+Depth с любой дополнительной информацией, такой как чистые пластины, восстановленный фон, карты прозрачности и т. д. Когда процесс будет завершен, будут созданы левое и правое изображения. Обычно исходное 2D-изображение рассматривается как центральное изображение, поэтому генерируются два стереоизображения. Однако некоторые методы предлагают использовать исходное изображение в качестве изображения одного глаза и генерировать только изображение другого глаза, чтобы минимизировать стоимость преобразования. При генерации стерео пиксели исходного изображения смещаются влево или вправо в зависимости от карты глубины, максимального выбранного параллакса и положения поверхности экрана.
5. Реконструкция и покраска любых открытых участков, не заполненных стереогенератором.

Стерео может быть представлено в любом формате для предварительного просмотра, включая анаглиф .

Трудоемкими этапами являются сегментация/ротоскопирование изображения, создание карты глубины и заполнение непокрытой области. Последнее особенно важно для максимально качественной конвертации.

Существуют различные методы автоматизации создания карт глубины и реконструкции фона. Например, автоматическую оценку глубины можно использовать для создания начальных карт глубины для определенных кадров и кадров.

Людей, занимающихся такой работой, можно назвать художниками глубины.

Многослойность

Многослойность, являющаяся развитием карт глубины, позволяет обойти ограничения карт глубины путем введения нескольких слоев масок глубины в оттенках серого для реализации ограниченной полупрозрачности. Подобно простой технике, Многослойность предполагает применение карты глубины к более чем одному «куску» плоского изображения, что приводит к гораздо лучшему приближению глубины и выступа. Чем больше слоев обрабатывается отдельно в каждом кадре, тем выше качество 3D-иллюзии.

Другие подходы

3D-реконструкция и повторное проецирование могут использоваться для стереопреобразования. Он включает в себя создание 3D-модели сцены, извлечение исходных поверхностей изображения в виде текстур для 3D-объектов и, наконец, рендеринг 3D-сцены с двух виртуальных камер для получения стереовидео. Этот подход достаточно хорошо работает в сценах со статичными жесткими объектами, таких как городские кадры со зданиями, внутренние кадры, но имеет проблемы с нежесткими телами и мягкими размытыми краями.

Другой метод — настроить левую и правую виртуальные камеры, смещенные относительно исходной камеры, но разделив разницу смещения, а затем закрасив края окклюзии изолированных объектов и персонажей. По сути, чистое покрытие нескольких элементов заднего, среднего и переднего плана.

Бинокулярное несоответствие также можно вывести из простой геометрии.

Автоматическое преобразование

Глубина от движения

Можно автоматически оценить глубину, используя различные типы движения. В случае движения камеры можно рассчитать карту глубины всей сцены. Кроме того, можно обнаружить движение объекта и назначить движущимся областям меньшие значения глубины, чем фон. Окклюзии предоставляют информацию об относительном положении движущихся поверхностей.

Глубина от фокуса

Подходы этого типа еще называют «глубина от расфокусировки» и «глубина от размытия». В подходах «глубина от расфокусировки» (DFD) информация о глубине оценивается на основе степени размытия рассматриваемого объекта, тогда как подходы «глубина от фокуса» (DFF) имеют тенденцию сравнивать резкость объекта по диапазону изображений. снято с разным фокусным расстоянием , чтобы узнать расстояние до камеры. Для правильной работы DFD требуется всего два или три изображения с разным фокусом, тогда как DFF требуется как минимум от 10 до 15 изображений, но он более точен, чем предыдущий метод.

Если на обработанном изображении обнаруживается небо, то можно также принять во внимание, что более удаленные объекты, помимо того, что они туманны, должны быть более ненасыщенными и более голубоватыми из-за толстого слоя воздуха.

Глубина с точки зрения

Идея метода основана на том факте, что параллельные линии, такие как железнодорожные пути и обочины, кажутся сходящимися с расстоянием, в конечном итоге достигая точки схода на горизонте. Нахождение этой точки схода дает самую дальнюю точку всего изображения.

Чем больше линии сходятся, тем дальше они кажутся. Таким образом, для карты глубины область между двумя соседними исчезающими линиями может быть аппроксимирована градиентной плоскостью.

Артефакты преобразования

• Картонный эффект — явление, при котором 3D-объекты, расположенные на разной глубине, кажутся зрителю плоскими, как если бы они были сделаны из картона, при этом относительная глубина между объектами сохраняется.
• Несоответствие резкости краев — данный артефакт может появиться из-за размытой карты глубины на границах объектов. Граница становится четкой на одном ракурсе и размытой на другом. Артефакт несоответствия резкости краев обычно возникает по следующим причинам:
  • Использование метода «резинового листа», определяемого как деформация пикселей, окружающих области окклюзии, чтобы избежать явного заполнения окклюзии. В таких случаях края карты смещения размываются, а переход между областями переднего плана и фона сглаживается. Область, занимаемая краем/размытием в движении, либо «растягивается», либо «подворачивается», в зависимости от направления смещения объекта. Естественно, такой подход приводит к несоответствию резкости краев между видами.
  • Отсутствие надлежащей обработки полупрозрачных краев, что может привести к удвоению краев или появлению ореолов.
  • Простые методы заполнения окклюзии, приводящие к растягиванию артефактов вблизи краев объекта.

• Прилипание к объектам фона — эта ошибка «приклеивания» объектов переднего плана к фону.

Показатели качества 3D

ПКМ

ПКМ имитируйте HVS, поскольку полученные результаты очень близко соответствуют среднему баллу мнений (MOS), полученному в результате субъективных тестов. PQM количественно определяет искажение яркости и искажение контраста, используя аппроксимацию (дисперсии), взвешенную по среднему значению каждого блока пикселей, для получения искажения изображения. Это искажение вычитается из 1 для получения объективного показателя качества.

ХВ3Д

ХВ3Д Показатель качества был разработан с учетом визуального восприятия человеком трехмерного изображения. Он учитывает качество отдельных правого и левого ракурсов, качество циклопического ракурса (слияние правого и левого ракурса, того, что воспринимает зритель), а также качество информации о глубине.

ВКМТ3Д

Проект VQMT3D включает несколько разработанных метрик для оценки качества преобразования 2D в 3D на основе эффекта картона, несоответствия резкости краев, прилипания к фону объектов и сравнения с 2D-версией.

См. также

• Аутостереоскопия
• Перекрестные помехи (электроника)
• Digital 3D
• Раскрашивание пленки . Многие проблемы, связанные с 3D-преобразованием, такие как идентификация/распознавание краев объекта, также встречаются при раскрашивании.
• Легенда3D
• Список 3D-фильмов
• Стереоскопическая видеоигра - многие видеоигры S-3D на самом деле не отображают два изображения, но также используют методы преобразования рендеринга 2D + глубины.
• Структура из движения
• 2D плюс глубина
• 3D-дисплей
• 3D-реконструкция из нескольких изображений

Источники

• Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2014). Kinect-Variety Fusion: новый гибридный подход к созданию 3D-контента без артефактов . На 22-й Международной конференции по распознаванию образов (ICPR), Стокгольм, 2014 г. doi : 10.1109/ICPR.2014.395 .