Глубокий композитинг изображений

Глубокая композиция изображений — это способ композиции и рендеринга цифровых изображений, появившийся в середине 2010-х годов. В дополнение к обычным каналам цвета и непрозрачности создается понятие пространственной глубины. Это позволяет нескольким образцам в глубине изображения составить окончательный результирующий цвет. Этот метод дает результаты высокого качества и удаляет артефакты по краям, с которыми иначе невозможно справиться.

Глубокие данные

Глубокие данные кодируются усовершенствованными средствами 3D-рендеринга в изображение , которое собирает информацию о пути, который каждый визуализируемый пиксель проходит вдоль оси Z , простирающейся наружу от виртуальной камеры через пространство, включая цвет и непрозрачность каждой непрозрачной поверхности или объема, через который он проходит. попутно, а также соседние образцы. Это можно считать чем-то аналогичным тому, как трассировка лучей генерирует моделируемые траектории фотонов через такие среды; однако трассировка лучей и другие традиционные методы рендеринга обычно создают изображения, которые содержат только три или четыре канала значений цвета и непрозрачности на пиксель, сведенные в двухмерный кадр.

Карты глубины, с другой стороны, содержат информацию по оси Z, закодированную в изображении в оттенках серого. Каждый уровень серого цвета представляет собой отдельный фрагмент пространства z. «Толщина» каждого среза определяется во время рендеринга, что обеспечивает большую или меньшую точность глубины в зависимости от глубины сцены. Карты глубины стали настоящим подспорьем для композиторов, поскольку они позволяли сочетать 3D-рендеринг с живым действием и практическими элементами. Чтобы быть полезной, карта должна иметь достаточно высокую разрядность, чтобы закодировать разделение между объектами, расположенными близко к камере, и объектами, близкими к бесконечности. Большинство пакетов 3D-программ теперь способны генерировать 16-битные и 32-битные карты глубины, обеспечивая до 2 миллиардов уровней глубины. Однако карты глубины не включают информацию о прозрачности непрозрачных поверхностей или объемов, и поэтому объекты, находящиеся за пределами этих полу- или полностью прозрачных объектов и просматриваемые через них, не будут иметь собственной информации о глубине и могут быть неправильно скомпонованы или размыты. Даже популярное добавление криптоматов во многие постпродакшн Конвейеры студий и VFX , хотя и предоставляют отдельные формы идентификаторов с цветовой кодировкой для отдельных элементов в визуализированной сцене, чтобы еще больше сократить разрыв между CGI и композитингом, не позволяют реализовать почти автоматизированные и полностью нелинейные рабочие процессы, которые делают глубокие данные. Это связано с тем, что глубокие изображения инкапсулируют достаточно трехмерной информации, поэтому трудоемкие задачи, такие как ротоскопирование с многочисленными подложками для сложных взаимодействий между движущимися персонажами и полупрозрачными объемами окружающей среды, такими как дым или вода, по сути тривиальны. Вместо этого процесса можно легко создать несколько подложек из одного набора глубоких изображений без необходимости повторной визуализации каждого элемента подложки и фона для каждого случая. В дополнение к этой эффективности и гибкости изображения с глубокими данными по своей сути обеспечивают гораздо более высокое визуальное качество в общих областях, которые были затруднены при традиционном рендеринге, таких как размытые в движении края персонажей с полупрозрачными элементами, такими как волосы.

Одним из недостатков использования глубоких изображений является их значительный размер файла, поскольку они кодируют относительно огромный объем данных за кадр по сравнению даже с многоканальными форматами, такими как OpenEXR .

Функциональный (интегрированный)

Данные сохраняются в зависимости от глубины. В результате получается функциональная кривая, которую можно использовать для поиска данных на любой произвольной глубине. Манипулировать данными сложнее.

На основе выборки (деинтегрированный)

Каждый образец рассматривается как независимая часть, и поэтому с ним можно легко манипулировать. Чтобы убедиться, что данные представляют правильную информацию, необходимо ввести дополнительное значение расширения.

Генерация глубоких данных

Средства 3D- рендеринга создают необходимые данные как часть конвейера рендеринга. Образцы собираются по глубине, а затем объединяются. Глубокие данные могут быть записаны до того, как это произойдет, и в этом процессе нет ничего нового. Для генерации глубоких данных из данных камеры требуется правильная карта глубины . Это используется в нескольких случаях, но все еще недостаточно точно для детального представления. Однако для базовой задачи по сдерживанию этого может быть достаточно.

Составление изображений с глубокими данными

Глубокие изображения можно комбинировать, как обычные изображения. Компонент глубины упрощает определение порядка наложения слоев. Традиционно это должен был ввести пользователь. Глубокие изображения содержат эту информацию сами по себе и не требуют вмешательства пользователя. Краевые артефакты уменьшаются, поскольку прозрачные пиксели содержат больше данных для работы.

История

присутствует в пакетах 3D-рендеринга Deep Images уже довольно давно . Их использование для сдерживания впервые было реализовано в нескольких студиях VFX в шейдерах. Подложки удержания могут быть созданы во время рендеринга. Их более интерактивное использование недавно начали несколько компаний, SideFX интегрировали его в свое программное обеспечение Houdini, а такие студии, как Industrial Light & Magic, DreamWorks Animation, Weta, AnimalLogic и DRD, реализовали интерактивные решения.

В 2014 году Академия кинематографических искусств и наук удостоила эту технологию ежегодной награды SciTech. Доктору Питеру Хиллману за долгосрочную разработку и постоянное продвижение инновационных, надежных и полных наборов инструментов для глубокого композитинга, а также Колину Донкастеру, Йоханнесу Сааму, Арейто Эчеваррии, Янне Контканену и Крису Куперу за разработку, прототипирование и продвижение технологий и рабочих процессов. для глубокого композитинга.

Ресурсы