Объемный захват
 | В этой статье есть несколько проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти шаблонные сообщения )
|
Объемный захват или объемное видео — это метод, позволяющий захватывать трехмерное пространство, например, локацию или представление. [1] Этот тип объемографии позволяет получать данные, которые можно просматривать на плоских экранах, а также с помощью 3D-дисплеев и очков виртуальной реальности . Форматы, ориентированные на потребителя, многочисленны, а необходимые методы захвата движения опираются на компьютерную графику , фотограмметрию и другие методы, основанные на вычислениях. Зритель обычно видит результат в режиме реального времени и напрямую участвует в изучении сгенерированного объема.
История [ править ]
Талант звукозаписи без ограничений плоского экрана уже описан в научной фантастике давно . Голограммы и трехмерные изображения реального мира на протяжении многих лет занимали видное место в «Звездных войнах» , «Бегущем по лезвию » и многих других научно-фантастических произведениях. Благодаря растущим достижениям в области компьютерной графики, оптики и обработки данных эта фантастика постепенно превратилась в реальность. Объемное видео является логическим следующим шагом после стереоскопических фильмов и видеороликов на 360°, поскольку оно сочетает в себе визуальное качество фотографии с погружением и интерактивностью пространственного контента и может оказаться наиболее важным достижением в области записи деятельности человека со времени создания видео. современное кино.
Компьютерная графика и визуальные эффекты [ править ]
Создание 3D-моделей на основе видео, фотографий и других способов измерения мира всегда было важной темой в компьютерной графике . Конечная цель — имитировать реальность в мельчайших деталях, давая творческим людям возможность строить на этом фундаменте миры, соответствующие их видению. Традиционно художники создают эти миры, используя методы моделирования и рендеринга, разработанные за десятилетия с момента появления компьютерной графики. Визуальные эффекты в фильмах и видеоиграх проложили путь к достижениям в фотограмметрии , сканирующих устройствах и вычислительной базе для обработки данных, полученных с помощью этих новых интенсивных методов. Как правило, эти достижения стали результатом создания более совершенных визуальных эффектов для развлечений и средств массовой информации, но не были целью самой области.
ЛИДАР [ править ]
Сканирование LIDAR описывает метод съемки, в котором используются плотно упакованные точки, полученные лазером, для сканирования статических объектов в облако точек. Для этого требуются физические сканеры и создаются огромные объемы данных. В 2007 году группа Radiohead широко использовала его для создания музыкального видео на «Карточный домик», запечатлевая исполнение облака точек лица певца и избранных сред в одном из первых применений этой технологии для объемной съемки. Режиссер Джеймс Фрост сотрудничал с медиа-художником Аароном Коблином, чтобы запечатлеть трехмерные облака точек, использованные для этого музыкального клипа, и хотя окончательный результат этой работы все еще представлял собой плоское представление данных, захват и мышление авторов уже опережали пришло время. Облака точек , являющиеся отдельными образцами трехмерного пространства с положением и цветом, создают высокоточное представление реального мира с огромным объемом данных. Однако просмотр этих данных в режиме реального времени пока не был возможен.
Структурированный свет [ править ]
В 2010 году Microsoft вывела Kinect на рынок — потребительский продукт, который использовал структурированный свет в инфракрасном спектре для создания 3D-сетки с помощью камеры. Хотя целью было облегчить и внедрить инновации в пользовательском вводе и игровом процессе, оно было очень быстро адаптировано в качестве универсального устройства захвата 3D-данных в сообществе объемного захвата. Проецируя известный шаблон на пространство и фиксируя искажения объектов на сцене, полученный результат можно затем вычислить для различных выходных данных. Художники и любители начали создавать инструменты и проекты на основе доступного устройства, что вызвало растущий интерес к объемной съемке как к творческой среде.
Затем исследователи из Microsoft построили целый этап захвата, используя несколько камер, устройств Kinect и алгоритмы, которые генерировали полный объемный захват на основе объединенной оптической информации и информации о глубине. Теперь это Microsoft Mixed Reality Capture Studio , используемая сегодня как в рамках их исследовательского подразделения, так и в некоторых избранных коммерческих проектах, таких как VR-версия Blade Runner 2049 . В настоящее время действуют три студии: Редмонд, Вашингтон; Сан-Франциско, Калифорния; и Лондон, Англия. Хотя это остается очень интересной установкой для рынка высокого класса, доступная цена одного устройства Kinect побудила больше художников-экспериментаторов и независимых режиссеров стать активными в области объемного захвата. [2] Двумя результатами этой деятельности являются Depthkit и EF EVE™ . EF EVE™ поддерживает неограниченное количество датчиков Azure Kinect на одном ПК, обеспечивая полный объемный захват с простой настройкой. Он также имеет автоматическую калибровку датчиков и функцию VFX. Depthkit — это пакет программного обеспечения, который позволяет собирать геометрические данные с помощью одного структурированного датчика освещенности, включая Azure Kinect, [3] а также высококачественная цветопередача с прикрепленной камеры-свидетеля.
Фотограмметрия [ править ]
Фотограмметрия описывает процесс измерения данных на основе фотографий. Несмотря на то, что фотография стара, как сама фотография, только благодаря многолетним достижениям в исследованиях объемного захвата теперь стало возможным захватывать все больше и больше деталей геометрии и текстуры из большого количества входных изображений. Результат обычно разделяется на два составных источника: статическую геометрию и полный захват производительности. Для статической геометрии наборы, полученные с помощью большого количества перекрывающихся цифровых изображений, затем выравниваются друг по другу с использованием схожих характеристик изображений и используются в качестве основы для триангуляции и оценки глубины. Эта информация интерпретируется как трехмерная геометрия , в результате чего получается почти идеальная копия набора. Однако при полном захвате производительности для захвата информации в реальном времени используется массив видеокамер. Эти синхронизированные камеры затем используются покадрово для создания набора точек или геометрии, которые можно воспроизводить на высокой скорости, в результате чего получается полный объемный захват производительности, который можно объединить в любую среду. В 2008 году 4DViews [4] установила первую систему объемного видеозахвата в студии DigiCast в Токио (Япония). Позже, в 2015 году, 8i внесли свой вклад в эту область, а недавно Intel, Microsoft, [5] и Самсунг [6] присоединились к нам, создав собственные этапы захвата для перформанса и фотограмметрии.
Виртуальная реальность [ править ]
По мере того как объемное видео превратилось в коммерчески применимый подход к захвату окружающей среды и производительности, возможность перемещения результатов с шестью степенями свободы и настоящая стереоскопия потребовали нового типа устройства отображения. С появлением потребительской виртуальной реальности в 2016 году благодаря таким устройствам, как Oculus Rift и HTC Vive , это внезапно стало возможным. Стереоскопический просмотр и возможность вращать и двигать головой, а также перемещаться в небольшом пространстве позволяют погрузиться в окружающую среду, выходящую далеко за пределы того, что было возможно в прошлом. Фотографический характер снимков в сочетании с этим погружением и возникающей в результате интерактивностью — это еще один гигантский шаг к тому, чтобы стать Святым Граалем настоящей виртуальной реальности. С ростом видеоконтента в формате 360° растет спрос на захват с 6 степенями свободы , и VR, в частности, стимулирует приложения для этой технологии, постепенно объединяя кино, игры и искусство с областью исследований объемного захвата.
Световые поля [ править ]
Световые поля описывают в данной точке выборки свет, падающий со всех направлений. Затем это используется при постобработке для создания таких эффектов, как глубина резкости , а также позволяет пользователю слегка двигать головой. С 2006 года Lytro создает камеры для потребителей, позволяющие захватывать световые поля. Поля могут быть захвачены камерой изнутри наружу или снаружи внутрь при визуализации трехмерной геометрии, представляя собой огромный объем информации, готовой к манипулированию. В настоящее время скорость передачи данных по-прежнему остается серьезной проблемой, и этот метод имеет большой потенциал на будущее, поскольку он измеряет свет и отображает результат различными способами.
Еще одним побочным продуктом этого метода является достаточно точная карта глубины сцены. Это означает, что каждый пиксель имеет информацию о своем расстоянии от камеры. Facebook использует эту идею в своем семействе камер Surround360 для съемки видео в формате 360°, которое сшивается с помощью карт расстояний. Извлечение этих необработанных данных возможно и позволяет захватить любой этап с высоким разрешением. Опять же, скорость передачи данных в сочетании с точностью карт глубины являются огромными узкими местами, но вскоре они будут преодолены с помощью более совершенных методов оценки глубины, сжатия, а также параметрических световых полей.
Рабочие процессы [ править ]
В настоящее время доступны различные рабочие процессы для создания объемного видео. Они не являются взаимоисключающими и эффективно используются в комбинациях. Вот несколько примеров, которые показывают пару из них:
На основе сетки [ править ]
Этот подход создает более традиционную трехмерную треугольную сетку, аналогичную геометрии, используемой в компьютерных играх и визуальных эффектах. Объем данных обычно меньше, но квантование реальных данных в данные с более низким разрешением ограничивает разрешение и качество изображения. Обычно приходится искать компромисс между плотностью сетки и конечными характеристиками.
Фотограмметрия обычно используется в качестве основы для статических сеток, а затем дополняется захватом талантов с помощью той же базовой технологии видеограмметрии . Для создания окончательного набора треугольников требуется интенсивная очистка. Чтобы выйти за пределы физического мира, можно использовать методы компьютерной графики для дальнейшего улучшения захваченных данных, нанимая художников для создания статической сетки и при необходимости. Воспроизведение обычно обрабатывается движком реального времени и по реализации напоминает традиционный игровой конвейер, позволяя интерактивно изменять освещение, а также творческие и архивируемые способы объединения статических и анимированных сеток.
На основе точек [ править ]
В последнее время внимание сместилось к точечному объемному захвату. Полученные данные представляются в виде точек или частиц в трехмерном пространстве, несущих с собой такие атрибуты, как цвет и размер точки. Это обеспечивает большую плотность информации и контент с более высоким разрешением. Требуемая скорость передачи данных велика, и современное графическое оборудование не оптимизировано для рендеринга, а оптимизировано для конвейера рендеринга на основе сетки.
Основным преимуществом точек является возможность более высокого пространственного разрешения. Точки можно либо разбросать по треугольным сеткам с заранее рассчитанным освещением, либо использовать непосредственно со сканера LIDAR. [7] Производительность талантов фиксируется так же, как и в случае с сеточным подходом, но во время производства можно использовать больше времени и вычислительной мощности для дальнейшего улучшения данных. При воспроизведении «уровень детализации» можно использовать для управления вычислительной нагрузкой на устройстве воспроизведения, увеличивая или уменьшая количество полигонов. [8] Интерактивные изменения освещения сложнее реализовать, поскольку большая часть данных предварительно запечена. Это означает, что, хотя информация об освещении, хранящаяся в точках, очень точна и достоверна, ей не хватает возможности легко изменяться в любой конкретной ситуации. Еще одним преимуществом захвата точек является то, что компьютерную графику можно визуализировать с очень высоким качеством, а также сохранить в виде точек, что открывает возможности для идеального сочетания реальных и воображаемых элементов.
После сбора и генерации данных редактирование и компоновка выполняются в механизме реального времени, соединяя записанные действия, чтобы рассказать намеченную историю. Конечный продукт затем можно просмотреть либо в виде плоской визуализации захваченных данных, либо в интерактивном режиме в гарнитуре VR .
Хотя одна из целей точечного подхода к объемному захвату состоит в потоковой передаче данных о точках из облака пользователю дома, что позволяет создавать и распространять реалистичные виртуальные миры по требованию, вторая цель, которая рассматривалась недавно, могла бы стать реальной. поток данных времени живых событий. Для этого требуется очень высокая пропускная способность, поскольку информация о пикселях включает в себя данные о глубине (т. е. становится вокселами).
Обещания [ править ]
Учитывая общее понимание технологии, в этой главе будут описаны перспективы развития индустрии развлечений и других отраслей, а также потенциал, который эта технология может изменить медиа-ландшафт.
Настоящее погружение [ править ]
По мере того, как объемное видео развивается в глобальный захват, а аппаратное обеспечение дисплея развивается в соответствии с этим, мы вступаем в эпоху настоящего погружения, когда нюансы запечатленной среды в сочетании с нюансами запечатленных выступлений будут передавать эмоциональность в совершенно новой среде, стирая границы между реальными и виртуальные миры. Этот прорыв в мире сенсорных трюков вызовет эволюцию в том, как мы потребляем медиа, и хотя технологии для других чувств, таких как обоняние, обоняние и проприоцепция, все еще находятся на стадии исследований и разработок, однажды в не столь отдаленном будущем мы убедительно отправимся в новые места, как реальные, так и воображаемые. Отрасли туризма и журналистики обретут новую жизнь в возможности безопасно транспортировать зрителя или посетителя в определенное место, в то время как другие отрасли, такие как архитектурная визуализация и гражданское строительство, найдут способы строить целые сооружения и города и исследовать их без необходимости использования одиночный взмах молотка.
Полный захват и повторное использование [ править ]
После того, как захват создан и сохранен, его можно повторно использовать и даже, возможно, переназначить до тошноты для обстоятельств, выходящих за рамки первоначально предусмотренного объема. Создание виртуальной декорации позволяет объемным видеооператорам и кинематографистам создавать истории и планировать кадры без необходимости участия съемочной группы или даже присутствия на самой физической площадке, а правильная визуализация может помочь актеру или исполнителю с комфортом заблокировать сцену или действие. что их практика не идет в ущерб остальной продукции. Старые наборы могут быть записаны в цифровом формате перед тем, как их снести, что позволяет им вечно сохраняться как место, куда можно возвращаться и исследовать в поисках развлечений и вдохновения, а несколько наборов можно скомпоновать таким образом, чтобы сократить циклы итераций дизайна декораций, звука. дизайн, окраска и многие другие аспекты производства.
Традиционные навыки [ править ]
Одной из проблем, вызывающих обеспокоенность в связи с растущей областью объемного захвата, является сокращение спроса на традиционные наборы навыков, такие как моделирование, освещение, анимация и т. д. Однако, хотя в будущем набор ориентированных на производство технологий объемного захвата будет расти и расти, то же самое произойдет и с ним. спрос на традиционные наборы навыков. [ нужна ссылка ]
Объемный захват превосходно подходит для захвата статических данных или предварительно обработанных анимированных кадров. Однако он не может создать воображаемую среду или изначально обеспечить какой-либо уровень интерактивности. Именно здесь квалифицированные художники и разработчики будут пользоваться наибольшим спросом, создавая бесшовные интерактивные события и ресурсы, дополняющие существующие геометрические данные, или используя существующие данные в качестве основы для построения, подобно тому, как цифровой художник может закрашивать базовый рисунок. 3D рендеринг. Ответственность за то, чтобы они использовали инструменты и рабочие процессы, которые лучше всего соответствуют их набору навыков, будет лежать на ремесленниках, но разумные люди обнаружат, что производственный конвейер будущего будет включать в себя множество возможностей для оптимизации создания трудоемких и позволяющих для инвестиций в более масштабные творческие задачи.
Самое главное, что навыки, которые в настоящее время полуустарели благодаря достижениям в области компьютерной графики и автономного рендеринга, снова станут актуальными, поскольку точность таких вещей, как настоящие, созданные вручную декорации, качественные сшитые на заказ костюмы, визуализируемые в виде больших объемов снимков, почти всегда будут гораздо более захватывающий, чем что-либо полностью компьютерное. Объединив эти снимки из реальной жизни с объемными снимками дополнительных элементов компьютерной графики, мы сможем объединить реальную жизнь и наше воображение так, как раньше мы могли делать только на плоском экране, создавая новые поля. в таких областях, как композитинг и визуальные эффекты.
Проблемы [ править ]
Процесс сбора и создания объемных данных полон сложностей и нерешенных проблем. Это следующий шаг в кинематографии, и он сопряжен с проблемами, которые со временем будут устранены.
Визуальный язык [ править ]
Поскольку каждая среда создает свой собственный визуальный язык, правила и творческие подходы, объемное видео все еще находится в зачаточном состоянии. Это можно сравнить с добавлением звука к движущимся изображениям. Необходимо было создать и опробовать новую философию дизайна. В настоящее время язык кино, искусство режиссуры закалено в боях более 100 лет. В интерактивном и нелинейном мире с шестью степенями свободы многие традиционные подходы не могут функционировать. Чем больше опыта создается и анализируется, тем быстрее сообщество сможет прийти к выводу об этом языке опыта.
Нарушение трубопровода [ править ]
Существующие конвейеры и производства видео- и кинопроизводства не готовы просто стать объемными. Каждый шаг в процессе создания фильма должен быть переосмыслен и изобретен заново. Съемка съемочной площадки, руководство талантами на съемочной площадке, монтаж, фотография, рассказывание историй и многое другое — это все области, на которые нужно потратить время, чтобы адаптироваться к объемным рабочим процессам. В настоящее время каждое производство использует различные технологии, а также отрабатывает правила взаимодействия.
Скорость передачи данных [ править ]
Для хранения и воспроизведения захваченных данных потребителю необходимо передать огромные объемы данных. В настоящее время наиболее эффективным способом является создание индивидуальных приложений с последующей доставкой. Пока не существует стандарта, позволяющего генерировать объемное видео и позволяющего просматривать его дома. Сжатие этих данных становится возможным благодаря Группе экспертов по движущимся изображениям, которая ищет разумный способ потоковой передачи данных. Это сделает по-настоящему интерактивные иммерсивные проекты доступными для более эффективного распространения и работы, и их необходимо решить до того, как эта среда станет мейнстримом.
Будущие приложения [ править ]
Помимо применения в сфере развлечений, несколько других отраслей проявили интерес к съемке сцен с подробностями, описанными выше. Спортивные мероприятия получили бы большую пользу от подробного воспроизведения состояния игры. Это уже происходит в американском футболе и бейсболе, а также в британском футболе. [9] Эти повторы на 360° позволят зрителям в будущем анализировать матч с разных точек зрения.
Документирование мест исторических событий, запечатленных вживую или воссозданных, принесет большую пользу образовательному сектору. Виртуальные лекции, изображающие крупные события в истории с иммерсивным компонентом, помогут будущим поколениям представить себе пространства и совместно изучать события. Это можно абстрагировать и использовать для визуализации микромасштабных сценариев на клеточном уровне, а также эпических событий, изменивших ход человеческого эксперимента. Основное преимущество заключается в том, что виртуальные экскурсии — это демократизация высококлассных образовательных сценариев. Возможность принять участие в посещении музея без необходимости физического присутствия позволяет привлечь более широкую аудиторию, а также позволяет учреждениям демонстрировать весь свой инвентарь, а не тот подраздел, который выставлен в данный момент.
Недвижимость и туризм могут точно определить направления и сделать индустрию розничной торговли более индивидуальной для каждого человека. Для обуви уже был снят товар, а для визуализации этого в магазинах можно использовать волшебные зеркала. Торговые центры начали использовать эту возможность, чтобы вновь наполнить их, привлекая клиентов с помощью VR-аркад, а также виртуально представляя товары.
Ссылки [ править ]
- ^ Витторио Феррари; Марсьяль Эбер; Кристиан Сминчишеску; Яир Вайс (2018). Компьютерное зрение — ECCV 2018: 15-я Европейская конференция, Мюнхен, Германия, 8–14 сентября 2018 г., Материалы . Спрингер. стр. 351–. ISBN 978-3-030-01270-0 .
- ^ «Мастерская по RGBDToolkit» . Глазной луч . Проверено 6 августа 2019 г.
- ^ «Анонсируем поддержку Azure Kinect в Depthkit!» . www.deepkit.tv . Проверено 6 августа 2019 г.
- ^ "Дом" . 4dviews.com .
- ^ «Вдохните жизнь в смешанную реальность в студии Mixed Reality Capture Studios» . Майкрософт . 7 августа 2023 г.
- ^ «Самсунг ХОЛОЛАБ» . 7 ноября 2018 г.
- ^ «Аспектное 3D объемное видео» . Припасы пятого уровня . Проверено 23 июня 2020 г.
- ^ «Волограммная технология» . Волограммы . Проверено 23 июня 2020 г.
- ^ «Арсенал», «Ливерпуль» и «Манчестер Сити» дарят болельщикам захватывающие впечатления с помощью Intel True View» .
Список опыта, способствующего [ править ]
- Карточный домик, Radiohead, Музыкальное видео
- Carne Y Arena, Алехандро Г. Иньярриту, Художественная выставка LACMA
- «Бегущий по лезвию 2049: Лаборатория памяти, опыт виртуальной реальности» (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
- Уильям Патрик Корган: Аэронавт, опыт виртуальной реальности и музыкальное видео (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
- «Пробуждение: Эпизод первый» , Start VR и Animal Logic, интерактивный кинематографический опыт виртуальной реальности (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
