Кинематографическая виртуальная реальность
Кинематографическая виртуальная реальность ( Cine-VR ) — это захватывающий опыт, при котором аудитория может смотреть вокруг на 360 градусов, слушая пространственный звук, специально созданный для того, чтобы укрепить веру в то, что аудитория на самом деле находится в виртуальной среде, а не смотрит ее на двухмерном экране. . [1] Cine-VR отличается от традиционной виртуальной реальности, в которой используются компьютерные миры и персонажи, более похожие на интерактивные игровые движки, в то время как Cine-VR использует живые изображения, снятые камерой, что делает их более похожими на фильм. [2]
Когда рассказчики начали работать в кино-VR, они применяли многие из одних и тех же правил кинематографического повествования, но технология продемонстрировала, что VR может предложить различные возможности, выходящие за рамки «традиционного» кино, которое потребует новых методов и практик. [3] Харрисон Вебер, журналист Venturebeat , описал Cine-VR следующим образом: «Это очень похоже на кино, только оно помещает зрителя в вашу историю. С его помощью вы можете создавать целые миры для своей аудитории, но ни одно из первоначальных правил кино не применимо». . Как вы создаете свое искусство, когда все ваши инструменты изменились?» [4]
Лаборатория технологий человеческого интерфейса (HIT) в Университете Кентербери отличает кино-VR от другого контента, созданного с помощью 360-градусных камер, на основе контента, сравнивая приставку «кинематографический» с приставкой «повествование». HIT Lab требует, чтобы кинематографическая виртуальная реальность была «основана на повествовании, а не просто для новизны, развлечения, исследования и т. д.»; Опыт кино-VR может быть драмой, документальным фильмом или гибридом, если история содержит начало, середину и конец. [5] По данным лаборатории исследований игр и иммерсивного дизайна (GRID) Университета Огайо, проект Cine-VR отличается от 360-градусного видео использованием таких методов кинематографического производства, как световой дизайн , звуковой дизайн , сценический дизайн и методы блокировки (последние два в случае драматического произведения). [6]
Понятия « погружение » и « присутствие » являются центральными в кино-VR. [7] Термин «присутствие» определяется как «ощущение присутствия». [8] и описывается как «ощущение фактического присутствия в истории, а не переживания ее со стороны». [9] Ученый Кристиан Рот отличает погружение от присутствия, определяя погружение как объективный критерий, который зависит от аппаратного и программного обеспечения, в то время как присутствие определяется как более субъективное, психологическое ощущение пребывания в окружающей среде, на которое в основном влияет содержание этого мира (например, история , персонажи и локация). [10] Погружение можно рассматривать как качество среды, в данном случае опыта кинематографической виртуальной реальности, тогда как присутствие является характеристикой пользовательского опыта; следовательно, более глубокое погружение может привести к более глубокому присутствию или привести к нему. [11] Погружение имеет объективные компоненты, которые можно улучшить с помощью технических соображений, таких как качество изображения и качество звука, в то время как на присутствие влияют субъективные различия отдельных пользователей, но ему способствуют технические аспекты, способствующие погружению. [12]
Cine-VR обеспечивает более фотореалистичный пользовательский опыт, чем традиционная виртуальная реальность, но современные технологии не позволяют аудитории перемещаться в видео. В некотором смысле, Cine-VR — это компромисс, поскольку полностью компьютерная виртуальная реальность выглядит менее реалистично, чем Cine-VR, но более интерактивна. [12] Возможность осмотра пространства виртуальной реальности известна как три степени свободы (3 степени свободы), а возможность передвигаться внутри виртуальной среды известна как шесть степеней свободы ( 6 степеней свободы ). 6 ГРИП в идеале должны усиливать ощущение присутствия пользователя. [7] 3 степени свободы в Cine-VR определяются как рыскание (поворот головы влево или вправо), наклон (наклон головы вверх или вниз) и крен (наклон головы по оси вверх ногами или вправо). [3] Поскольку просмотр истории с использованием 3-степени резкости сильно отличается от просмотра традиционного фильма, телешоу или спектакля, рассказчики осознали необходимость разработки нового творческого языка для кинематографической виртуальной реальности. [13] Ключевым элементом, который отличает кино от кинематографической виртуальной реальности, является новая роль аудитории. С технологической точки зрения это требует от рассказчика принятия концепции погружения. [3]
Благодаря возможности использовать 3 DOF зрители Cine-VR могут свободно выбирать направление просмотра, когда они просматривают историю. Поэтому традиционные методы кинопроизводства для управления вниманием зрителей использовать нельзя: такие методы, как панорамирование камеры или съемка крупным планом, больше не доступны режиссеру; вместо этого зритель решает, куда смотреть. [14] Впоследствии в Cine-VR рассказчику приходится больше полагаться на освещение, звуковое оформление и то, как расположены персонажи и декорации, чтобы лучше всего рассказать историю. [13] Известные кинематографисты пытались сделать это, по крайней мере, с середины 2010-х годов, когда Кэтрин Бигелоу срежиссировала кино-VR-фильм «Защитники» (2016), Дуг Лайман снял «Невидимый» (2017), а Алехандро Гонсалес Иньярриту дебютировал в «Carne y Arena / Flesh & Sand». на Каннском кинофестивале в 2017 году. [2]
Оборудование [ править ]
Камеры [ править ]
Для создания изображений Cine-VR можно использовать различные камеры, в том числе традиционные кинокамеры в сочетании с панорамной головкой штатива. Чаще всего используются камеры с обзором 360°, позволяющие рассказчику одновременно захватить всё пространство на 360°. Камеры 360° используют несколько комбинаций объективов для одновременного захвата всех частей изображения 360°. Эти разрозненные изображения затем объединяются в одно панорамное изображение на 360° с помощью процесса, называемого «сшивание». Если одна линза смотрит в одном направлении, изображение называется моноскопическим. Если для одного направления используются две линзы, изображение называется стереоскопическим. [15]
Стереоскопическое изображение создает 3D-эффект. Этот метод использует разницу параллакса между несколькими объективами для достижения иллюзии глубины. Стереоскопический контент обычно содержится в одном медиафайле, при этом изображения располагаются друг над другом и под друг другом или рядом друг с другом. [7]
Амбисонические микрофоны [ править ]
Ambisonics — это метод записи, микширования и воспроизведения звука на 360 градусов. Он был изобретен в 1970-х годах, но так и не был коммерчески принят до развития индустрии виртуальной реальности (включая киноVR), которая требует, чтобы звук на 360° соответствовал 360° изображениям. [16] Аудиодизайнер Саймон Гудвин описывает амбисонику как «обобщенный способ представления звукового поля — распределение звуков со всех сторон вокруг слушателя». [17] Аудио Ambisonic воссоздает звуковое поле сферически и уникально подходит для приложений виртуальной реальности, поскольку обеспечивает вариации аудиосигналов с отслеживанием движения и позволяет располагать звуки в любом месте вокруг пользователя — вверх/вниз, спереди/сзади, слева/справа. При правильной реализации звук Ambisonic позволяет пользователям перемещать голову и тело в звуковом поле так же, как они могли бы поворачиваться в поисках источника звука в реальной жизни. Когда пользователи оглядываются вокруг, гарнитура отслеживает движение, чтобы изменить направление и качество звука. [7]
Необходимы методы Ambisonic, которые направляют внимание зрителя Cine-VR на важную визуальную информацию в сцене. Управление вниманием с помощью ambisonics улучшает общее впечатление от просмотра, поскольку зрители будут меньше бояться что-то пропустить при просмотре сюжета в формате Cine-VR. [14] Уровень звукового реализма достигается за счет объединения амбизонных записей окружающей среды с диалогами, записанными через традиционный микрофон (обычно петличный ), а также добавленными звуковыми эффектами, созданными с помощью работы Фоли . Звук Ambisonic в сочетании с традиционными микрофонами и звуковыми эффектами играет важную роль в создании ощущения погружения для пользователя. [18]
Головные дисплеи [ править ]
В идеале Cine-VR следует воспроизводить на головном дисплее (или HMD) с наушниками. В такой гарнитуре большинство окружающих отвлекающих факторов визуально блокируются. HMD имеют встроенные аппаратные датчики, называемые гироскопами и акселерометрами, которые перемещают изображения синхронно с движениями головы аудитории. Гироскопы отслеживают, насколько сильно что-то наклоняется, и помогают сгладить графическое воспроизведение, чтобы предотвратить тряску видео. Акселерометры измеряют фактическое движение в пространстве. Комбинация этих двух функций позволяет точно отслеживать положение и ориентацию устройства. Наряду с оптическим или инфракрасным отслеживанием гироскопы и акселерометры являются неотъемлемой частью возможностей отслеживания VR-гарнитур и увеличивают погружение. [19] В отличие от других сред, «погружение» по-прежнему остается основной эмпирической ценностью, которую отмечают эксперты в кино-VR. Это достигается в первую очередь за счет наголовных дисплеев, используемых для просмотра его содержимого. [3]
По словам Джона Боудича, директора лаборатории GRID Университета Огайо, «индустрия виртуальной реальности имеет тенденцию к использованию беспроводных шлемов виртуальной реальности из-за потребительского спроса и простоты использования; однако общее качество в настоящее время не соответствует производительности гарнитур, подключенных к ПК. Некоторые беспроводные устройства гарнитуры поддерживают проводное соединение с компьютерами (обычно с помощью USB-кабеля) для более требовательных к процессору приложений. Беспроводные гарнитуры, как правило, дешевле, поскольку для их работы не требуется ПК. Большинство беспроводных гарнитур можно первоначально настроить с помощью смартфона, а затем работать независимо. путем загрузки или потоковой передачи контента через соединение Wi-Fi. Беспроводные гарнитуры, как правило, более удобны, их легче транспортировать, и они хорошо работают как сидя, так и стоя. Большинство фильмов Cine-VR воспроизводятся либо сидя, либо стоя, и не требуют ходьбы. Вращающиеся офисные стулья, которые легко вращаются на 360°, — наша любимая мебель. Однако можно использовать любую мебель, которая не ограничивает движения вашей аудитории». [20]
См. также [ править ]
- Развлекательные технологии
- Расширенная реальность
- Погружение (виртуальная реальность)
- Метавселенная
- Виртуальное производство на съемочной площадке
Ссылки [ править ]
- ^ Матер, Джон (2 января 2017 г.). «Режиссура кинематографической виртуальной реальности: как традиционное режиссерское ремесло применяется к иммерсивной среде и понятиям присутствия» (PDF) . Журнал медиапрактики . 18 (1): 14–25. дои : 10.1080/14682753.2017.1305838 . S2CID 149242071 .
- ↑ Перейти обратно: Перейти обратно: а б Росс, Мириам; Мунт, Алекс (1 июня 2018 г.). «Кинематографическая виртуальная реальность: на пути к пространственному сценарию». Журнал сценарного мастерства . 9 (2): 191–209. дои : 10.1386/josc.9.2.191_1 . hdl : 10453/127306 . S2CID 191658470 .
- ↑ Перейти обратно: Перейти обратно: а б с д Перес, Хулия Мартинес (2016). Кинематографическая виртуальная реальность: предложение по определению и классификации (PDF) (Диссертация). S2CID 54916725 .
- ^ Харрисон Вебер. 2016. «Как кинематографисты изобретают язык виртуальной реальности». https://venturebeat.com/2016/05/04/how-filmmakersare-inventing-the-language-of-vr/ Проверено 2 января 2022 г.
- ^ Тонг, Линвэй; Линдеман, Роберт В.; Регенбрехт, Хольгер (18 мая 2021 г.). «Роль зрителя и взаимодействие зрителя в кинематографической виртуальной реальности» . Компьютеры . 10 (5): 66. doi : 10.3390/computers10050066 .
- ^ Уильямс, Эрик Р.; С любовью, Кэрри; С любовью, Мэтт; Дурадо, Адонис (2021). «Кино-VR: новая среда». Кинотеатр виртуальной реальности . стр. 1–19. дои : 10.4324/9781003028284-1 . ISBN 978-1-00-302828-4 . S2CID 234089129 .
- ↑ Перейти обратно: Перейти обратно: а б с д С любовью, Мэтт; Линскотт, Чарльз П. («Чип») (2021). «Обзор производства Cine-VR». Сила кино виртуальной реальности для медицинского обучения . стр. 11–20. дои : 10.4324/9781003168683-2 . ISBN 978-1-00-316868-3 . S2CID 238655342 .
- ^ Рива, Джузеппе; Мантовани, Фабриция; Капидевиль, Кларет Саманта; Прелесть, Алессандра; Морганти, Франческа; Виллани, Даниэла; Гаджиоли, Андреа; Ботелла, Кристина; Альканьис, Мариано (1 февраля 2007 г.). «Аффективное взаимодействие с использованием виртуальной реальности: связь между присутствием и эмоциями». Киберпсихология и поведение . 10 (1): 45–56. дои : 10.1089/cpb.2006.9993 . ПМИД 17305448 .
- ^ Хенриксон, Рорик; Араужо, Бруно; Шевалье, Фанни; Сингх, Каран; Балакришнан, Рэвин (2016). «Раскадровки для нескольких устройств для кинематографических повествований в виртуальной реальности». Материалы 29-го ежегодного симпозиума по программному обеспечению и технологиям пользовательского интерфейса (PDF) . стр. 787–796. дои : 10.1145/2984511.2984539 . ISBN 978-1-4503-4189-9 . S2CID 16214242 .
- ^ Рот, PCH (2016). Опыт интерактивного рассказывания историй (Диссертация). hdl : 1871/53840 .
- ^ Восмеер, Мирьям; Схаутен, Бен (14 июня 2017 г.). «Проект Орфей: исследование кинематографической виртуальной реальности на 360 °». Материалы Международной конференции ACM 2017 по интерактивному опыту для телевидения и онлайн-видео . стр. 85–90. дои : 10.1145/3077548.3077559 . ISBN 978-1-4503-4529-3 . S2CID 24856146 .
- ↑ Перейти обратно: Перейти обратно: а б «Погружение, присутствие и компромиссы с реальностью» . Книга VR . 2015. стр. 45–52. дои : 10.1145/2792790.2792796 . ISBN 978-1-970001-12-9 .
- ↑ Перейти обратно: Перейти обратно: а б Кобылинский, Павел; Похватко, Гжегож (2020). «Обнаружение сильных и слабых моментов в повествовании кинематографической виртуальной реальности с использованием 3D-отслеживания глаз» (PDF) . ACHI 2020, Тринадцатая международная конференция по достижениям в области взаимодействия компьютера и человека . стр. 280–284. ISBN 978-1-61208-761-0 .
- ↑ Перейти обратно: Перейти обратно: а б Роте, Сильвия; Бушек, Дэниел; Хуссманн, Генрих (19 марта 2019 г.). «Руководство по таксономии кинематографической виртуальной реальности, статусу исследований и проблемам» . Мультимодальные технологии и взаимодействие . 3 (1): 19. дои : 10.3390/mti3010019 .
- ^ Уильямс, Эрик Р.; С любовью, Кэрри; С любовью, Мэтт; Дурадо, Адонис (2021). «Съемка и монтаж в кино-VR». Кинотеатр виртуальной реальности . стр. 77–93. дои : 10.4324/9781003028284-5 . ISBN 978-1-00-302828-4 . S2CID 234090868 .
- ^ «Объяснение амбисоники: Руководство для звукорежиссеров: Волны». wave.com, 10 октября 2017 г. https://www.waves.com/ambisonics-explained-guide-for-sound-engineers .
- ^ Гудвин, Саймон Н. (2019). Звуковой сигнал: разработка передовых звуковых систем во время выполнения для игр и расширенной реальности . Рутледж. ISBN 978-1-351-00552-4 . [ нужна страница ]
- ^ Линскотт, Чарльз «Чип» (2021). «Аудио для Cine-VR». Сила кино виртуальной реальности для медицинского обучения . стр. 121–130. дои : 10.4324/9781003168683-12 . ISBN 978-1-00-316868-3 . S2CID 238675063 .
- ^ Боудич, Джон (2021). «Модели распространения». Сила кино виртуальной реальности для медицинского обучения . стр. 217–226. дои : 10.4324/9781003168683-21 . ISBN 978-1-00-316868-3 . S2CID 243419839 .
- ^ Боудич, Джон; С любовью, Мэтт (2021). «Выбор камеры и наголовных дисплеев». Сила кино виртуальной реальности для медицинского обучения . стр. 65–74. дои : 10.4324/9781003168683-7 . ISBN 978-1-00-316868-3 . S2CID 238697118 .