Бесплатное телевидение со смотровой площадкой

Телевидение с бесплатной точкой обзора ( FTV ) — это система просмотра естественного видео, позволяющая пользователю интерактивно управлять точкой обзора и создавать новые виды динамической сцены из любой трехмерной позиции. ^[1]Эквивалентная система компьютерного моделирования видео известна как виртуальная реальность . Благодаря FTV фокусом внимания могут управлять зрители, а не режиссер, а это означает, что каждый зритель может наблюдать уникальную точку зрения. Еще неизвестно, как FTV повлияет на просмотр телевидения как на групповую деятельность.

История

Системы рендеринга произвольных видов природных сцен хорошо известны в сообществе компьютерного зрения уже давно, но только в последние годы. ^{[ когда? ]} имеет скорость и качество, достигшие уровня, который подходит для серьезного рассмотрения в качестве системы конечного пользователя. ^{[ нужна ссылка ]}

Профессор Масаюки Танимото из Университета Нагои (Япония) много сделал для популяризации термина «телевидение со свободной точкой обзора» и опубликовал множество статей по представлению лучевого пространства . ^{[ нужна ссылка ]}^{[ нужны разъяснения ]} хотя для FTV могут использоваться и другие методы.

QuickTime VR можно считать предшественником FTV. ^{[ нужна ссылка ]}

Захват и отображение

Чтобы получить виды, необходимые для высококачественной визуализации сцены под любым углом, вокруг сцены размещается несколько камер; либо в студии, либо на открытом воздухе, например, на спортивной арене. Выходное многовидовое видео (MVV) затем должно быть соответствующим образом упаковано, чтобы данные можно было сжимать, а также чтобы устройство просмотра пользователей могло легко получить доступ к соответствующим представлениям для интерполяции новых представлений. ^{[ нужна ссылка ]}

Недостаточно просто разместить камеры вокруг сцены, которую нужно захватить. Геометрию установленной камеры необходимо измерить с помощью процесса, известного в компьютерном зрении как «калибровка камеры». ^{[ нужна ссылка ]} Ручное выравнивание было бы слишком обременительным, поэтому обычно перед получением тестового шаблона, который используется для генерации параметров калибровки, выполняется «максимальное» выравнивание.

Телевизионные изображения с ограниченной свободной точкой обзора для больших площадей могут быть сняты с помощью системы камер с одной локацией, установленной на движущейся платформе. ^{[ нужна ссылка ]} Также необходимо получить данные о глубине, что необходимо для создания свободной точки обзора. Система захвата Google Street View является примером ограниченной функциональности. Первая полная коммерческая реализация iFlex была реализована в 2009 году компанией Real Time Race . ^[2]

Захват многоракурсного видео варьируется от частичного (обычно около 30 градусов) до полного (360 градусов) охвата сцены. Следовательно, можно выводить стереоскопические изображения, подходящие для просмотра на 3D-дисплее или других 3D-методах. Системы с большим количеством физических камер могут захватывать изображения с более широким охватом видимой сцены, однако вполне вероятно, что определенные области всегда будут закрыты с любой точки обзора. Большее количество камер должно позволить получить высококачественный результат, поскольку требуется меньше интерполяции.

Больше камер означает, что требуется эффективное кодирование многоракурсного видео. Возможно, это не такой уж большой недостаток, поскольку существуют представления, позволяющие убрать избыточность в MVV; например, кодирование интерпросмотра с использованием MPEG-4 или многовидового кодирования видео , представление лучевого пространства , геометрическое видео, ^[3]^{[ нужны разъяснения ]} и т. д.

Что касается аппаратного обеспечения, пользователю требуется устройство просмотра, которое может декодировать MVV и синтезировать новые точки обзора, а также 2D- или 3D-дисплей.

Стандартизация

Группа экспертов по движущимся изображениям (MPEG) нормализовала Приложение H к MPEG-4 AVC в марте 2009 года под названием «Кодирование многовидового видео» после работы группы под названием «3DAV» (3D Audio and Visual) под руководством Алеши Смолича. ^[4] в Институте Генриха-Герца .

См. также

Ссылки

^ Танимото, Масаюки. « FTV (телевидение со свободным обзором) ». Транзакции APSIPA по обработке сигналов и информации 1 (2012).
^ «Гонки в реальном времени | Автомобильные новости» . Diseno-art.com. 02.11.2009. Архивировано из оригинала 17 апреля 2011 г. Проверено 13 сентября 2010 г.
^ «Видео о геометрии: новое представление 3D-анимации» . Проверено 8 декабря 2016 г.
^ «Дом Йоши (Алёша Смолич)» . Iphome.hhi.de. Архивировано из оригинала 26 ноября 2009 г. Проверено 13 сентября 2010 г.

Библиография

Карранса, Джоэл; Теобальт, Кристиан; Магнор, Маркус А.; Зайдель, Ханс-Петер (июль 2003 г.). «Видео с участием актеров со свободной точки зрения» (PDF) . Транзакции ACM с графикой . 22 (3). АКМ : 569–577. дои : 10.1145/882262.882309 .

Внешние ссылки

21 сентября 2017 года компания Canon объявила о разработке телевизионной системы Free Viewpoint , которая будет представлена на выставке Inter BEE 2017.
iview — это британский проект DTI между BBC , Snell & Wilcox и Университетом Суррея по разработке системы FTV.
Eye Vision — это система, разработанная профессором Такео Канаде из CMU для освещения Суперкубка XXXV на канале CBS . Пользователь не может изменить точку обзора, но оператор камеры может выбрать любую виртуальную точку обзора, синтезируя изображения из активной системы технического зрения.
Replay Technologies, заархивированная 8 июля 2018 г. на Wayback Machine, создала первую в мире 3D-реконструкцию в прямом эфире во время Олимпийских игр 2012 года в Лондоне; их веб-сайт теперь, кажется, указывает на Intel freeD 360 Replay

[1] Танимото, Масаюки. « FTV (телевидение со свободным обзором) ». Транзакции APSIPA по обработке сигналов и информации 1 (2012).

[2] «Гонки в реальном времени | Автомобильные новости» . Diseno-art.com. 02.11.2009. Архивировано из оригинала 17 апреля 2011 г. Проверено 13 сентября 2010 г.

[3] «Видео о геометрии: новое представление 3D-анимации» . Проверено 8 декабря 2016 г.

[4] «Дом Йоши (Алёша Смолич)» . Iphome.hhi.de. Архивировано из оригинала 26 ноября 2009 г. Проверено 13 сентября 2010 г.

[1]

[2]

[3]

[4]