Многоракурсное видеокодирование
 | В этой статье есть несколько проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти шаблонные сообщения )
|
Multi View Video Coding ( MVC , также известный как MVC 3D ) — это стандарт кодирования стереоскопического видео для сжатия видео , который позволяет кодировать видеопоследовательности, снятые одновременно с нескольких ракурсов камеры, в одном видеопотоке. [1] Он использует метод 2D плюс Delta и является поправкой к стандарту сжатия видео H.264 (MPEG-4 AVC) , разработанному совместно MPEG и VCEG . [2] при участии ряда компаний, в первую очередь Panasonic и LG Electronics . [3]
Форматирование MVC предназначено для кодирования стереоскопического (двухракурсного) 3D-видео , а также телевидения со свободной точкой обзора и многоракурсного 3D-телевидения . Профиль Stereo High был стандартизирован в июне 2009 года; профиль основан на наборе инструментов MVC и используется в стереоскопических выпусках Blu-ray 3D . [4]
Технический обзор
[ редактировать ]MVC основан на идее, что видеозаписи одной и той же сцены с разных ракурсов имеют много общих элементов. Можно закодировать все одновременные кадры, захваченные в одном элементарном потоке , и распределить как можно больше информации по разным уровням. Это может уменьшить размер закодированного видео. [5] [6]
Многоракурсное видео содержит большое количество статистических зависимостей между просмотрами, поскольку все камеры снимают одну и ту же сцену с разных точек обзора. Следовательно, комбинированное временное и межвидовое предсказание важно для эффективного кодирования MVC. Кадр с определенной камеры можно предсказать не только по связанным во времени кадрам с этой же камеры, но и по кадрам соседних камер. Эти взаимозависимости можно использовать для эффективного прогнозирования. [7] [8] [9]
Этот метод используется при многоракурсном видеокодировании для фильмов Blu-ray 3D и известен как алгоритм 2D плюс Delta, а сама спецификация MVC является частью стандарта H.264 в качестве поправки к H.264 «Приложение H» спецификация. [10]
Поддержка открытого исходного кода в основном отсутствует
[ редактировать ] | В этом разделе может содержаться информация, не важная и не относящаяся к теме статьи. ( декабрь 2020 г. ) |
По состоянию на апрель 2015 года не существует бесплатного программного обеспечения с открытым исходным кодом , поддерживающего программное декодирование стандарта сжатия видео MVC. [11] Популярные декодеры H.264 и HEVC (H.265) с открытым исходным кодом , например те, которые используются в библиотеках FFmpeg и Libav , просто игнорируют второе представление и, таким образом, не отображают второе представление для стереоскопических представлений. В большинстве случаев причина отсутствия этой поддержки заключается в том, что MVC не учитывался при написании исходного кода ядра декодеров H.264 и HEVC. Более поздние поправки, как таковые, часто будут означать большую предварительную работу по рефакторингу кода и большие изменения в его текущей архитектуре, с основной работой по распутыванию и переупорядочению некоторого кода, а также разделению различных функций в существующем коде декодера на более мелкие фрагменты для более простой обработки, а затем создания такие поправки, как MVC, легче добавлять. [12]
некоторая работа по проверке концепции Однако в прошлом уже проводилась , но она так и не вошла в состав официальных выпусков FFmpeg или Libav . [13] [14]
8 марта 2016 года ситуация улучшилась. Версия 0.68 коллекции DirectShow Media Splitter and Decoders LAV Filters [15] был выпущен разработчиком Nevcairiel (который также работает над Media Player Classic — Home Cinema ( MPC-HC )) с поддержкой демультиплексирования и декодирования H.264 MVC 3D. С помощью этого релиза и FRIM [16] написан программистом по имени «videohelp3d» [17] можно написать сценарий AviSynth для предварительной обработки 3D-видеоклипа H.264 MVC, который затем можно открыть с помощью бесплатного 3D-видеоплеера Bino. [18] а затем отображается как красный — например, голубое анаглифное видео. [11]
Использование плагина FRIM AviSynth (FRIMSource) описано на домашней странице «videohelp3d». Фильтры LAV можно использовать для получения звука из 3D-видеоклипа H.264 MVC. Разработчик [19] сообщил, что в будущем выпуске LAV Video, возможно, будет напрямую отображать видео в режиме Side-by-Side. [20]
Обладатели патентов
[ редактировать ]Следующие организации владеют патентами , которые способствовали развитию технологии MVC, внесенными в патентный пул MPEG LA . [21]
| Организация [22] | Действующие патенты | Патенты с истекшим сроком действия | Всего патентов [3] |
|---|---|---|---|
| Панасоник | 607 | 41 | 648 |
| LG Электроникс | 85 | 2 | 87 |
| Долби Лаборатории | 77 | 3 | 80 |
| Фраунгофера | 65 | 0 | 65 |
| Фуджицу | 59 | 3 | 62 |
| Митсубиси Электрик | 28 | 21 | 49 |
| GE | 31 | 0 | 31 |
| ООО «Тагиван II» | 27 | 0 | 27 |
| Сименс | 14 | 9 | 23 |
| Колумбийский университет | 0 | 17 | 17 |
| Макселл | 14 | 0 | 14 |
| Томсон Лицензирование | 0 | 14 | 14 |
| Роял КПН НВ1 | 0 | 13 | 13 |
| Ниппонский телеграф и телефон | 8 | 0 | 8 |
| НТТ Докомо | 6 | 0 | 6 |
| Сони | 5 | 0 | 5 |
| Научно-исследовательский институт электроники и телекоммуникаций | 2 | 1 | 3 |
| HP Inc. | 0 | 1 | 1 |
См. также
[ редактировать ]- 2D плюс Дельта
- 2D плюс глубина
- Стереоскопическое видеокодирование
- Digital 3D
- Стереоскопический
- ТДВижн
- 3D-телевидение
- 3D-дисплей
- 3-D фильм
- Перекрестные помехи
- Стереоскопия
- 3D Blu-ray Disc
- Список 3D-фильмов
Ссылки
[ редактировать ]- ^ https://research.nokia.com/page/4988. Архивировано 16 июля 2015 г. на Wayback Machine Mobile 3D-видео.
- ^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 19 июля 2011 года . Проверено 13 января 2011 г.
{{cite web}}: CS1 maint: архивная копия в заголовке ( ссылка ) 3DTV ДОМА: СТАТУС, ПРОБЛЕМЫ И РЕШЕНИЯ ДЛЯ ПРЕДОСТАВЛЕНИЯ ВЫСОКОКАЧЕСТВЕННОГО ОПЫТА - ^ Перейти обратно: а б «Список патентов MVC» (PDF) . MPEG Лос-Анджелес . Проверено 11 июля 2019 г.
- ^ «mpeg4-mvc — Блог 3D Vision» . Проверено 8 марта 2023 г.
- ^ https://wiki.libav.org/Blueprint/MultiAVFrame Схема Libav MultiAVFrame
- ^ Эйсселстейн, Вейнанд А.; Сюнтьенс, Питер Дж. Х.; Мистерс, Лидия MJ (3 января 2006 г.). «Человеческий фактор 3D-дисплеев». 3D видеосвязь . Чичестер, Великобритания: John Wiley & Sons, Ltd. стр. 217–233. дои : 10.1002/0470022736.ch12 . ISBN 978-0-470-02273-3 .
- ^ MPEG - Технологии - Введение в кодирование многовидового видео
- ^ http://vision.princeton.edu/projects/2008/ECCV_stereo/paper_low-res.pdf Изучение стереосопоставления двух изображений
- ^ http://cs.nyu.edu/~fergus/teaching/vision_2012/6_Multiview_SfM.pdf Лекция 6: Многоракурсное стерео и структура из движения
- ^ http://www.itu.int/rec/T-REC-H.264 H.264: Расширенное кодирование видео для общих аудиовизуальных услуг.
- ^ Перейти обратно: а б Хо, Йо-Сон; О, Кван-Юнг (2007). «Обзор многоракурсного видеокодирования». 2007 г. 14-й международный семинар по системам, сигналам и обработке изображений и 6-я конференция EURASIP, посвященная обработке речи и изображений, мультимедийным коммуникациям и услугам . стр. 5–12. дои : 10.1109/IWSSIP.2007.4381085 . ISBN 978-961-248-036-3 . S2CID 453153 .
- ^ blogs.gentoo.org/lu_zero/2014/04/04/the-road-to-mvc/ Дорога к MVC
- ^ http://www.nt.uni-saarland.de/fileadmin/file_uploads/theses/master/Optimized_implementation_of_a_MVC_decoder.pdf . Архивировано 4 марта 2016 г. в Wayback Machine. Йохен Бритц - Оптимизированная реализация декодера MVC - Магистерская диссертация в области компьютеров и коммуникаций. Технология
- ^ https://github.com/Britz/FFmpeg Britz – Что касается моей магистерской диссертации, я работаю над реализацией H.264 MVC в libvacodec на основе H.264 Приложение H.
- ^ https://github.com/Nevcairiel/LAVFilters Репозиторий GitHub проекта LAV Filters Проверено 30 марта 2016 г.
- ^ http://www.videohelp.com/software/FRIM Страница загрузки Videohelp Проверено 30 марта 2016 г.
- ^ http://forum.doom9.org/showthread.php?t=169651 страница разработчиков "videohelp3d". Проверено 30 марта 2016 г.
- ^ http://bino3d.org/index.html Домашняя страница Bino — бесплатного 3D-видеоплеера. Проверено 30 марта 2016 г.
- ^ http://forum.doom9.org/showthread.php?t=156191&page=1029 Страница разработчиков "Nevcairiel" (внизу страницы). Проверено 30 марта 2016 г.
- ^ CrendKing (10 февраля 2022 г.), AviSynth Filter и VapourSynth Filter , получено 10 февраля 2022 г.
- ^ «СМИ: Лицензионные программы» . MPEG Лос-Анджелес . Проверено 10 февраля 2022 г.
- ^ «Лицензиары, включенные в лицензию на патентный портфель MVC» . MPEG Лос-Анджелес . Проверено 11 июля 2019 г.
Внешние ссылки
[ редактировать ]- Mitsubishi Electric Research Laboratories – проект кодирования многовидового видео
- MPEG – Технологии – Введение в кодирование многовидового видео
- MPEG - Технологии - Введение в 3D-видео. Архивировано 13 января 2010 г. на Wayback Machine.
- MPEG - Visions - 3D Video Vision. Архивировано 16 января 2010 г. на Wayback Machine.
- Исследовательский центр Nokia – проект мобильного 3D-видео и исходный код MVC
- NetBlender — решение для кодирования MVC для создания 3D Blu-ray
- TDVision Systems, Inc – патенты на стереоскопическое декодирование: