Видео матирование

Видеоматирование — это метод разделения видео на два или более слоев, обычно переднего плана и фона, и создания альфа-матирования , определяющего смешивание слоев. Этот метод очень популярен при монтаже видео , поскольку позволяет заменять фон или обрабатывать слои по отдельности.

Видео методы матирования

Определение проблемы

При объединении двух изображений используется альфа-подложка , также известная как карта прозрачности. В случае цифрового видео альфа-подложка представляет собой последовательность изображений. Подложка может служить бинарной маской, определяющей видимые части изображения. В более сложном случае это обеспечивает плавное смешивание изображений, альфа-подложка используется в качестве карты прозрачности верхнего изображения. известно В кинопроизводстве альфа-матирование с самого зарождения кинопроизводства. Маты были нарисованы вручную. Сегодня этот процесс можно автоматизировать с помощью компьютерных алгоритмов.

Слева направо: входное изображение, фон, передний план и альфа-подложка.

Основная проблема матирования определяется следующим образом: задано изображение $I$ , вычислить передний план $F$ , фон $B$ и альфа-матовый $A$ , такой, что уравнение $I=AF+(1-A)B$ соответствует действительности. Это уравнение имеет тривиальное решение $A=1$ , $F=I$ , $B$ это любое изображение. дополнительную подстроечную карту Таким образом, обычно в качестве входных данных необходимо предоставить . Trimap определяет фон, передний план и неопределенные пиксели, которые будут разложены на передний план и фон методом матирования.

Основными критериями методов видеоматирования с точки зрения пользователя являются следующие:

Точная обработка кромок
Стабильность времени
Минимальное вмешательство пользователя

Описание методов

Первый известный метод видеоматирования ^[1] был разработан в 2001 году. В методе используется оптический поток для распространения тримап и байесовский метод матирования изображений, который применяется к каждому изображению отдельно.

Видео SnapCut, ^[2] который позже был включен в Adobe After Effects как инструмент «Кисть для ротоскопии», был разработан в 2009 году. В этом методе используются локальные классификаторы для сегментации двоичного изображения вблизи границы целевого объекта. Результаты сегментации передаются на следующий кадр с использованием оптического потока и алгоритма матирования изображений. ^[3] применяется.

Метод ^[4] с 2011 года также был включен в Adobe After Effects как инструмент Refine Edge. Распространение тримапа с оптическим потоком было улучшено за счет контрольных точек вдоль края объекта. В этом методе используется матирование каждого изображения, но временная согласованность была улучшена с помощью временного фильтра.

Наконец, глубокого обучения метод ^[5] был разработан для матирования изображений в 2017 году. Он превосходит большинство традиционных методов. ^[6]

Бенчмаркинг

Видеоматирование – это быстро развивающаяся область, имеющая множество практических применений. Однако для того, чтобы сравнить качество методов, их необходимо протестировать на эталонном уровне. Тест состоит из набора данных с тестовыми последовательностями и методологии сравнения результатов. В настоящее время существует один крупный онлайн-тест по матированию видео: ^[6] который использует цветную манипуляцию и покадровую анимацию для оценки истинности . После отправки метода рейтинг каждого метода выводится на основе объективных показателей. Поскольку объективные показатели не отражают человеческое восприятие качества, для обеспечения адекватного сравнения необходим субъективный опрос.

Топ-5 способов матирования видео ^[6]
Метод	Год разработки	Место в рейтинге
Глубокое матирование изображения ^[1]	2016	1
Самоадаптирующийся ^[7]	2016	2
Основанное на обучении ^[8]	2009	3
Разреженная выборка ^[9]	2016	4
Закрытая форма ^[3]	2008	5

Практическое использование

Вырез объекта

В программном обеспечении для редактирования видео необходимы методы матирования видео. Самое распространенное применение — вырезание и перенос объекта в другую сцену. Этот инструмент позволяет пользователям вырезать движущийся объект, интерактивно рисуя области, которые должны или не должны принадлежать объекту, или указывая полные тримапы в качестве входных данных. Существует несколько реализаций программного обеспечения:

Интерактивная система вырезания видео ^[10]
Инструмент Adobe After Effects Rotobrush ^[2]
Инструмент Adobe After Effects Refine Edge ^[4]
Плагин YUVSoft Matting для Adobe After Effects ^[11]

Для повышения скорости и качества матирования в некоторых методах используются дополнительные данные. Например, времяпролетные камеры были исследованы в системах матирования в реальном времени. ^[12]

Замена фона

Еще одно применение видеоматирования — фоновое матирование, которое очень популярно при онлайн-видеозвонках. Zoom , Был разработан плагин ^[13] и Skype анонсировали замену фона в июне 2020 года. ^[14] Методы видеоматирования также позволяют применять видеоэффекты только к заднему или переднему плану.

3D video editing

Видеоматирование имеет решающее значение при преобразовании 2D в 3D , где альфа-матирование используется для правильной обработки прозрачных объектов. Он также используется при преобразовании стерео в многовидовое изображение.

Видео завершение

С матированием тесно связано завершение видео. ^[15] после удаления объекта на видео. В то время как матирование используется для разделения видео на несколько слоев, завершение позволяет заполнить пробелы правдоподобным содержимым видео после удаления одного из слоев.

См. также

Обнаружение переднего плана - концепция компьютерного зрения
Оптический поток - картина движения в визуальной сцене из-за относительного движения наблюдателя.
Обработка видео – частный случай обработки изображений, когда входными и выходными сигналами являются видеофайлы или видеопотоки.
Альфа-композитинг - Операции в компьютерной графике.

Ссылки

^ Jump up to: ^а ^б Чуанг, Юнг-Ю; Агарвала, Асим; Керлесс, Брайан; Салезин, Дэвид Х.; Селиски, Ричард (2002). «Видеоматирование сложных сцен». Транзакции ACM с графикой . 21 (3): 243–248. дои : 10.1145/566654.566572 . ISSN 0730-0301 .
^ Jump up to: ^а ^б Бай, Сюэ; Ван, Цзюэ; Саймонс, Дэвид; Сапиро, Гильермо (2009). «Видеоснапкат» . Транзакции ACM с графикой . 28 (3): 1–11. дои : 10.1145/1531326.1531376 . ISSN 0730-0301 .
^ Jump up to: ^а ^б Левин А.; Лищинский, Д.; Вайс, Ю. (2008). «Решение в закрытой форме для матирования естественного изображения». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 30 (2): 228–242. дои : 10.1109/TPAMI.2007.1177 . ISSN 0162-8828 . ПМИД 18084055 .
^ Jump up to: ^а ^б Бай, Сюэ; Ван, Цзюэ; Саймонс, Дэвид (2011). «На пути к временному когерентному матированию видео». Методы совместной работы в области компьютерного зрения и компьютерной графики . Конспекты лекций по информатике. Том. 6930. стр. 63–74. дои : 10.1007/978-3-642-24136-9_6 . ISBN 978-3-642-24135-2 . ISSN 0302-9743 .
^ Сюй, Нин; Прайс, Брайан; Коэн, Скотт; Хуанг, Томас (2017). «Глубокое матирование изображения». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 311–320. дои : 10.1109/CVPR.2017.41 . ISBN 978-1-5386-0457-1 . S2CID 14061786 .
^ Jump up to: ^а ^б ^с Ерофеев Михаил; Гитман, Юрий; Ватолин Дмитрий; Федоров, Алексей; Ван, Цзюй (2015). «Эталон перцептивной мотивации для матирования видео» . Материалы Британской конференции по машинному зрению 2015 . С. 99.1–99.12. дои : 10.5244/C.29.99 . ISBN 978-1-901725-53-7 .
^ Цао, Гуанъин; Ли, Цзяньвэй; Чен, Сяову; Хэ, Чжицян (2017). «Самоадаптирующееся матирование на основе патчей для изображений и видео высокого разрешения». Визуальный компьютер . 35 (1): 133–147. дои : 10.1007/s00371-017-1424-3 . ISSN 0178-2789 . S2CID 24625947 .
^ Камбхаметту, Чандра (2009). «Цифровое матирование на основе обучения». 2009 12-я Международная конференция IEEE по компьютерному зрению . IEEE. стр. 889–896. дои : 10.1109/iccv.2009.5459326 . ISBN 978-1-4244-4420-5 .
^ Каракан, Левент; Эрдем, Айкут; Эрдем, Эркут (2015). «Матирование изображений с помощью разреженной выборки на основе KL-дивергенции». Международная конференция IEEE по компьютерному зрению (ICCV) , 2015 г. стр. 424–432. дои : 10.1109/ICCV.2015.56 . ISBN 978-1-4673-8391-2 . S2CID 2174306 .
^ Ван, Цзюэ; Бхат, Правин; Колберн, Р. Алекс; Агравала, Маниш; Коэн, Майкл Ф. (2005). «Интерактивная видеовырезка» . Транзакции ACM с графикой . 24 (3): 585–594. дои : 10.1145/1073204.1073233 . ISSN 0730-0301 .
^ «Плагин матирования для Adobe After Effects» . Проверено 02 марта 2021 г.
^ Ван, Лян; Гонг, Минглун; Чжан, Чэньси; Ян, Жуйган; Чжан, Ча; Ян, Йи-Хонг (15 июня 2011 г.). «Автоматическое матирование видео в реальном времени с использованием времяпролетной камеры и многоканальных уравнений Пуассона». Международный журнал компьютерного зрения . 97 (1). ООО «Спрингер Сайенс энд Бизнес Медиа»: 104–121. дои : 10.1007/s11263-011-0471-x . ISSN 0920-5691 . S2CID 255108880 .
^ «Матирование фона с высоким разрешением в реальном времени» . Проверено 02 марта 2021 г.
^ «Знакомство с заменой фона в Skype» . Проверено 02 марта 2021 г.
^ «Контроль завершения видео» . Проверено 10 марта 2021 г.

Внешние ссылки

[ChuangAgarwala2002-1] Jump up to: ^а ^б Чуанг, Юнг-Ю; Агарвала, Асим; Керлесс, Брайан; Салезин, Дэвид Х.; Селиски, Ричард (2002). «Видеоматирование сложных сцен». Транзакции ACM с графикой . 21 (3): 243–248. дои : 10.1145/566654.566572 . ISSN 0730-0301 .

[BaiWang2009-2] Jump up to: ^а ^б Бай, Сюэ; Ван, Цзюэ; Саймонс, Дэвид; Сапиро, Гильермо (2009). «Видеоснапкат» . Транзакции ACM с графикой . 28 (3): 1–11. дои : 10.1145/1531326.1531376 . ISSN 0730-0301 .

[LevinLischinski2008-3] Jump up to: ^а ^б Левин А.; Лищинский, Д.; Вайс, Ю. (2008). «Решение в закрытой форме для матирования естественного изображения». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 30 (2): 228–242. дои : 10.1109/TPAMI.2007.1177 . ISSN 0162-8828 . ПМИД 18084055 .

[BaiWang2011-4] Jump up to: ^а ^б Бай, Сюэ; Ван, Цзюэ; Саймонс, Дэвид (2011). «На пути к временному когерентному матированию видео». Методы совместной работы в области компьютерного зрения и компьютерной графики . Конспекты лекций по информатике. Том. 6930. стр. 63–74. дои : 10.1007/978-3-642-24136-9_6 . ISBN 978-3-642-24135-2 . ISSN 0302-9743 .

[XuPrice2017-5] Сюй, Нин; Прайс, Брайан; Коэн, Скотт; Хуанг, Томас (2017). «Глубокое матирование изображения». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 311–320. дои : 10.1109/CVPR.2017.41 . ISBN 978-1-5386-0457-1 . S2CID 14061786 .

[ErofeevGitman2015-6] Jump up to: ^а ^б ^с Ерофеев Михаил; Гитман, Юрий; Ватолин Дмитрий; Федоров, Алексей; Ван, Цзюй (2015). «Эталон перцептивной мотивации для матирования видео» . Материалы Британской конференции по машинному зрению 2015 . С. 99.1–99.12. дои : 10.5244/C.29.99 . ISBN 978-1-901725-53-7 .

[CaoLi2017-7] Цао, Гуанъин; Ли, Цзяньвэй; Чен, Сяову; Хэ, Чжицян (2017). «Самоадаптирующееся матирование на основе патчей для изображений и видео высокого разрешения». Визуальный компьютер . 35 (1): 133–147. дои : 10.1007/s00371-017-1424-3 . ISSN 0178-2789 . S2CID 24625947 .

[Kambhamettu_2009_p.-8] Камбхаметту, Чандра (2009). «Цифровое матирование на основе обучения». 2009 12-я Международная конференция IEEE по компьютерному зрению . IEEE. стр. 889–896. дои : 10.1109/iccv.2009.5459326 . ISBN 978-1-4244-4420-5 .

[KaracanErdem2015-9] Каракан, Левент; Эрдем, Айкут; Эрдем, Эркут (2015). «Матирование изображений с помощью разреженной выборки на основе KL-дивергенции». Международная конференция IEEE по компьютерному зрению (ICCV) , 2015 г. стр. 424–432. дои : 10.1109/ICCV.2015.56 . ISBN 978-1-4673-8391-2 . S2CID 2174306 .

[WangBhat2005-10] Ван, Цзюэ; Бхат, Правин; Колберн, Р. Алекс; Агравала, Маниш; Коэн, Майкл Ф. (2005). «Интерактивная видеовырезка» . Транзакции ACM с графикой . 24 (3): 585–594. дои : 10.1145/1073204.1073233 . ISSN 0730-0301 .

[11] «Плагин матирования для Adobe After Effects» . Проверено 02 марта 2021 г.

[Wang_Gong_Zhang_Yang_pp._104–121-12] Ван, Лян; Гонг, Минглун; Чжан, Чэньси; Ян, Жуйган; Чжан, Ча; Ян, Йи-Хонг (15 июня 2011 г.). «Автоматическое матирование видео в реальном времени с использованием времяпролетной камеры и многоканальных уравнений Пуассона». Международный журнал компьютерного зрения . 97 (1). ООО «Спрингер Сайенс энд Бизнес Медиа»: 104–121. дои : 10.1007/s11263-011-0471-x . ISSN 0920-5691 . S2CID 255108880 .

[13] «Матирование фона с высоким разрешением в реальном времени» . Проверено 02 марта 2021 г.

[14] «Знакомство с заменой фона в Skype» . Проверено 02 марта 2021 г.

[15] «Контроль завершения видео» . Проверено 10 марта 2021 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

v т и Обработка видео
Постобработка	Разблокировка Изменение размера Сравнение Деинтерлейсинг шумоподавление Отказ от мерцания
Специальная обработка	Колоризация пленки ( тонировка ) Цветокоррекция Фильм Изображение сверхвысокого разрешения Видео матирование Несжатый Масштабирование пиксельной графики Телекино