Видео Многометодная оценка Fusion
Video Multimethod Assessment Fusion ( VMAF ) — это объективная полноценная метрика качества видео , разработанная Netflix в сотрудничестве с Университетом Южной Калифорнии , лабораторией IPI/LS2N Нантского университета и Лабораторией инженерии изображений и видео (LIVE) в Университете. Техаса в Остине . Он прогнозирует субъективное качество видео на основе эталонной и искаженной видеопоследовательности. Метрику можно использовать для оценки качества различных видеокодеков , кодеров, настроек кодирования или вариантов передачи.
История
[ редактировать ]Метрика основана на первоначальной работе группы профессора К.-К. Джей Куо из Университета Южной Калифорнии. [1] [2] [3] применимость объединения различных показателей качества видео с использованием машин опорных векторов Здесь была исследована (SVM), что привело к получению «индекса FVQA (оценка качества видео на основе объединения)», который, как было показано, превосходит существующие показатели качества изображения по субъективным оценкам. база данных качества видео.
Этот метод получил дальнейшее развитие в сотрудничестве с Netflix с использованием различных наборов субъективных видеоданных, включая набор данных, принадлежащий Netflix («NFLX»). Впоследствии переименованный в «Video Multimethod Assessment Fusion», об этом было объявлено в техническом блоге Netflix в июне 2016 года. [4] а версия 0.3.1 эталонной реализации была доступна по разрешительной лицензии с открытым исходным кодом. [5]
В 2017 году метрика была обновлена для поддержки пользовательской модели, включающей адаптацию для просмотра экрана мобильного телефона, что обеспечивает более высокие оценки качества для того же входного материала. модель, прогнозирующая качество контента с разрешением до 4K В 2018 году была выпущена . Наборы данных, на которых обучались эти модели, не были доступны общественности.
В 2021 году премия «Эмми» в области технологий и инженерии была вручена компаниям Beamr, Netflix, Университету Южной Калифорнии, Нантскому университету , Техасскому университету в Остине , SSIMWAVE, Disney, Google, Brightcove и ATEME за разработку открытых показателей восприятия видео. Оптимизация кодирования. Это второй раз за 20 лет, когда университеты получили премию «Эмми». Кроме того, это был первый случай, когда французский университет получил такой сертификат. [6] [7]
Компоненты
[ редактировать ]VMAF использует существующие показатели качества изображения и другие функции для прогнозирования качества видео:
- Верность визуальной информации (VIF): учитывает потерю точности информации в четырех различных пространственных масштабах.
- Подробный показатель потерь (DLM): [8] измеряет потерю деталей и нарушения, отвлекающие внимание зрителя
- Средняя разница совмещенных пикселей (MCPD): измеряет временную разницу между кадрами по компоненту яркости.
Вышеупомянутые функции объединяются с помощью регрессии на основе SVM, чтобы обеспечить единую выходную оценку в диапазоне 0–100 на каждый видеокадр , где 100 соответствует качеству, идентичному эталонному видео. Эти оценки затем временно объединяются по всей видеопоследовательности с использованием среднего арифметического для получения общей дифференциальной средней оценки мнения (DMOS).
Благодаря общедоступности исходного кода обучения («VMAF Development Kit», VDK), метод объединения можно повторно обучать и оценивать на основе различных наборов видеоданных и функций.
Отношение противошумового сигнала к шуму (AN-SNR) использовалось в более ранних версиях VMAF в качестве показателя качества, но впоследствии от него отказались. [9]
Производительность
[ редактировать ]Было показано, что ранняя версия VMAF превосходит другие показатели качества изображения и видео, такие как SSIM , PSNR -HVS и VQM-VFD, на трех из четырех наборов данных с точки зрения точности прогнозирования по сравнению с субъективными оценками . [4] Его производительность также была проанализирована в другой статье, в которой было обнаружено, что VMAF не работает лучше, чем SSIM и MS-SSIM, на наборе видеоданных. [10] В 2017 году инженеры RealNetworks сообщили о хорошей воспроизводимости результатов производительности Netflix. [11] В бенчмарке показателей качества видео MSU , где тестировались различные его версии (включая VMAF NEG), VMAF превзошел все остальные показатели по всем стандартам сжатия (H.265, VP9, AV1, VVC).
Оценки VMAF можно искусственно увеличить без улучшения воспринимаемого качества, применяя различные операции до или после искажения видео, иногда без влияния на популярную метрику PSNR . [12] [13]
Программное обеспечение
[ редактировать ]Эталонная реализация, написанная на C и Python («VMAF Development Kit, VDK»), публикуется как бесплатное программное обеспечение на условиях лицензии BSD+Patent. [14] Его исходный код и дополнительные материалы доступны на GitHub . [5]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Лю, Цунг-Юнг; Лин, Джо Ючие; Лин, Вейси; Куо, К.-К. Джей (2013). «Визуальная оценка качества: последние разработки, приложения для кодирования и будущие тенденции» . APSIPA Транзакции по обработке сигналов и информации . 2 . дои : 10.1017/ацип.2013.5 . hdl : 10356/106287 . ISSN 2048-7703 .
- ^ Лин, Джо Ючие; Лю, Ти Джей; Ву, ЕСХ; Куо, CCJ (декабрь 2014 г.). «Индекс оценки качества видео на основе слияния (Fvqa)». Ежегодный саммит и конференция Ассоциации обработки сигналов и информации (APSIPA), Азиатско-Тихоокеанский регион, 2014 г. стр. 1–5. дои : 10.1109/apsipa.2014.7041705 . ISBN 978-6-1636-1823-8 . S2CID 7742774 .
- ^ Лин, Джо Ючие; Ву, Чи-Хао; Иоаннис, Кацавунидис; Ли, Чжи; Аарон, Энн; Куо, К.-К. Джей (июнь 2015 г.). «EVQA: Индекс оценки качества видео на основе ансамблевого обучения». Международная конференция IEEE по мультимедиа и выставочным семинарам (ICMEW) , 2015 г. стр. 1–5. дои : 10.1109/ICMEW.2015.7169760 . ISBN 978-1-4799-7079-7 . S2CID 6996075 .
- ^ Jump up to: а б Блог, Netflix Technology (06.06.2016). «На пути к практическому измерению воспринимаемого качества видео» . Технический блог Netflix . Проверено 15 июля 2017 г.
- ^ Jump up to: а б vmaf: Перцепционная оценка качества видео на основе объединения нескольких методов , Netflix, Inc., 14 июля 2017 г. , получено 15 июля 2017 г.
- ^ «Получатели 72-й ежегодной премии «Эмми» в области технологий и инженерии – Эмми» . theemmys.tv . Проверено 08 февраля 2021 г.
- ^ БОСС, Жюльен. «Технологии: Нантский университет получает премию «Эмми»!» . UNNEWS (на французском языке) . Проверено 08 февраля 2021 г.
- ^ Ли, С.; Чжан, Ф.; Ма, Л.; Нган, КН (октябрь 2011 г.). «Оценка качества изображения путем отдельной оценки потерь деталей и аддитивных ухудшений». Транзакции IEEE в мультимедиа . 13 (5): 935–949. дои : 10.1109/tmm.2011.2152382 . ISSN 1520-9210 . S2CID 8618041 .
- ^ Чили, Генри. «Удаление АН-СНР» . Гитхаб.
- ^ Бампис, Христос Г.; Бовик, Алан К. (2 марта 2017 г.). «Научимся прогнозировать QoE потокового видео: искажения, повторная буферизация и память». arXiv : 1703.00633 [ cs.MM ].
- ^ Рассул, Реза (2017). «Воспроизводимость VMAF: проверка воспринимаемого практического показателя качества видео» (PDF) . Международный симпозиум IEEE по широкополосным мультимедийным системам и радиовещанию (BMSB) , 2017 г. стр. 1–2. дои : 10.1109/BMSB.2017.7986143 . ISBN 978-1-5090-4937-0 . S2CID 5449498 . Проверено 30 ноября 2017 г.
- ^ Zvezdakova, Anastasia; Zvezdakov, Sergey; Kulikov, Dmitriy; Vatolin, Dmitriy (2019-04-29). "Hacking VMAF with Video Color and Contrast Distortion". arXiv : 2107.04510 [ cs.MM ].
- ^ Siniukov, Maksim; Antsiferova, Anastasia; Kulikov, Dmitriy; Vatolin, Dmitriy (2021). "Hacking VMAF and VMAF NEG: vulnerability to different preprocessing methods". arXiv : 2107.04510 [ cs.MM ].
- ^ «BSD+Patent | Инициатива открытого исходного кода» . 18 мая 2017 г.