Качество видео
Качество видео — это характеристика видео, проходящего через систему передачи или обработки видео, которая описывает воспринимаемое ухудшение видео (обычно по сравнению с исходным видео). Системы обработки видео могут вносить в видеосигнал некоторые искажения или артефакты, которые негативно влияют на восприятие системы пользователем. Для многих заинтересованных сторон в производстве и распространении видео обеспечение качества видео является важной задачей.
Оценка качества видео выполняется для описания качества набора исследуемых видеопоследовательностей. Качество видео можно оценивать объективно (с помощью математических моделей ) или субъективно (путем запроса рейтинга у пользователей). Кроме того, качество системы можно определять в автономном режиме (т. е. в лабораторных условиях для разработки новых кодеков или услуг) или во время эксплуатации (для мониторинга и обеспечения определенного уровня качества).
к цифровому От аналогового видео
С тех пор, как был записан и передан первый в мире видеоряд, было разработано множество систем обработки видео. Такие системы кодируют видеопотоки и передают их по различным типам сетей или каналов. В эпоху аналоговых видеосистем системы можно было оценить аспекты качества системы обработки видео, рассчитав частотную характеристику с использованием тестовых сигналов (например, набора цветных полос и кругов).
Цифровые видеосистемы практически полностью вытеснили аналоговые, изменились методы оценки качества. Производительность системы обработки и передачи цифрового видео может значительно различаться и зависит от многих факторов, включая характеристики входного видеосигнала (например, количество движения или пространственные детали), настройки, используемые для кодирования и передачи, а также точность передачи данных по каналу. или производительность сети .
Объективное качество видео [ править ]
Модели объективного качества видео — это математические модели , которые аппроксимируют результаты субъективной оценки качества , в которых наблюдателям предлагается оценить качество видео. [1] В этом контексте термин « модель» может относиться к простой статистической модели, в которой несколько независимых переменных (например, скорость потери пакетов в сети и параметры видеокодирования) сопоставляются с результатами, полученными в тесте субъективной оценки качества с использованием методов регрессии . Модель также может представлять собой более сложный алгоритм, реализованный программно или аппаратно .
Терминология [ править ]
Термины «модель» и «метрика» часто используются в данной области как синонимы и обозначают описательную статистику , которая обеспечивает показатель качества. Термин «объективный» относится к тому факту, что, как правило, модели качества основаны на критериях, которые можно измерить объективно, то есть свободно от человеческой интерпретации. Они могут быть автоматически оценены компьютерной программой . В отличие от группы людей-наблюдателей, объективная модель всегда должна детерминированно выдавать один и тот же показатель качества для заданного набора входных параметров.
Объективные модели качества иногда также называют инструментальными (качественными) моделями . [2] [3] чтобы подчеркнуть их применение в качестве измерительных инструментов. Некоторые авторы предполагают, что термин «объективный» вводит в заблуждение, поскольку он «подразумевает, что инструментальные измерения несут объективность, а это происходит только в тех случаях, когда их можно обобщить». [4]
Классификация моделей объективного качества видео [ править ]
Объективные модели можно классифицировать по объему доступной информации об исходном сигнале, полученном сигнале или наличии сигнала вообще: [5]
- Полные эталонные методы (FR): модели FR вычисляют разницу качества путем сравнения исходного видеосигнала с полученным видеосигналом . Обычно каждый пиксель источника сравнивается с соответствующим пикселем полученного видео без каких-либо знаний о промежуточном процессе кодирования или передачи. Более сложные алгоритмы могут комбинировать оценку на основе пикселей с другими подходами, например описанными ниже. Модели FR обычно являются наиболее точными за счет более высоких вычислительных затрат. Поскольку они требуют наличия исходного видео перед передачей или кодированием, их нельзя использовать во всех ситуациях (например, когда качество измеряется с клиентского устройства).
- Сокращенные эталонные методы (RR): модели RR извлекают некоторые особенности обоих видео и сравнивают их, чтобы получить оценку качества. Они используются, когда все исходное видео недоступно или когда это практически невозможно сделать, например, при передаче с ограниченной полосой пропускания. Это делает их более эффективными, чем модели FR, за счет меньшей точности.
- Методы без ссылок (NR): модели NR пытаются оценить качество искаженного видео без какой-либо ссылки на исходный сигнал. Из-за отсутствия исходного сигнала они могут быть менее точными, чем подходы FR или RR, но их вычисления более эффективны. В Группе экспертов по качеству видео есть специальная рабочая группа по разработке нестандартных показателей (так называемая NORM ).
- Пиксельные методы (NR-P). Пиксельные модели используют декодированное представление сигнала и анализируют качество на основе информации о пикселях. Некоторые из них оценивают только определенные типы ухудшения, такие как размытие или другие артефакты кодирования .
- Методы параметрического/битового потока (NR-B): эти модели используют функции, извлеченные из контейнера передачи и/или битового потока видео, например, MPEG-TS заголовки пакетов , векторы движения и параметры квантования. Они не имеют доступа к исходному сигналу и не требуют декодирования видео, что делает их более эффективными. В отличие от моделей NR-P, у них нет доступа к окончательному декодированному сигналу. В некоторых случаях точность прогнозирования метрик на основе битового потока может достигать одной полной ссылки без необходимости ссылки. [6]
- Гибридные методы (Hybrid NR-PB). Гибридные модели объединяют параметры, извлеченные из битового потока, с декодированным видеосигналом. [7] Таким образом, они представляют собой смесь моделей NR-P и NR-B.
Использование моделей качества изображения для оценки качества видео [ править ]
Некоторые модели, используемые для оценки качества видео (например, PSNR или SSIM ), представляют собой просто модели качества изображения , выходные данные которых рассчитываются для каждого кадра видеопоследовательности. Обзор последних моделей качества изображений без ссылок также был дан в журнальной статье Шахида и др. [5]
Показатель качества каждого кадра видео (определяемый моделью качества изображения) затем может быть записан и объединен с течением времени для оценки качества всей видеопоследовательности. Хотя этот метод легко реализовать, он не учитывает определенные виды ухудшения качества, которые развиваются с течением времени, такие как движущиеся артефакты, вызванные потерей пакетов и их сокрытием . Модель качества видео, учитывающая временные аспекты ухудшения качества, такая как VQM или индекс MOVIE , может дать более точные прогнозы качества, воспринимаемого человеком.
Артефакты качества видео [ править ]
Оценка визуальных артефактов является хорошо известным методом оценки общего качества видео. Большинство этих артефактов являются артефактами сжатия, вызванными сжатием с потерями. Некоторые из атрибутов, обычно оцениваемых с помощью пиксельных показателей, включают:
Пространственный
- Размытие — результат потери деталей изображения с высокой пространственной частотой, обычно по резким краям.
- Блокировка — вызвана несколькими алгоритмами из-за внутреннего представления изображения с размером блоков 8, 16 или 32. С помощью определенных параметров они могут усреднять пиксели внутри блока, делая блоки различимыми.
- Звон , эхо или ореолы – принимают форму «ореола», полосы или «призрака» вблизи острых краев.
- Растекание цвета — происходит, когда края одного цвета на изображении непреднамеренно расплываются или перекрываются с другим цветом.
- Лестничный шум — это частный случай блокировки по диагонали или изогнутому краю. Вместо того, чтобы отображаться как гладкий, он принимает вид ступенек лестницы.
Временной
- Мерцание — обычно частое изменение яркости или цвета во временном измерении. Часто оно проявляется в виде мелкозернистого и крупнозернистого мерцания.
- Шум комаров — вариант мерцания, он характеризуется нечеткостью и/или мерцанием вокруг высокочастотного контента (резкие переходы между объектами переднего плана и фоном или резкие края).
- Плавающий — относится к иллюзорному движению в определенных областях, в то время как окружающие области остаются статичными. Визуально эти области кажутся плавающими поверх окружающего фона.
- Подергивание или дрожание — это воспринимаемое неравномерное или шаткое движение из-за выборки кадров. Это часто вызвано преобразованием фильмов со скоростью 24 кадра в секунду в формат видео с частотой 30 или 60 кадров в секунду.
Примеры показателей качества видео [ править ]
В этом разделе приведены примеры показателей качества видео.
Метрика | Использование | Описание | |
---|---|---|---|
Полная ссылка | PSNR (пиковое отношение сигнал/шум) | Изображение | Он рассчитывается между каждым кадром исходного и ухудшенного видеосигнала. PSNR — наиболее широко используемый показатель качества объективного изображения. Однако значения PSNR плохо коррелируют с воспринимаемым качеством изображения из-за сложного и крайне нелинейного поведения зрительной системы человека. |
ДА [8] (Структурное сходство) | Изображение | SSIM — это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение структурной информации, а также включает важные явления восприятия, включая термины маскировки яркости и маскировки контраста. | |
Индекс КИНО [9] (Оценка целостности видео на основе движения) | Видео | Индекс MOVIE — это нейробиологическая модель для прогнозирования качества восприятия кинофильма или видео (возможно, сжатого или иным образом искаженного) по сравнению с исходным эталонным видео. | |
ВМАФ [10] (Видео многометодная оценка) | Видео | VMAF использует различные функции для прогнозирования качества видео, которые объединяются с помощью регрессии на основе SVM для получения единой выходной оценки. Затем эти оценки временно объединяются по всей видеопоследовательности с использованием среднего арифметического значения для получения общей средней оценки мнения (MOS). | |
ВКМ [11] | Видео | Эта модель стандартизирована в Рекомендации ITU-T Rec. Дж.144 в 2001 году. | |
Сокращенное задание | СРР [12] (сокращенный эталон SSIM) | Видео | Значение SRR рассчитывается как отношение принятого (целевого) видеосигнала SSIM к значениям SSIM опорного видеоизображения. |
СТ-RRED [13] | Видео | Вычислите вейвлет-коэффициенты разностей кадров между соседними кадрами в видеопоследовательности (смоделированной смесью гауссовой шкалы). Он используется для оценки энтропийных различий RR, приводящих к временному RRED. Он в сочетании с пространственными индексами RRED, оцениваемыми путем применения индекса RRED к каждому кадру видео, дает пространственно-временной RRED. | |
Рек. МСЭ-Т. П.1204.4 | Видео | Эта модель с уменьшенной ссылкой сравнивает функции, извлеченные из эталонного видео, с искаженным (сжатым видео). [14] | |
Нет ссылки | НАЙК [15] Оценщик качества изображения натуральности | Изображение | Эта модель IQA основана на значимых для восприятия функциях статистики естественных сцен (NSS) в пространственной области, извлеченных из локальных фрагментов изображений, которые эффективно фиксируют важную статистику естественного изображения низкого порядка. |
БРИСК [16] Оценщик пространственного качества слепых/безосновных изображений | Изображение | Метод извлекает точечную статистику локальных нормализованных сигналов яркости и измеряет естественность изображения (или ее отсутствие) на основе измеренных отклонений от естественной модели изображения. Он также моделирует распределение попарной статистики соседних нормализованных сигналов яркости, что предоставляет информацию об ориентации искажений. | |
Видео-ЖАЛЮЗИ [17] | Видео | Вычисляет статистические модели на основе коэффициентов DCT разностей кадров и вычисляет характеристики движения. Оценка Pedicts основана на этих функциях с использованием SVM . | |
Рек. МСЭ-Т. П.1203.1 | Видео | Это метрика, входящая в семейство стандартов P.1203 , которая может использовать либо только метаданные (кодек, разрешение, битрейт, частота кадров), информацию о кадре (типы и размеры кадров), либо весь битовый поток для анализа качества сжатое видео. В первую очередь он предназначен для использования в контексте адаптивной потоковой передачи HTTP. | |
Рек. МСЭ-Т. П.1204.3 | Видео | Эта модель использует битовый поток видео для анализа качества сжатия/кодирования на основе таких функций, как параметры квантования и векторы движения. [14] | |
Рек. МСЭ-Т. П.1204.5 | Видео | Это гибридная модель, которая использует декодированные пиксели и информацию о видеокодеке для определения конечного качества видео. [14] |
Обучение оценка эффективности и
Поскольку ожидается, что объективные модели качества видео будут предсказывать результаты, полученные людьми-наблюдателями, они разрабатываются с помощью субъективных результатов испытаний . В ходе разработки объективной модели ее параметры должны быть обучены таким образом, чтобы добиться наилучшей корреляции между объективно прогнозируемыми значениями и субъективными оценками, часто доступными как средние оценки мнения (MOS).
Наиболее широко используемые материалы субъективных испытаний находятся в свободном доступе и включают в себя фотоснимки, кинофильмы, потоковое видео, видео высокой четкости, 3D (стереоскопическое) и специальные наборы данных, связанные с качеством изображения. [18] Эти так называемые базы данных создаются различными исследовательскими лабораториями по всему миру. Некоторые из них стали стандартами де-факто, в том числе несколько общедоступных баз данных субъективного качества изображения, созданных и поддерживаемых Лабораторией обработки изображений и видео (LIVE), а также База данных изображений Тампере 2008 . Коллекцию баз данных можно найти в репозитории баз данных QUALINET . Библиотека потребительского цифрового видео (CDVL) содержит бесплатно доступные тестовые видеопоследовательности для разработки моделей.
Некоторые базы данных также предоставляют предварительно рассчитанные показатели показателей, чтобы другие могли сравнивать новые показатели с существующими. Примеры можно увидеть в таблице ниже
Контрольный показатель | Количество видео | Количество метрик | Тип показателей |
---|---|---|---|
LIVE-VQC | 585 | 11 | Без ссылки |
КонВиД-1к | 1,200 | 11 | Без ссылки |
YouTube-пользовательский контент | 1,500 | 9 | Без ссылки |
МГУ без ссылки VQA | 2,500 | 15 | Без ссылки |
Полный справочник VQA МГУ | 2,500 | 44 | Полная ссылка |
LIVE-FB Качество крупномасштабного социального видео | 39,000 | 6 | Без ссылки |
LIVE-ЭТРИ | 437 | 5 | Без ссылки |
ПРЯМОЙ ЭФИР | 315 | 3 | Без ссылки |
Теоретически модель можно обучить на наборе данных таким образом, чтобы она давала идеально совпадающие результаты для этого набора данных. Однако такая модель будет переобучена и, следовательно, не будет хорошо работать на новых наборах данных. Поэтому рекомендуется проверять модели на новых данных и использовать полученные результаты в качестве реального индикатора точности прогнозирования модели.
Для измерения производительности модели часто используются такие метрики, как коэффициент линейной корреляции , коэффициент ранговой корреляции Спирмена и среднеквадратическая ошибка (RMSE). Другими показателями являются коэффициент каппа и коэффициент выбросов . Рек. МСЭ-Т. В P.1401 представлен обзор статистических процедур для оценки и сравнения объективных моделей.
объективных моделей и применение Использование
Модели объективного качества видео можно использовать в различных областях применения. При разработке видеокодеков производительность кодека часто оценивается с точки зрения PSNR или SSIM. Поставщики услуг могут использовать объективные модели для мониторинга системы. Например, провайдер IPTV может предпочесть контролировать качество своих услуг с помощью объективных моделей, а не спрашивать мнение пользователей или ждать жалоб клиентов на плохое качество видео. Лишь немногие из этих стандартов нашли коммерческое применение, включая PEVQ и VQuad-HD . SSIM также является частью коммерчески доступного набора инструментов для обеспечения качества видео (SSIMWAVE). VMAF используется Netflix для настройки алгоритмов кодирования и потоковой передачи, а также для контроля качества всего потокового контента. [19] [20] Его также используют другие технологические компании, такие как Bitmovin. [21] и был интегрирован в такое программное обеспечение, как FFmpeg .
Объективную модель следует использовать только в том контексте, для которого она была разработана. Например, модель, разработанная с использованием определенного видеокодека, не может быть точной для другого видеокодека. Точно так же модель, обученную на тестах, проводимых на большом экране телевизора, не следует использовать для оценки качества видео, просматриваемого на мобильном телефоне.
Другие подходы [ править ]
При оценке качества видеокодека все упомянутые объективные методы могут потребовать повторных тестов посткодирования для определения параметров кодирования, удовлетворяющих требуемому уровню качества изображения, что делает их трудоемкими, сложными и непрактичными для реализации в реальных коммерческих приложениях. . Продолжаются исследования по разработке новых методов объективной оценки, которые позволяют прогнозировать воспринимаемый уровень качества закодированного видео до того, как будет выполнено фактическое кодирование. [22]
Субъективное качество видео [ править ]
Основная цель многокритериальных показателей качества видео — автоматически оценить мнение среднестатистического пользователя (зрителя) о качестве видео, обрабатываемого системой. Процедуры измерения субъективного качества видео описаны в ITU-R рекомендации BT.500 и рекомендации ITU-T P.910 . В таких тестах видеоряды демонстрируются группе зрителей. Мнение зрителей записывается и усредняется в средний балл для оценки качества каждого видеоряда. Однако процедура тестирования может различаться в зависимости от того, какая система тестируется.
Инструменты для оценки качества видео [ править ]
Инструмент | Описание | Наличие | Лицензия | Включенные показатели |
---|---|---|---|---|
FFmpeg | Бесплатный мультимедийный инструмент с открытым исходным кодом, который включает в себя некоторые показатели качества видео. | Бесплатно | Открытый исходный код | ПСНР, ССИМ, ВМАФ |
МГУ ВКМТ | Программный пакет для объективной оценки качества видео (полная ссылка и без ссылки) | Бесплатно для базовых показателей Плата за метрики HDR | Собственный | PSNR, SSIM, MS-SSIM, 3SSIM, VMAF , NIQE, VQM, Delta, MSAD, MSE В МГУ разработаны метрики: метрика размытия, метрика блокировки, метрика мерцания яркости, метрика пропуска кадров, метрика оценки шума. |
EPFL VQMT | Различные метрики, реализованные в OpenCV (C++) на основе существующих реализаций MATLAB. | Бесплатно | Открытый исходный код | PSNR, PSNR-HVS, PSNR-HVS-M, SSIM, MS-SSIM, VIFp |
OpenVQ | Набор инструментов, реализующий различные метрики, включая OPVQ авторов. | Бесплатно | Открытый исходный код | PSNR, SSIM, OPVQ |
Элекард | Программа оценки качества коммерческого видео. | Доступна демо-версия | Собственный | PSNR, APSNR, MSAD, MSE, SSIM, Дельта, VQM, NQI, VMAF , VIF |
АвиСинт | Инструмент обработки видео, который можно использовать как плагин или через скрипт. | Бесплатно | Открытый исходный код | ДА |
Зонд ВК | Программное обеспечение для расчета показателей качества видео | Бесплатно | Собственный | ПСНР, ССИМ, ВМАФ |
vmaf.dev | Программное обеспечение для онлайн-расчета качества видео, реализующее VMAF. | Бесплатно | Открытый исходный код | ВМАФ |
См. также [ править ]
- Словарь видеотерминов
- МДИ
- Средняя оценка мнения
- Индекс КИНО
- ПСНР
- ДА
- Субъективное качество видео.
- Видеокодеки
- ВМАФ
- Верность визуальной информации
Ссылки [ править ]
- ^ «Методы объективной оценки качества видео для системы видеоассистента судейства (VAR)» (PDF) .
- ^ Рааке, Александр (2006). Качество речи VoIP: оценка и прогноз . Wiley InterScience (Интернет-сервис). Чичестер, Англия: Уайли. ISBN 9780470030608 . OCLC 85785040 .
- ^ Мёллер, Себастьян (2000). Оценка и прогнозирование качества речи в телекоммуникациях . Бостон, Массачусетс: Springer US. ISBN 9781475731170 . ОСЛК 851800613 .
- ^ Рааке, Александр; Эггер, Себастьян (2014). Качество опыта . Серия T-Labs по телекоммуникационным услугам. Спрингер, Чам. стр. 11–33. дои : 10.1007/978-3-319-02681-7_2 . ISBN 9783319026800 .
- ↑ Перейти обратно: Перейти обратно: а б Шахид, Мухаммед; Россхольм, Андреас; Лёвстрем, Бенни; Зеперник, Ханс-Юрген (14 августа 2014 г.). «Оценка качества изображений и видео без эталонов: классификация и обзор последних подходов» . Журнал EURASIP по обработке изображений и видео . 2014 : 40. дои : 10.1186/1687-5281-2014-40 . ISSN 1687-5281 .
- ^ Барман, Набаджит; Резник, Юрий; Мартини, Мария Г. (2023). «Субъективный набор данных для приложений многоэкранной потоковой передачи видео». arXiv : 2305.03138 [ cs.MM ].
- ^ Ли, Сон-О; Юнг, Кван-Су; Сим, Донг-Гю (2010). «Объективная оценка качества в реальном времени на основе параметров кодирования, извлеченных из битового потока H.264/AVC» . Транзакции IEEE по бытовой электронике . 56 (2): 1071–1078. дои : 10.1109/TCE.2010.5506041 . S2CID 23190244 .
- ^ Ван, Чжоу; Бовик, АС; Шейх, HR; Симончелли, EP (1 апреля 2004 г.). «Оценка качества изображения: от видимости ошибок к структурному сходству». Транзакции IEEE при обработке изображений . 13 (4): 600–612. Бибкод : 2004ITIP...13..600W . CiteSeerX 10.1.1.2.5689 . дои : 10.1109/TIP.2003.819861 . ISSN 1057-7149 . ПМИД 15376593 . S2CID 207761262 .
- ^ Сешадринатан, К.; Бовик, АК (01 февраля 2010 г.). «Пространственно-временная оценка качества естественного видео с настройкой движения». Транзакции IEEE при обработке изображений . 19 (2): 335–350. Бибкод : 2010ИТИП...19..335С . CiteSeerX 10.1.1.153.9018 . дои : 10.1109/TIP.2009.2034992 . ISSN 1057-7149 . ПМИД 19846374 . S2CID 15356687 .
- ^ vmaf: Перцепционная оценка качества видео на основе объединения нескольких методов , Netflix, Inc., 14 июля 2017 г. , получено 15 июля 2017 г.
- ^ «Описание программного обеспечения для измерения качества видео (VQM) — ITS» . https://its.ntia.gov . Проверено 12 июля 2023 г.
- ^ Куртис, Массачусетс; Кумарас, Х.; Либерал, Ф. (июль – август 2016 г.). «Оценка качества видео с уменьшенным эталоном с использованием статического шаблона видео» . Журнал электронных изображений . 25 (4): 043011. Бибкод : 2016JEI....25d3011K . дои : 10.1117/1.jei.25.4.043011 .
- ^ Саундарараджан, Р.; Бовик, АК (04 апреля 2013 г.). «Оценка качества видео с помощью уменьшенного эталонного пространственно-временного энтропийного дифференцирования». Транзакции IEEE по схемам и системам видеотехнологий . 23 (4): 684–694. дои : 10.1109/tcsvt.2012.2214933 . S2CID 206661510 .
- ↑ Перейти обратно: Перейти обратно: а б с Рааке, Александр; Борер, Сильвио; Сатти, Шахид М.; Густафссон, Йорген; Рао, Ракеш Рао Рамачандра; Медальи, Стефано; Лист, Питер; Геринг, Стив; Линдеро, Дэвид; Робица, Вернер; Хейккила, Гуннар; Брум, Саймон; Шмидмер, Кристиан; Фейтен, Бернхард; Вустенхаген, Ульф (2020). «Многомодельный стандарт для оценки качества видео на основе битов, пикселей и гибридного видео UHD/4K: ITU-T P.1204» . Доступ IEEE . 8 : 193020–193049. дои : 10.1109/ACCESS.2020.3032080 . ISSN 2169-3536 . S2CID 226293635 .
- ^ Миттал, А.; Саундарараджан, Р.; Бовик, AC (март 2013 г.). «Создание «полностью слепого» анализатора качества изображения». Письма об обработке сигналов IEEE . 20 (3): 209–212. Бибкод : 2013ISPL...20..209M . дои : 10.1109/lsp.2012.2227726 . S2CID 16892725 .
- ^ Миттал, А.; Мурти, АК; Бовик, АК (09 ноября 2011 г.). «Оценщик пространственного качества слепых/безосновных изображений». Протокол сорок пятой асиломарской конференции по сигналам, системам и компьютерам (ASILOMAR) за 2011 год . стр. 723–727. дои : 10.1109/acssc.2011.6190099 . ISBN 978-1-4673-0323-1 . S2CID 16388844 .
- ^ Саад, Массачусетс; Бовик, АС; Чарриер, К. (март 2014 г.). «Слепое предсказание естественного качества видео». Транзакции IEEE при обработке изображений . 23 (3): 1352–1365. Бибкод : 2014ITIP...23.1352S . CiteSeerX 10.1.1.646.9045 . дои : 10.1109/tip.2014.2299154 . ISSN 1057-7149 . ПМИД 24723532 . S2CID 14314450 .
- ^ Лю, Цунг-Юнг; Лин, Ю-Че; Лин, Вейси; Куо, К.-К. Джей (2013). «Визуальная оценка качества: последние разработки, приложения для кодирования и будущие тенденции» . APSIPA Транзакции по обработке сигналов и информации . 2 . дои : 10.1017/ацип.2013.5 . hdl : 10356/106287 . ISSN 2048-7703 .
- ^ Блог, Netflix Technology (06.06.2016). «На пути к практическому измерению воспринимаемого качества видео» . Технический блог Netflix . Проверено 8 октября 2017 г.
- ^ Блог, Netflix Technology (26 октября 2018 г.). «ВМАФ: Путешествие продолжается» . Середина . Проверено 23 октября 2019 г.
- ^ «Посценная адаптация: выход за пределы битрейта» . Битмовин . 05.01.2018 . Проверено 23 октября 2019 г.
- ^ Кумарас, Х.; Куртис, А.; Мартакос, Д.; Лаутеръюнг, Дж. (1 сентября 2007 г.). «Количественная оценка PQoS на основе быстрой оценки пространственного и временного уровня активности». Мультимедийные инструменты и приложения . 34 (3): 355–374. дои : 10.1007/s11042-007-0111-1 . ISSN 1380-7501 . S2CID 14136479 .