Мера индекса структурного сходства

«SSIM» перенаправляется сюда. Чтобы узнать о других значениях, см. SSIM (значения) .

Показатель структурного сходства индекса ( SSIM ) — это метод прогнозирования воспринимаемого качества цифрового телевидения и кинематографических изображений, а также других видов цифровых изображений и видео. Он также используется для измерения сходства между двумя изображениями. Индекс SSIM является полным эталонным показателем ; другими словами, измерение или прогнозирование качества изображения основано на исходном несжатом изображении или изображении без искажений в качестве эталона.

SSIM — это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение структурной информации , а также включает важные явления восприятия, включая термины маскировки яркости и маскировки контраста. Отличие от других методов, таких как MSE или PSNR, заключается в том, что эти подходы оценивают абсолютные ошибки . Структурная информация — это идея о том, что пиксели имеют сильные взаимозависимости, особенно когда они пространственно близки. Эти зависимости несут важную информацию о структуре объектов визуальной сцены. Маскирование яркости — это явление, при котором искажения изображения (в данном контексте) имеют тенденцию быть менее заметными в ярких областях, тогда как маскирование контраста — это явление, при котором искажения становятся менее заметными там, где в изображении присутствует значительная активность или «текстура».

История

Предшественником SSIM назывался Универсальный индекс качества (UQI), или Индекс Ванга-Бовика , который был разработан Чжоу Ваном и Аланом Бовиком в 2001 году. Благодаря их сотрудничеству с Хамидом Шейхом и Ээро Симончелли он превратился в текущую версию SSIM. , который был опубликован в апреле 2004 года в журнале IEEE Transactions on Image Processing . Помимо определения индекса качества SSIM, в документе представлен общий контекст для разработки и оценки показателей качества восприятия, включая связь с визуальной нейробиологией и восприятием человека, а также прямая проверка индекса на основе оценок людей.

Базовая модель была разработана в Лаборатории обработки изображений и видео (LIVE) Техасского университета в Остине и далее доработана совместно с Лабораторией вычислительного зрения (LCV) Нью-Йоркского университета . Дальнейшие варианты модели были разработаны в Лаборатории изображений и визуальных вычислений Университета Ватерлоо и поступили на коммерческий рынок.

Впоследствии SSIM нашел широкое распространение в сообществе специалистов по обработке изображений, а также на телевидении и в социальных сетях. , документ SSIM 2004 года цитировался более 50 000 раз По данным Google Scholar . что делает ее одной из самых цитируемых статей в области обработки изображений и видеотехники. Он был отмечен наградой Общества обработки сигналов IEEE за лучшую статью в 2009 году. Он также получил награду Общества обработки сигналов IEEE за устойчивое воздействие в 2016 году, что свидетельствует о том, что статья имела необычайно большое влияние в течение как минимум 10 лет после ее публикации. Благодаря широкому распространению в телевизионной индустрии каждый из авторов оригинальной статьи SSIM был удостоен премии Primetime Engineering Emmy Award в 2015 году от Телевизионной академии .

Алгоритм

Индекс SSIM рассчитывается по различным окнам изображения. Расстояние между двумя окнами $x$ и $y$ обычного размера $N\times N$ является:

$${\hbox{SSIM}}(x,y)={\frac {(2\mu _{x}\mu _{y}+c_{1})(2\sigma _{xy}+c_{2})}{(\mu _{x}^{2}+\mu _{y}^{2}+c_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2})}}$$

с:

• $\mu _{x}$ выборки пикселей среднее значение $x$;
• $\mu _{y}$ выборки пикселей среднее значение $y$;
• $\sigma _{x}^{2}$ дисперсия ​ ​ $x$;
• $\sigma _{y}^{2}$ дисперсия ​ ​ $y$;
• $\sigma _{xy}$ ковариация ​ ​ $x$ и $y$;
• $c_{1}=(k_{1}L)^{2}$, $c_{2}=(k_{2}L)^{2}$ две переменные для стабилизации деления со слабым знаменателем;
• $L$ динамический диапазон значений пикселей (обычно это $2^{\#bits\ per\ pixel}-1$);
• $k_{1}=0.01$ и $k_{2}=0.03$ по умолчанию.

Компоненты формулы

Формула SSIM основана на трех сравнительных измерениях между выборками $x$ и $y$: яркость ( $l$), контраст ( $c$) и структура ( $s$). Отдельные функции сравнения:

$$l(x,y)={\frac {2\mu _{x}\mu _{y}+c_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+c_{1}}}$$

$$c(x,y)={\frac {2\sigma _{x}\sigma _{y}+c_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2}}}$$

$$s(x,y)={\frac {\sigma _{xy}+c_{3}}{\sigma _{x}\sigma _{y}+c_{3}}}$$

с, в дополнение к приведенным выше определениям:

• $c_{3}=c_{2}/2$

В таком случае SSIM представляет собой взвешенную комбинацию этих сравнительных показателей:

${\text{SSIM}}(x,y)=l(x,y)^{\alpha }\cdot c(x,y)^{\beta }\cdot s(x,y)^{\gamma }$

Установка весов $\alpha ,\beta ,\gamma$ до 1, формулу можно привести к виду, показанному выше.

Математические свойства

SSIM удовлетворяет тождеству неразличимых величин и свойствам симметрии, но не неравенству треугольника или неотрицательности и, следовательно, не является функцией расстояния . Однако при определенных условиях SSIM может быть преобразован в нормализованную корневую меру MSE, которая является функцией расстояния. Квадрат такой функции не выпуклый, а локально выпуклый и квазивыпуклый . что делает SSIM реальной целью для оптимизации.

Применение формулы

Чтобы оценить качество изображения, эта формула обычно применяется только к яркости , хотя ее также можно применять к значениям цвета (например, RGB ) или хроматических (например, YCbCr ) значений. Результирующий индекс SSIM представляет собой десятичное значение от -1 до 1, где 1 указывает на полное сходство, 0 указывает на отсутствие сходства, а -1 указывает на идеальную антикорреляцию. Для изображения оно обычно рассчитывается с использованием скользящего гауссовского окна размером 11x11 или блочного окна размером 8x8. Окно можно перемещать попиксельно на изображении, чтобы создать карту качества изображения SSIM. В случае оценки качества видео, авторы предлагают использовать только подгруппу возможных окон для уменьшения сложности расчета.

Варианты

Многомасштабный SSIM

Более продвинутая форма SSIM, называемая Multiscale SSIM (MS-SSIM). проводится в нескольких масштабах посредством процесса, состоящего из нескольких этапов подвыборки, напоминающего многомасштабную обработку в системе раннего зрения. Было показано, что он работает одинаково хорошо или лучше, чем SSIM, на различных базах данных субъективных изображений и видео.

Многокомпонентный SSIM

Трехкомпонентный SSIM (3-SSIM) — это форма SSIM, которая учитывает тот факт, что человеческий глаз может более точно видеть различия на текстурированных или краевых областях, чем на гладких областях. Результирующая метрика рассчитывается как средневзвешенное значение SSIM для трех категорий регионов: краев, текстур и гладких регионов. Предлагаемый вес составляет 0,5 для краев, 0,25 для текстурированных и гладких областей. Авторы отмечают, что взвешивание 1/0/0 (игнорируя все, кроме краевых искажений) приводит к результатам, которые ближе к субъективным оценкам. Это говорит о том, что краевые области играют доминирующую роль в восприятии качества изображения.

Авторы 3-SSIM также расширили модель до четырехкомпонентный SSIM (4-SSIM). Типы кромок далее подразделяются на сохранившиеся и измененные кромки в зависимости от степени их искажения. Предлагаемый весовой коэффициент составляет 0,25 для всех четырех компонентов.

Структурное несходство

Структурное несходство (DSSIM) может быть получено из SSIM, хотя оно не представляет собой функцию расстояния, поскольку неравенство треугольника не обязательно выполняется.

$${\hbox{DSSIM}}(x,y)={\frac {1-{\hbox{SSIM}}(x,y)}{2}}$$

Показатели качества видео и временные варианты

Стоит отметить, что первоначальная версия SSIM была разработана для измерения качества неподвижных изображений. Он не содержит каких-либо параметров, напрямую связанных с временными эффектами человеческого восприятия и человеческого суждения. Обычной практикой является вычисление среднего значения SSIM по всем кадрам видеопоследовательности. Однако было разработано несколько временных вариантов SSIM.

Комплексный вейвлет SSIM

Вариант сложного вейвлет-преобразования SSIM (CW-SSIM) предназначен для решения проблем масштабирования, перевода и вращения изображения. Вместо того, чтобы давать низкие оценки изображениям в таких условиях, CW-SSIM использует комплексное вейвлет-преобразование и, следовательно, дает более высокие оценки указанным изображениям. CW-SSIM определяется следующим образом:

$${\text{CW-SSIM}}(c_{x},c_{y})={\bigg (}{\frac {2\sum _{i=1}^{N}|c_{x,i}||c_{y,i}|+K}{\sum _{i=1}^{N}|c_{x,i}|^{2}+\sum _{i=1}^{N}|c_{y,i}|^{2}+K}}{\bigg )}{\bigg (}{\frac {2|\sum _{i=1}^{N}c_{x,i}c_{y,i}^{*}|+K}{2\sum _{i=1}^{N}|c_{x,i}c_{y,i}^{*}|+K}}{\bigg )}$$

Где $c_{x}$ это комплексное вейвлет-преобразование сигнала $x$ и $c_{y}$ это комплексное вейвлет-преобразование для сигнала $y$. Кроме того, $K$ — небольшое положительное число, используемое для обеспечения стабильности функции. В идеале оно должно быть равно нулю. Как и SSIM, CW-SSIM имеет максимальное значение 1. Максимальное значение 1 указывает на то, что два сигнала совершенно структурно схожи, а значение 0 указывает на отсутствие структурного сходства.

ПРОСТОЙ

Индекс SSIMPLUS основан на SSIM и является коммерчески доступным инструментом. Он расширяет возможности SSIM, в основном для видеоприложений. Он предоставляет оценки в диапазоне 0–100, линейно соответствующие субъективным оценкам человека. Это также позволяет адаптировать оценки к предполагаемому устройству просмотра, сравнивая видео в разных разрешениях и контенте.

По словам авторов, SSIMPLUS обеспечивает более высокую точность и скорость, чем другие показатели качества изображения и видео. Однако независимая оценка SSIMPLUS не проводилась, поскольку сам алгоритм не является общедоступным.

CSSIM

Для дальнейшего исследования стандартного дискретного SSIM с теоретической точки зрения, непрерывный SSIM (cSSIM) был введен и изучен в контексте интерполяции радиальной базисной функции .

СИМУЛАКРА

SSIMULACRA и SSIMULACRA2 — это варианты SSIM, разработанные Cloudinary с целью адаптации к данным субъективного мнения. Варианты работают в цветовом пространстве XYB и сочетают MS-SSIM с двумя типами асимметричных карт ошибок для блочности/звона и сглаживания/размытия, распространенных артефактов сжатия. SSIMULACRA2 является частью libjxl, эталонной реализации JPEG XL .

Другие простые модификации

Метрика взаимной корреляции r* основана на метриках дисперсии SSIM. Это определяется как r *( x , y ) = ⁠ σ _xy / σ _x σ _y ⁠ когда σ _x σ _y ≠ 0 , 1 , когда оба стандартных отклонения равны нулю, и 0 , когда только одно равно нулю. Он нашел применение при анализе реакции человека на фантомы с контрастными деталями.

SSIM также использовался для градиента изображений, что дало ему название «G-SSIM». G-SSIM особенно полезен при работе с размытыми изображениями.

Вышеуказанные модификации можно комбинировать. Например, 4-Gr* представляет собой комбинацию 4-SSIM, G-SSIM и r*. Он способен гораздо лучше отражать предпочтения рентгенологов в отношении изображений, чем другие протестированные варианты SSIM.

Приложение

SSIM имеет применение для решения самых разных задач. Некоторые примеры:

• Сжатие изображений. При сжатии изображений с потерями информация намеренно отбрасывается, чтобы уменьшить объем памяти для изображений и видео. MSE обычно используется в таких схемах сжатия. По мнению авторов, предлагается использовать SSIM вместо MSE для получения лучших результатов для распакованных изображений.
• Восстановление изображения. Восстановление изображения направлено на решение проблемы. $y=h*x+n$ где $y$ это размытое изображение, которое следует восстановить, $h$ это ядро ​​размытия, $n$ аддитивный шум и $x$ — исходное изображение, которое мы хотим восстановить. Традиционным фильтром, который используется для решения этой проблемы, является фильтр Винера. Однако конструкция фильтра Винера основана на MSE. По словам авторов алгоритма, использование варианта SSIM, в частности Stat-SSIM, дает лучшие визуальные результаты.
• Распознавание образов. Поскольку SSIM имитирует аспекты человеческого восприятия, его можно использовать для распознавания образов. Столкнувшись с такими проблемами, как масштабирование, перемещение и поворот изображения, авторы алгоритма утверждают, что лучше использовать CW-SSIM. который нечувствителен к этим изменениям и может применяться напрямую путем сопоставления шаблонов без использования какой-либо обучающей выборки. Поскольку подходы к распознаванию образов на основе данных могут обеспечить более высокую производительность, когда для обучения доступен большой объем данных, авторы предлагают использовать CW-SSIM в подходах, основанных на данных.

Сравнение производительности

Из-за своей популярности SSIM часто сравнивают с другими показателями, включая более простые показатели, такие как MSE и PSNR, а также другие показатели воспринимаемого качества изображения и видео . Неоднократно было показано, что SSIM значительно превосходит MSE и его производные по точности, включая исследования его собственных авторов и других.

В статье Доссельмана и Янга утверждается, что производительность SSIM «намного ближе к производительности MSE», чем обычно предполагается. Хотя они не оспаривают преимущество SSIM перед MSE, они констатируют аналитическую и функциональную зависимость между двумя показателями. Согласно их исследованиям, было обнаружено, что SSIM, как и методы на основе MSE, коррелирует с субъективными базами данных, отличными от баз данных создателей SSIM. В качестве примера они приводят Рейбмана и Пула, которые обнаружили, что MSE превосходит SSIM в базе данных, содержащей видео с потерей пакетов. В другой статье была выявлена ​​аналитическая связь между PSNR и SSIM.

См. также

• Среднеквадратическая ошибка
• Пиковое соотношение сигнал/шум
• Видео Многометодная оценка (VMAF)
• Качество видео

Внешние ссылки

• Домашняя страница
• Реализация ржавчины
• Реализация C/C++
• Реализация DSSIM на C++
• Реализация C# Криса Ломонта
• реализация qpsnr (многопоточный C++)
• Реализация в программном обеспечении VQMT
• Реализация на Python
• «Тайна мер сходства MSE и SSIM», Гинтаутас Палубинскас, 2014 г.