Дескриптор цветового макета

При изображений и цифровой обработке видео дескриптор цветового расположения ( CLD предназначен для фиксации пространственного распределения цвета ) в изображении. Процесс извлечения признаков состоит из двух частей: выбора репрезентативного цвета на основе сетки и дискретного косинусного преобразования с квантованием.

Цвет — это самое основное качество визуального контента, поэтому цвета можно использовать для описания и представления изображения. Стандарт MPEG-7 проверил наиболее эффективную процедуру описания цвета и выбрал те, которые дали более удовлетворительные результаты. Этот стандарт предлагает различные методы получения этих дескрипторов , и одним из инструментов, определенных для описания цвета, является CLD, который позволяет описывать цветовое соотношение между последовательностями или группами изображений.

CLD фиксирует пространственное расположение репрезентативных цветов на сетке, наложенной на область или изображение. Представление основано на коэффициентах дискретного косинусного преобразования (ДКП). Это очень компактный дескриптор, который очень эффективен в приложениях быстрого просмотра и поиска. Его можно применять как к неподвижным изображениям, так и к фрагментам видео.

Определение

CLD — это очень компактное и не зависящее от разрешения представление цвета для высокоскоростного поиска изображений , разработанное для эффективного представления пространственного распределения цветов. Эту функцию можно использовать для широкого спектра поиска на основе сходства, фильтрации контента и визуализации. Это особенно полезно для приложений поиска на основе пространственной структуры. Этот дескриптор получается путем применения преобразования DCT к двумерному массиву локальных репрезентативных цветов в цветовом пространстве Y, Cb или Cr . Функциональные возможности CLD в основном совпадают:

– Сопоставление изображений с изображениями

– Сопоставление видеоклипов с видеоклипами

Обратите внимание, что CLD является одним из наиболее точных и быстрых дескрипторов цвета.

Процесс извлечения CLD

Добыча

См. также: YUV § Преобразование между Y'UV и RGB.

Процесс извлечения этого цветового дескриптора состоит из четырех этапов:

• Разделение изображений
• Представительный выбор цвета
• Преобразование ДКП
• Зигзагообразное сканирование

Стандарт MPEG-7 рекомендует использовать цветовое пространство YCbCr для CLD.

Разделение изображений

Разделение изображений

См. также: Сегментация изображений.

На этапе разделения изображения входное изображение (в цветовом пространстве RGB ) делится на 64 блока, чтобы гарантировать инвариантность к разрешению или масштабу. Входные и выходные данные этого этапа суммированы в следующей таблице:

Входной каскад 1	Выходной каскад 1
Входное изображение [M x N]	Входное изображение, разделенное на 64 блока [M/8xN/8]

Представительный выбор цвета

Представительный выбор цвета

После этапа разделения изображения из каждого блока выбирается один репрезентативный цвет. Можно применить любой метод выбора репрезентативного цвета, но стандарт рекомендует использовать среднее значение цветов пикселей в блоке в качестве соответствующего репрезентативного цвета, поскольку это проще и точность описания в целом достаточна. В результате выбора появляется крошечный значок изображения размером 8x8. На следующем рисунке показан этот процесс. Обратите внимание, что в изображении фигуры разрешение исходного изображения сохранено только для облегчения его представления. Входные и выходные данные этого этапа суммированы в следующей таблице:

Входной этап 2	Выходной каскад 2
Входное изображение разделено на 64 блока [M/8xN/8]	Маленький значок изображения [8x8]

После получения крошечного значка изображения применяется преобразование цветового пространства между RGB и YCbCr.

Входной этап 3	Выходной каскад 3
Крошечный значок изображения [8x8] в цветовом пространстве RGB	Крошечный значок изображения [8x8] в цветовом пространстве YCbCr.

Преобразование ДКП

На четвертом этапе яркость синего и красного цветов (Y), а также цветность (Cb и Cr) преобразуются с помощью DCT 8x8, поэтому получаются три набора из 64 коэффициентов DCT. Для расчета DCT в 2D-массиве используются приведенные ниже формулы.

$B_{pq}=\alpha _{p}\alpha _{q}\sum _{m=0}^{M-1}\sum _{n=0}^{N-1}A_{mn}\cos {\frac {\pi (2m+1)p}{2M}}\cos {\frac {\pi (2n+1)q}{2N}},\qquad 0\leq p\leq M-1,\;0\leq q\leq N-1$

$\alpha _{p}={\begin{cases}{\frac {1}{\sqrt {M}}},&p=0\\{\sqrt {\frac {2}{M}}},&1\leq p\leq M-1\end{cases}}\qquad \alpha _{q}={\begin{cases}{\frac {1}{\sqrt {N}}},&q=0\\{\sqrt {\frac {2}{N}}},&1\leq q\leq N-1\end{cases}}$

Входные и выходные данные этого этапа суммированы в следующей таблице:

Входной этап 4	Выходной каскад 4
Маленький значок изображения [8x8] в цветовом пространстве YCbCr	3 [8x8] матрица из 64 коэффициентов (DCTY, DCTCb, DCTCr)

Зигзагообразное сканирование

Зигзагообразное сканирование

Зигзагообразное сканирование выполняется с этими тремя наборами из 64 коэффициентов DCT согласно схеме, представленной на рисунке. Целью зигзагообразного сканирования является группировка низкочастотных коэффициентов матрицы 8х8. Входные и выходные данные этого этапа суммированы в следующей таблице:

Входной этап 5	Выходной каскад 5
3 [8x8] матрица из 64 коэффициентов (DCTY, DCTCb, DCTCr)	3 матрицы зигзагообразного сканирования (ДИ, ДКб, ДКр)

Наконец, эти три набора матриц соответствуют CLD входного изображения.

Соответствие

Процесс сопоставления помогает оценить, равны ли два элемента, сравнивая оба элемента и вычисляя расстояние между ними. В случае дескрипторов цвета процесс сопоставления помогает оценить, похожи ли два изображения. Его процедура следующая:

– Учитывая изображение в качестве входных данных, приложение пытается найти изображение с аналогичным дескриптором в базе данных изображений.

Если мы рассмотрим два CLD:

{DY, DCb, DCr}

{ DY‟, DCb‟, DCr‟ },

Расстояние между двумя дескрипторами можно вычислить как:

$D={\sqrt {\sum _{i}w_{yi}(DY_{i}-DY_{i}')^{2}}}+{\sqrt {\sum _{i}w_{bi}(DCb_{i}-DCb_{i}')^{2}}}+{\sqrt {\sum _{i}w_{ri}(DCr_{i}-DCr_{i}')^{2}}}$

Индекс i представляет порядок зигзагообразного сканирования коэффициентов. Кроме того, обратите внимание, что можно взвешивать коэффициенты (w), чтобы регулировать производительность процесса сопоставления. Эти веса позволяют нам придавать некоторым компонентам дескриптора большее значение, чем другим. Соблюдая формулу, можно получить следующее:

– 2 изображения одинаковы, если расстояние равно 0

– 2 изображения похожи, если расстояние близко к 0

Таким образом, этот процесс сопоставления позволит идентифицировать изображения со схожими цветовыми дескрипторами. Поскольку сложность процесса сопоставления изображений, показанного выше, невелика, можно добиться высокоскоростного сопоставления изображений.

См. также

• JPEG § Дискретное косинусное преобразование . Содержит более простой для понимания пример преобразования ДКП.
• MPEG-7
• Визуальные дескрипторы

Внешние ссылки

• МАСТЕРСКАЯ ДИССЕРТАЦИЯ – Классификация и описание изображений на основе цвета (Серджи Лаэнсина Вердагер)
• Связь визуальных и семантических дескрипторов образов (Й. Штаудер и Й. Сирот)