Размытие по Гауссу

При обработке изображений размытие по Гауссу (также известное как сглаживание по Гауссу ) является результатом размытия изображения с помощью функции Гаусса (названной в честь математика и ученого Карла Фридриха Гаусса ).

Это широко используемый эффект в графическом программном обеспечении, обычно для уменьшения шума изображения и уменьшения детализации. Визуальный эффект этого метода размытия представляет собой плавное размытие, напоминающее просмотр изображения через полупрозрачный экран, заметно отличающееся от эффекта боке, создаваемого расфокусированной линзой или тени объекта при обычном освещении.

Сглаживание по Гауссу также используется в качестве этапа предварительной обработки в алгоритмах компьютерного зрения для улучшения структур изображений в разных масштабах — см. представление масштабного пространства и реализация масштабного пространства .

Математика

Математически применение размытия по Гауссу к изображению аналогично свертке изображения с помощью функции Гаусса . Это также известно как двумерное преобразование Вейерштрасса . Напротив, свертка по кругу (т. е. размытие в виде круглой рамки ) более точно воспроизведет эффект боке .

Поскольку преобразование Фурье гауссиана является другим гауссианом, применение размытия по Гауссу приводит к уменьшению высокочастотных компонентов изображения; Таким образом, размытие по Гауссу является фильтром нижних частот .

Размытие по Гауссу — это тип фильтра размытия изображения, который использует функцию Гаусса (которая также выражает нормальное распределение в статистике) для расчета преобразования , применяемого к каждому пикселю изображения. Формула функции Гаусса в одном измерении: $G(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {x^{2}}{2\sigma ^{2}}}}$

В двух измерениях это произведение двух таких функций Гаусса, по одной в каждом измерении: ^[1]^[2]^[3] $G(x,y)={\frac {1}{2\pi \sigma ^{2}}}e^{-{\frac {x^{2}+y^{2}}{2\sigma ^{2}}}}$ где x — расстояние от начала координат по горизонтальной оси, y — расстояние от начала координат по вертикальной оси, а σ — стандартное отклонение распределения Гаусса. Важно отметить, что начало координат по этим осям находится в центре (0, 0). При применении в двух измерениях эта формула создает поверхность, контуры которой представляют собой концентрические круги с гауссовским распределением от центральной точки.

Значения из этого распределения используются для построения матрицы свертки , которая применяется к исходному изображению. Этот процесс свертки визуально проиллюстрирован на рисунке справа. Новое значение каждого пикселя устанавливается как средневзвешенное значение окрестности этого пикселя. Значение исходного пикселя получает наибольший вес (имеющее наибольшее значение Гаусса), а соседние пиксели получают меньшие веса по мере увеличения их расстояния до исходного пикселя. В результате получается размытие, которое сохраняет границы и края лучше, чем другие, более равномерные фильтры размытия; см. также реализацию масштабирования пространства .

Теоретически функция Гаусса в каждой точке изображения будет ненулевой, а это означает, что в расчеты для каждого пикселя необходимо будет включить все изображение. На практике при вычислении дискретной аппроксимации функции Гаусса пиксели на расстоянии более 3 σ оказывают достаточно небольшое влияние , чтобы считаться фактически нулевым. Таким образом, вклад пикселей за пределами этого диапазона можно игнорировать. Обычно программе обработки изображений достаточно рассчитать только матрицу с размерами $\lceil 6\sigma \rceil$ × $\lceil 6\sigma \rceil$ (где $\lceil \cdot \rceil$ — функция потолка ), чтобы обеспечить результат, достаточно близкий к результату, полученному для всего распределения Гаусса.

Помимо круговой симметрии, размытие по Гауссу может применяться к двумерному изображению как два независимых одномерных расчета, поэтому его называют разделяемым фильтром . То есть эффекта от применения двумерной матрицы можно также достичь, применив ряд одномерных гауссовских матриц в горизонтальном направлении, а затем повторив процесс в вертикальном направлении. С вычислительной точки зрения это полезное свойство, поскольку расчет можно выполнить в $O\left(w_{\text{kernel}}w_{\text{image}}h_{\text{image}}\right)+O\left(h_{\text{kernel}}w_{\text{image}}h_{\text{image}}\right)$ время (где h — высота, а w — ширина; см. обозначение Big O ), в отличие от $O\left(w_{\text{kernel}}h_{\text{kernel}}w_{\text{image}}h_{\text{image}}\right)$ для неразборного ядра.

Применение последовательного размытия по Гауссу к изображению имеет тот же эффект, что и применение одного, более крупного размытия по Гауссу, радиус которого равен квадратному корню из суммы квадратов фактически примененных радиусов размытия. Например, применение последовательного размытия по Гауссу с радиусами 6 и 8 дает те же результаты, что и применение одного размытия по Гауссу радиусом 10, поскольку ${\sqrt {6^{2}+8^{2}}}=10$ . Из-за этой взаимосвязи время обработки невозможно сэкономить, моделируя размытие по Гауссу с последовательными меньшими размытиями — необходимое время будет, по крайней мере, таким же большим, как при выполнении одного большого размытия.

Два уменьшенных изображения Флага Содружества Наций . Перед уменьшением масштаба к нижнему изображению применялось размытие по Гауссу, но не к верхнему. Размытие делает изображение менее резким, но предотвращает образование артефактов наложения муара .

Размытие по Гауссу обычно используется при уменьшении размера изображения. При понижении разрешения изображения перед повторной дискретизацией обычно к нему применяется фильтр нижних частот. Это делается для того, чтобы в изображении с пониженной дискретизацией не появлялась ложная высокочастотная информация ( алиасинг ). Размытие по Гауссу имеет хорошие свойства, например, отсутствие резких краев и, следовательно, не вносит звон в отфильтрованное изображение.

Фильтр нижних частот

Размытие по Гауссу — это фильтр нижних частот , ослабляющий высокочастотные сигналы. ^[3]

Его амплитудный график Боде ( логарифмический масштаб в частотной области ) представляет собой параболу .

Уменьшение дисперсии

Сколько стоит фильтр Гаусса со стандартным отклонением $\sigma _{f}$ сгладить картинку? Другими словами, насколько это уменьшает стандартное отклонение значений пикселей на изображении? Предположим, что значения пикселей в оттенках серого имеют стандартное отклонение. $\sigma _{X}$ , то после применения фильтра приведенное стандартное отклонение $\sigma _{r}$ можно аппроксимировать как ^{[ нужна ссылка ]} $\sigma _{r}\approx {\frac {\sigma _{X}}{\sigma _{f}2{\sqrt {\pi }}}}.$

Пример гауссовой матрицы

Эта выборочная матрица создается путем выборки ядра гауссовского фильтра (с σ = 0,84089642) в средних точках каждого пикселя и последующей нормализации. Центральный элемент (в [0, 0]) имеет наибольшее значение, уменьшающееся симметрично по мере увеличения расстояния от центра. Поскольку начало ядра фильтра находится в центре, матрица начинается с ${\textstyle G(-R,-R)}$ и заканчивается в ${\textstyle G(R,R)}$ где R равен радиусу ядра.

${\begin{bmatrix}0.00000067&0.00002292&{\textbf {0.00019117}}&0.00038771&{\textbf {0.00019117}}&0.00002292&0.00000067\\0.00002292&0.00078633&0.00655965&0.01330373&0.00655965&0.00078633&0.00002292\\{\textbf {0.00019117}}&0.00655965&0.05472157&0.11098164&0.05472157&0.00655965&{\textbf {0.00019117}}\\0.00038771&0.01330373&0.11098164&{\textbf {0.22508352}}&0.11098164&0.01330373&0.00038771\\{\textbf {0.00019117}}&0.00655965&0.05472157&0.11098164&0.05472157&0.00655965&{\textbf {0.00019117}}\\0.00002292&0.00078633&0.00655965&0.01330373&0.00655965&0.00078633&0.00002292\\0.00000067&0.00002292&{\textbf {0.00019117}}&0.00038771&{\textbf {0.00019117}}&0.00002292&0.00000067\end{bmatrix}}$

Элемент 0,22508352 (центральный) в 1177 раз больше элемента 0,00019117, который находится сразу за пределами 3σ.

Выполнение

Эффект размытия по Гауссу обычно создается путем свертки изображения с КИХ- ядром гауссовских значений, см. ^[4] на углубленное лечение.

На практике лучше всего воспользоваться свойством отделяемости размытия по Гауссу, разделив процесс на два прохода. На первом проходе одномерное ядро используется для размытия изображения только в горизонтальном или вертикальном направлении. На втором проходе то же одномерное ядро используется для размытия в оставшемся направлении. Получающийся эффект аналогичен свертке с двумерным ядром за один проход, но требует меньше вычислений.

Дискретизация обычно достигается путем выборки ядра гауссовского фильтра в дискретных точках, обычно в позициях, соответствующих средним точкам каждого пикселя. Это снижает вычислительные затраты, но для очень маленьких ядер фильтра точечная выборка функции Гаусса с очень небольшим количеством выборок приводит к большой ошибке. В этих случаях точность поддерживается (при небольших вычислительных затратах) за счет интегрирования функции Гаусса по площади каждого пикселя. ^[5]

При преобразовании непрерывных значений гауссианы в дискретные значения, необходимые для ядра, сумма значений будет отличаться от 1. Это приведет к затемнению или осветлению изображения. Чтобы исправить это, значения можно нормализовать, разделив каждый член ядра на сумму всех членов ядра.

Гораздо лучший и теоретически более обоснованный подход — вместо этого выполнять сглаживание с помощью дискретного аналога ядра Гаусса , ^[6] которое обладает теми же свойствами над дискретной областью, что и делает непрерывное ядро Гаусса специальным над непрерывной областью, например, ядро, соответствующее решению уравнения диффузии, описывающего процесс пространственного сглаживания, подчиняющееся свойству полугруппы над добавками дисперсии ядра или описывающего эффект броуновского движения в пространственной области, причем сумма его значений точно равна 1. Более подробное описание дискретного аналога гауссовского ядра см. в статье о масштабном пространстве. реализация и. ^[6]

Эффективность FIR снижается при высоких сигмах. Альтернативы КИХ-фильтру существуют. К ним относятся очень быстрое размытие нескольких блоков , быстрый и точный IIR детектор краев Deriche , «стековое размытие», основанное на размытии блока, и многое другое. ^[7]

Временно-причинное временное сглаживание

Для обработки предварительно записанных временных сигналов или видео ядро Гаусса также можно использовать для сглаживания временной области, поскольку данные предварительно записаны и доступны во всех направлениях. Однако при обработке временных сигналов или видео в ситуациях реального времени ядро Гаусса нельзя использовать для временного сглаживания, поскольку оно будет иметь доступ к данным из будущего, которые, очевидно, не могут быть доступны. Для временного сглаживания в ситуациях реального времени вместо этого можно использовать временное ядро, называемое ядром причинно-временного предела, ^[8] которое обладает аналогичными свойствами в причинно-временной ситуации (несоздание новых структур в направлении увеличения масштаба и временной масштабной ковариации), как подчиняется гауссово ядро в непричинном случае. Ядро временного предела соответствует свертке с бесконечным числом усеченных экспоненциальных ядер, связанных каскадом, со специально выбранными постоянными времени. Для дискретных данных это ядро часто можно хорошо аппроксимировать численно небольшим набором рекурсивных фильтров первого порядка, соединенных каскадом, см. ^[8] для получения более подробной информации.

Обычное использование

Обнаружение края

Сглаживание по Гауссу обычно используется при обнаружении границ . Большинство алгоритмов обнаружения краев чувствительны к шуму; 2D фильтр Лапласа, построенный на основе дискретизации оператора Лапласа , очень чувствителен к шумной среде.

Использование фильтра размытия по Гауссу перед обнаружением краев направлено на снижение уровня шума в изображении, что улучшает результат следующего алгоритма обнаружения краев. Этот подход обычно называют лапласианом Гаусса или фильтрацией LoG. ^[9]

Фотография

более низкого уровня Цифровые камеры , в том числе многие камеры мобильных телефонов , обычно используют размытие по Гауссу. ^{[ нужна ссылка ]} для скрытия шума изображения , вызванного более высокой светочувствительностью ISO .

Размытие по Гауссу автоматически применяется в рамках постобработки фотографии программным обеспечением камеры, что приводит к необратимой потере деталей. ^[10]^{[ нужен лучший источник ]}

См. также

Примечания и ссылки

^ Шапиро, Л.Г. и Стокман, Г.К.: «Компьютерное зрение», стр. 137, 150. Прентис Холл, 2001 г.
^ Марк С. Никсон и Альберто С. Агуадо. Извлечение признаков и обработка изображений . Академическое издательство, 2008, с. 88.
^ Перейти обратно: ^а ^б Р. А. Хаддад и А. Н. Акансу, « Класс быстрых гауссовских биномиальных фильтров для обработки речи и изображений », Транзакции IEEE по акустике, речи и обработке сигналов, том. 39, стр. 723–727, март 1991 г.
^ Линдеберг, Т., «Дискретные аппроксимации гауссовского сглаживания и гауссовских производных», Журнал Mathematical Imaging and Vision, 2024.
^ Эрик Рейнхард. Визуализация с высоким динамическим диапазоном: сбор данных, отображение и освещение на основе изображения . Морган Кауфманн, 2006, стр. 233–234.
^ Перейти обратно: ^а ^б Линдеберг Т., «Масштабное пространство для дискретных сигналов», PAMI (12), № 3, март 1990 г., стр. 234–254.
^ Гетрёйер, Паскаль (17 декабря 2013 г.). «Обзор алгоритмов гауссовой свертки» . Обработка изображений в режиме онлайн . 3 : 286–310. дои : 10.5201/ipol.2013.87 . ( код документа )
^ Перейти обратно: ^а ^б Линдеберг, Т. (23 января 2023 г.). «Причинно-временное и рекурсивное во времени масштабно-пространственное представление временных сигналов и прошлого времени» . Биологическая кибернетика . 117 (1–2): 21–59. дои : 10.1007/s00422-022-00953-6 . ПМЦ 10160219 . ПМИД 36689001 .
^ Фишер, Перкинс, Уокер и Вольфарт (2003). «Пространственные фильтры — Лапласиан Гаусса» . Проверено 13 сентября 2010 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Риттер, Франк (24 октября 2013 г.). «Камеры смартфонов: почему уже недостаточно делать хорошие фотографии [Комментарий]» . ГИГА (на немецком языке). Телевидение ГИГА . Архивировано из оригинала 18 июля 2021 года . Проверено 20 сентября 2020 г. Пиксельная грязь доминирует на фотографиях, сделанных ночью.

Внешние ссылки

GLSL-реализация разделимого фильтра размытия по Гауссу .
Пример размытия по Гауссу (фильтрация нижних частот), примененного к гравюре и гравюре с целью удаления деталей для сравнения изображений.
Mathematica GaussianFilter Функция

OpenCV (C++) GaussianBlur Функция

[ShapiroStockman-1] Шапиро, Л.Г. и Стокман, Г.К.: «Компьютерное зрение», стр. 137, 150. Прентис Холл, 2001 г.

[NixonAguado-2] Марк С. Никсон и Альберто С. Агуадо. Извлечение признаков и обработка изображений . Академическое издательство, 2008, с. 88.

[HaddadAkansu-3] Перейти обратно: ^а ^б Р. А. Хаддад и А. Н. Акансу, « Класс быстрых гауссовских биномиальных фильтров для обработки речи и изображений », Транзакции IEEE по акустике, речи и обработке сигналов, том. 39, стр. 723–727, март 1991 г.

[Lin24-4] Линдеберг, Т., «Дискретные аппроксимации гауссовского сглаживания и гауссовских производных», Журнал Mathematical Imaging and Vision, 2024.

[Reinhard-5] Эрик Рейнхард. Визуализация с высоким динамическим диапазоном: сбор данных, отображение и освещение на основе изображения . Морган Кауфманн, 2006, стр. 233–234.

[tpl90-6] Перейти обратно: ^а ^б Линдеберг Т., «Масштабное пространство для дискретных сигналов», PAMI (12), № 3, март 1990 г., стр. 234–254.

[7] Гетрёйер, Паскаль (17 декабря 2013 г.). «Обзор алгоритмов гауссовой свертки» . Обработка изображений в режиме онлайн . 3 : 286–310. дои : 10.5201/ipol.2013.87 . ( код документа )

[Lin23-8] Перейти обратно: ^а ^б Линдеберг, Т. (23 января 2023 г.). «Причинно-временное и рекурсивное во времени масштабно-пространственное представление временных сигналов и прошлого времени» . Биологическая кибернетика . 117 (1–2): 21–59. дои : 10.1007/s00422-022-00953-6 . ПМЦ 10160219 . ПМИД 36689001 .

[9] Фишер, Перкинс, Уокер и Вольфарт (2003). «Пространственные фильтры — Лапласиан Гаусса» . Проверено 13 сентября 2010 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )

[10] Риттер, Франк (24 октября 2013 г.). «Камеры смартфонов: почему уже недостаточно делать хорошие фотографии [Комментарий]» . ГИГА (на немецком языке). Телевидение ГИГА . Архивировано из оригинала 18 июля 2021 года . Проверено 20 сентября 2020 г. Пиксельная грязь доминирует на фотографиях, сделанных ночью.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]