Обработка изображений в градиентной области

Обработка изображений в градиентной области , также называемая редактированием изображений Пуассона . ^[1] — это тип цифровой обработки изображений , который воздействует непосредственно на различия между соседними пикселями, а не на значения пикселей. Математически градиент изображения представляет собой производную изображения, поэтому цель обработки области градиента — построить новое изображение путем интегрирования градиента, что требует решения уравнения Пуассона . ^[2]

Обзор

Обработка изображений в градиентной области представляет собой двухэтапный процесс. Первый шаг — выбрать градиент изображения. Часто это извлекается из одного или нескольких изображений, а затем модифицируется, но его также можно получить и другими способами. Например, некоторые исследователи изучили преимущества рисования пользователями непосредственно в области градиента. ^[3] в то время как другие предложили брать образцы градиента непосредственно с сенсора камеры. ^[4] Второй шаг — решить уравнение Пуассона, чтобы найти новое изображение, которое может создать градиент из первого шага. Точного решения часто не существует, поскольку модифицированное поле градиента больше не является консервативным , поэтому находится изображение, максимально близко аппроксимирующее желаемый градиент.

Редактирование изображений

Градиент получается из существующего изображения и модифицируется для целей редактирования изображения . Различные операторы, такие как конечная разность или Собел , могут использоваться для поиска градиента данного изображения. Затем этим градиентом можно манипулировать напрямую для создания нескольких различных эффектов при расчете результирующего изображения. Например, если равномерная константа масштабирует градиент, в результате получается простой фильтр повышения резкости. Фильтр повышения резкости можно создать, масштабируя градиент только в тех областях, которые считаются важными. ^[2] Другие области применения включают бесшовное сшивание изображений , ^[5] удаление ненужных деталей с изображения, ^[1] нефотореалистичные фильтры рендеринга, ^[2] изображения разблокировка , ^[2] возможность плавного клонирования одной части изображения в другую способами, которые трудно достичь с помощью традиционных методов работы с областью изображения, ^[1] и визуализация в широком динамическом диапазоне ^[6] Эти методы редактирования в градиентной области также можно распространить на движущиеся изображения, если рассматривать видеоклип как куб пикселей и решить трехмерное уравнение Пуассона. ^[7]

Бесшовное клонирование изображений

Цифровая композиция — это распространенная задача при редактировании изображений, при которой часть или вся одна фотография вставляется в другую. Традиционно это делается путем вставки значений пикселей из одного изображения в другое. Хорошо обученный художник может создать убедительную композицию, используя традиционные методы, но для того, чтобы она заработала, обычно требуется трудоемкая коррекция цвета и вырезание маски. В качестве альтернативы вставку можно выполнить в области градиента: если вставляются различия между пикселями, а не фактические значения пикселей, иногда для достижения чистого результата требуется гораздо меньше пользовательского ввода. В следующем примере показано использование обработки изображений в градиентной области для плавной вставки из одного изображения в другое.

Входное изображение А
Входное изображение Б
Модифицированный градиент. Это результат вставки градиента B в градиент A.
Реконструированное изображение. Это результат решения уравнения Пуассона для модифицированного градиента. Стык между двумя изображениями едва заметен.
Традиционная вставка доменного изображения. Это результат вставки значений пикселей непосредственно из B в A. Налицо очевидный шов.

Обратите внимание, что рука и глаз слегка изменили цвет на изображении, восстановленном с помощью модифицированного градиента. Это произошло потому, что решатель был настроен на поиск всего изображения. Однако можно добавить ограничения, чтобы решалась только вставленная часть, оставляя остальную часть изображения неизмененной. Также стоит отметить, что градиент, изображенный выше, представляет собой производную только одного цветового канала (красного) и был визуализирован с использованием цветов, представляющих силу и направление градиента. На практике для каждого цветового канала находятся два изображения градиента в оттенках серого , одно представляет изменение x , а другое представляет изменение y . Каждый цветовой канал решается независимо при восстановлении конечного изображения.

Ссылки

^ Перейти обратно: ^а ^б ^с Перес, Патрик; Ганнет, Мишель; Блейк, Эндрю (2003). «Редактирование изображений Пуассона» (PDF) . ACM SIGGRAPH 2003 Статьи по SIGGRAPH '03 . п. 313. дои : 10.1145/1201775.882269 . ISBN 1581137095 . S2CID 6541990 .
^ Перейти обратно: ^а ^б ^с ^д Бхат, Правин; Зитник, К. Лоуренс; Коэн, Майкл; Керлесс, Брайан (2010). « Магазин градиентов » (PDF) . Транзакции ACM с графикой . 29 (2): 1–14. дои : 10.1145/1731047.1731048 . S2CID 3097999 .
^ Макканн, Джеймс; Поллард, Нэнси С. (2008). «Градиентная живопись в реальном времени» (PDF) . Транзакции ACM с графикой . 27 (3): 1–7. дои : 10.1145/1360612.1360692 .
^ Тамблин, Дж.; Агравал, А.; Раскар, Р. (2005). «Почему мне нужна градиентная камера». Конференция IEEE Computer Society 2005 г. по компьютерному зрению и распознаванию образов (CVPR'05) (PDF) . Том. 1. С. 103–110. дои : 10.1109/CVPR.2005.374 . ISBN 0-7695-2372-2 . S2CID 1821571 .
^ Левин, Анат; Зомет, Ассаф; Пелег, Шмуэль; Вайс, Яир (2004). «Бесшовное сшивание изображений в области градиента» (PDF) . Компьютерное зрение – ECCV 2004 . Конспекты лекций по информатике. Том. 3024. стр. 377–389. дои : 10.1007/978-3-540-24673-2_31 . ISBN 978-3-540-21981-1 .
^ Фаттал, Раанан; Лищинский, Дэни; Верман, Майкл (2002). «Сжатие расширенного динамического диапазона в градиентной области» (PDF) . Материалы 29-й ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH '02 . п. 249. дои : 10.1145/566570.566573 . ISBN 1581135211 . S2CID 1650337 .
^ Ван, Хунчэн; Сюй, Нин; Раскар, Рамеш; Ахуджа, Нарендра (2007). «Videoshop: новая платформа для пространственно-временного редактирования видео в области градиентов». Графические модели . 69 : 57–70. дои : 10.1016/j.gmod.2006.06.002 .

[Perez2003-1] Перейти обратно: ^а ^б ^с Перес, Патрик; Ганнет, Мишель; Блейк, Эндрю (2003). «Редактирование изображений Пуассона» (PDF) . ACM SIGGRAPH 2003 Статьи по SIGGRAPH '03 . п. 313. дои : 10.1145/1201775.882269 . ISBN 1581137095 . S2CID 6541990 .

[Bhat2010-2] Перейти обратно: ^а ^б ^с ^д Бхат, Правин; Зитник, К. Лоуренс; Коэн, Майкл; Керлесс, Брайан (2010). « Магазин градиентов » (PDF) . Транзакции ACM с графикой . 29 (2): 1–14. дои : 10.1145/1731047.1731048 . S2CID 3097999 .

[3] Макканн, Джеймс; Поллард, Нэнси С. (2008). «Градиентная живопись в реальном времени» (PDF) . Транзакции ACM с графикой . 27 (3): 1–7. дои : 10.1145/1360612.1360692 .

[4] Тамблин, Дж.; Агравал, А.; Раскар, Р. (2005). «Почему мне нужна градиентная камера». Конференция IEEE Computer Society 2005 г. по компьютерному зрению и распознаванию образов (CVPR'05) (PDF) . Том. 1. С. 103–110. дои : 10.1109/CVPR.2005.374 . ISBN 0-7695-2372-2 . S2CID 1821571 .

[5] Левин, Анат; Зомет, Ассаф; Пелег, Шмуэль; Вайс, Яир (2004). «Бесшовное сшивание изображений в области градиента» (PDF) . Компьютерное зрение – ECCV 2004 . Конспекты лекций по информатике. Том. 3024. стр. 377–389. дои : 10.1007/978-3-540-24673-2_31 . ISBN 978-3-540-21981-1 .

[6] Фаттал, Раанан; Лищинский, Дэни; Верман, Майкл (2002). «Сжатие расширенного динамического диапазона в градиентной области» (PDF) . Материалы 29-й ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH '02 . п. 249. дои : 10.1145/566570.566573 . ISBN 1581135211 . S2CID 1650337 .

[7] Ван, Хунчэн; Сюй, Нин; Раскар, Рамеш; Ахуджа, Нарендра (2007). «Videoshop: новая платформа для пространственно-временного редактирования видео в области градиентов». Графические модели . 69 : 57–70. дои : 10.1016/j.gmod.2006.06.002 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]