Масштабирование изображения

В компьютерной графике и цифровых изображениях масштабирование означает изображения изменение размера цифрового изображения. В видеотехнологиях увеличение цифрового материала известно как масштабирование или повышение разрешения .

При масштабировании векторного графического изображения графические примитивы, составляющие изображение, можно масштабировать с помощью геометрических преобразований без потери качества изображения . При масштабировании изображения растровой графики необходимо создать новое изображение с большим или меньшим количеством пикселей. В случае уменьшения количества пикселей (масштабирования) это обычно приводит к видимой потере качества. С точки зрения цифровой обработки сигналов масштабирование растровой графики представляет собой двумерный пример преобразования частоты дискретизации , преобразования дискретного сигнала из одной частоты дискретизации (в данном случае локальной частоты дискретизации) в другую.

Математический

Масштабирование изображения можно интерпретировать как форму повторной выборки изображения или реконструкции изображения с точки зрения теоремы выборки Найквиста . Согласно теореме, понижение разрешения до меньшего изображения из оригинала с более высоким разрешением может быть выполнено только после применения подходящего 2D -фильтра сглаживания для предотвращения артефактов сглаживания. Изображение сводится к информации, которую может нести меньшее изображение.

В случае повышающей дискретизации фильтр реконструкции заменяет фильтр сглаживания.

Исходное изображение размером 160 x 160 пикселей.
Исходное изображение в пространственно-частотной области
2D- фильтр с низкочастотным фильтром , но все еще с разрешением 160x160 пикселей.
Отфильтрованное изображение в пространственно-частотной области

Изображение размером 160x160 пикселей с низкочастотной фильтрацией, 4× уменьшенное до 40x40 пикселей
4 × повышение разрешения Фурье изображения с понижением разрешения 40x40 пикселей до 160x160 пикселей (правильная реконструкция)
4 × повышение разрешения Фурье изображения с разрешением 40x40 пикселей, уменьшенного до 160x160 пикселей (с псевдонимами)

Более сложный подход к масштабированию рассматривает проблему как обратную задачу , решая вопрос создания правдоподобного изображения, которое при уменьшении масштаба выглядело бы как входное изображение. Для этого применялись различные методы, включая методы оптимизации с условиями регуляризации и использование машинного обучения на примерах.

Алгоритмы

Размер изображения можно изменить несколькими способами.

Интерполяция ближайшего соседа

Одним из более простых способов увеличения размера изображения является интерполяция ближайшего соседа , заменяющая каждый пиксель ближайшим пикселем на выходе; для масштабирования это означает, что будет присутствовать несколько пикселей одного цвета. Это может сохранить резкие детали, но также внести неровности в ранее гладкие изображения. «Ближайший» в списке ближайших соседей не обязательно должен быть математически ближайшим. Одна из распространенных реализаций — всегда округлять в сторону нуля. Такое округление приводит к меньшему количеству артефактов и ускоряет расчет. ^{[ нужна ссылка ]}

Этот алгоритм часто предпочтительнее для изображений, у которых практически нет гладких краев. Общее применение этому можно найти в пиксельной графике .

Билинейные и бикубические алгоритмы

Билинейная интерполяция работает путем интерполяции значений цвета пикселей, создавая непрерывный переход на выходе, даже если исходный материал имеет дискретные переходы. Хотя это желательно для изображений с непрерывным тоном, этот алгоритм уменьшает контраст (резкие края) таким образом, что это может быть нежелательно для штриховой графики. Бикубическая интерполяция дает существенно лучшие результаты при увеличении вычислительных затрат. ^{[ нужна ссылка ]}

Повторная выборка Синка и Ланцоша

Повторная выборка Sinc теоретически обеспечивает наилучшую возможную реконструкцию сигнала с идеально ограниченной полосой пропускания. На практике предположения, лежащие в основе передискретизации sinc, не полностью соответствуют реальным цифровым изображениям. Повторная выборка Ланцоша , приближение к методу sinc, дает лучшие результаты. Бикубическую интерполяцию можно рассматривать как эффективное в вычислительном отношении приближение к повторной выборке Ланцоша. ^{[ нужна ссылка ]}

Выборка коробок

Одним из недостатков билинейных, бикубических и подобных алгоритмов является то, что они выбирают определенное количество пикселей. При уменьшении масштаба ниже определенного порога, например более чем в два раза для всех алгоритмов двойной выборки, алгоритмы будут выбирать несмежные пиксели, что приводит как к потере данных, так и к неверным результатам. ^{[ нужна ссылка ]}

Тривиальным решением этой проблемы является выборка по рамке, при которой целевой пиксель рассматривается как рамка исходного изображения и производится выборка всех пикселей внутри рамки. Это гарантирует, что все входные пиксели вносят вклад в выходные данные. Основной слабостью этого алгоритма является то, что его трудно оптимизировать. ^{[ нужна ссылка ]}

MIP-карта

Еще одним решением проблемы масштабирования с двойной выборкой являются MIP-карты . Mip-карта — это предварительно масштабированный набор уменьшенных копий. При уменьшении масштаба в качестве источника используется ближайшее MIP-изображение большего размера, чтобы гарантировать отсутствие масштабирования ниже полезного порога билинейного масштабирования. Этот алгоритм быстр и легко оптимизируется. Это стандарт во многих средах, таких как OpenGL . Затраты заключаются в использовании большего количества памяти для изображений, ровно на треть больше в стандартной реализации.

Методы преобразования Фурье

Простая интерполяция, основанная на преобразовании Фурье , дополняет частотную область нулевыми компонентами (подход на основе плавного окна уменьшит звон ) . Помимо хорошей сохранности (или восстановления) деталей, следует отметить звон и круговое перетекание контента от левой границы к правой границе (и наоборот).

Интерполяция по краям

Алгоритмы интерполяции, ориентированные на края, направлены на сохранение краев изображения после масштабирования, в отличие от других алгоритмов, которые могут вносить ступенчатые артефакты.

Примеры алгоритмов для этой задачи включают новую интерполяцию, направленную на края (NEDI), ^{[ 1 ]}^{[ 2 ]} Интерполяция изображения по краям (EGGI), ^{[ 3 ]} Итеративная интерполяция на основе кривизны (ICBI), ^{[ нужна ссылка ]} и интерполяция направленной кубической свертки (DCCI). ^{[ 4 ]} Анализ 2013 года показал, что DCCI имеет лучшие показатели по пиковому соотношению сигнал/шум и структурному сходству на серии тестовых изображений. ^{[ 5 ]}

hqx

Для увеличения компьютерной графики с низким разрешением и/или небольшим количеством цветов (обычно от 2 до 256 цветов) лучших результатов можно достичь с помощью hqx или других алгоритмов масштабирования пиксельной графики . Они создают острые края и поддерживают высокий уровень детализации.

Векторизация

Извлечение векторов или векторизация предлагает другой подход. Векторизация сначала создает независимое от разрешения векторное представление масштабируемой графики. Затем независимая от разрешения версия отображается как растровое изображение с желаемым разрешением. Эту технику используют Adobe Illustrator , Live Trace и Inkscape . ^{[ 6 ]} Масштабируемая векторная графика хорошо подходит для простых геометрических изображений, тогда как фотографии плохо справляются с векторизацией из-за их сложности.

Глубокие сверточные нейронные сети

Этот метод использует машинное обучение для получения более детальных изображений, таких как фотографии и сложные произведения искусства. К программам, использующим этот метод, относятся waifu2x , Imglarger и Neural Enhance.

Демонстрация традиционного масштабирования по сравнению с waifu2x с шумоподавлением с использованием деталей Phosphorus и Hesperus от Эвелин Де Морган . [Нажмите на изображение, чтобы увидеть его в полном размере]

Исходное изображение
Изображение увеличено на 200 % с помощью PaintShop Pro.
Изображение увеличено на 200% с помощью waifu2x в режиме «Фото» со средним шумоподавлением.
Изображение увеличено на 400 % с помощью Topaz AI Gigapixel с низким уровнем шумоподавления.
Изображение увеличено на 400 % с помощью RealSR DF2K-JPEG.

Программное обеспечение на основе искусственного интеллекта, такое как MyHeritage Photo Enhancer, позволяет добавлять детали и резкость к историческим фотографиям там, где их нет в оригинале.

Низкокачественная фотография Джона Ховарда Линдауэра размером 270×368 пикселей , отсканированная из каталога Законодательного собрания штата.
То же изображение, улучшенное и масштабированное до 2160×2944 пикселей с помощью Photo Enhancer от MyHeritage.

Приложения

Общий

Масштабирование изображения используется, среди других приложений, в веб-браузерах , ^{[ 7 ]} редакторы изображений , средства просмотра изображений и файлов, программные лупы, цифровой зум, процесс создания миниатюр изображений , а также при выводе изображений на экраны или принтеры.

Видео

Это приложение представляет собой увеличение изображений для домашних кинотеатров для устройств вывода HDTV-ready контента PAL-Resolution, например, с DVD-плеера. Апскейлинг выполняется в реальном времени, выходной сигнал не сохраняется.

Масштабирование пиксель-арта

Поскольку пиксельная графика обычно имеет низкое разрешение, она основана на тщательном размещении отдельных пикселей, часто с ограниченной палитрой цветов. В результате получается графика, основанная на стилизованных визуальных подсказках для определения сложных форм с небольшим разрешением, вплоть до отдельных пикселей. Это делает масштабирование пиксельной графики особенно сложной проблемой.

Специализированные алгоритмы ^{[ 8 ]} были разработаны для обработки пиксельной графики, поскольку традиционные алгоритмы масштабирования не принимают во внимание сигналы восприятия.

Поскольку типичное приложение предназначено для улучшения внешнего вида четвертого поколения и более ранних версий видеоигр на аркадных и консольных эмуляторах , многие из них предназначены для запуска в реальном времени небольших входных изображений со скоростью 60 кадров в секунду.

На быстром оборудовании эти алгоритмы подходят для игр и другой обработки изображений в реальном времени. Эти алгоритмы обеспечивают четкую и четкую графику, сводя к минимуму размытие. Алгоритмы масштабирования искусства были реализованы в широком спектре эмуляторов, таких как HqMAME и DOSBox , а также в 2D- игровых движках и воссозданных игровых движках, таких как ScummVM . Они завоевали признание геймеров, для которых эти технологии способствовали возрождению игрового опыта 1980-х и 1990-х годов. ^{[ нужна ссылка ]}

Такие фильтры в настоящее время используются в коммерческих эмуляторах Xbox Live , Virtual Console и PSN , чтобы сделать классические игры с низким разрешением более привлекательными на современных HD- дисплеях. Недавно выпущенные игры, в которых используются эти фильтры, включают Sonic's Ultimate Genesis Collection , Castlevania: The Dracula X Chronicles , Castlevania: Symphony of the Night и Akumajō Dracula X Chi no Rondo .

Масштабирование в реальном времени

Ряд компаний разработали методы повышения качества видеокадров в реальном времени , например, когда они рисуются на экране в видеоигре. Nvidia (DLSS) от Технология суперсэмплинга глубокого обучения использует глубокое обучение для повышения разрешения изображений с более низким разрешением до более высокого разрешения для отображения на компьютерных мониторах с более высоким разрешением. ^{[ 9 ]} AMD Технология FidelityFX Super Разрешение 1.0 (FSR) не использует машинное обучение, вместо этого используются традиционные рукописные алгоритмы для достижения пространственного масштабирования на традиционных модулях затенения. FSR 2.0 использует временное масштабирование, опять же с вручную настроенным алгоритмом. Стандартизированные настройки FSR не применяются, а в некоторых играх, таких как Dota 2, есть ползунки разрешения. ^{[ 10 ]} Другие технологии включают Intel XeSS и Nvidia Image Scaler (NIS). ^{[ 11 ]}^{[ 12 ]}

См. также

Ссылки

^ «Интерполяция по краям» . Проверено 19 февраля 2016 г.
^ Синь Ли; Майкл Т. Орчард. «НОВАЯ КРАЙНАЯ НАПРАВЛЕННАЯ ИНТЕРПОЛЯЦИЯ» (PDF) . Международная конференция IEEE по обработке изображений 2000 г .: 311. Архивировано из оригинала (PDF) 14 февраля 2016 г.
^ Чжан, Д.; Сяолинь Ву (2006). «Алгоритм интерполяции изображений с наведением по краям посредством направленной фильтрации и объединения данных». Транзакции IEEE при обработке изображений . 15 (8): 2226–38. Бибкод : 2006ITIP...15.2226Z . дои : 10.1109/TIP.2006.877407 . ПМИД 16900678 . S2CID 9760560 .
^ Дэнвэнь Чжоу; Сяолю Шен. «Масштабирование изображения с использованием интерполяции направленной кубической свертки» . Проверено 13 сентября 2015 г.
^ Шаоде Ю; Ронгмао Ли; Руй Чжан; Моу Ан; Шибин Ву; Яоцинь Се (2013). «Оценка эффективности методов интерполяции по краям для изображений без шума». arXiv : 1303.6455 [ cs.CV ].
^ Йоханнес Копф и Дани Лишински (2011). «Депикселизация пиксель-арта» . Транзакции ACM с графикой . 30 (4): 99:1–99:8. дои : 10.1145/2010324.1964994 . Архивировано из оригинала 1 сентября 2015 года . Проверено 24 октября 2012 г.
^ Анализ алгоритмов масштабирования изображений, используемых популярными веб-браузерами.
^ «Пиксельные скалеры» . Проверено 19 февраля 2016 г.
^ «NVIDIA DLSS: ответы на ваши вопросы» . www.nvidia.com . Архивировано из оригинала 5 октября 2021 года . Проверено 13 октября 2021 г.
^ «В Dota 2 от Valve добавлено суперразрешение AMD FidelityFX — Phoronix» . www.phoronix.com . Архивировано из оригинала 21 июля 2021 года . Проверено 13 октября 2021 г.
^ Гартенберг, Хаим (19 августа 2021 г.). «Intel демонстрирует свой ответ на DLSS от Nvidia, который появится на графических процессорах Arc в 2022 году» . Грань . Архивировано из оригинала 19 августа 2021 года . Проверено 13 октября 2021 г.
^ «Что такое масштабирование изображений Nvidia? Объяснение технологии масштабирования» . Цифровые тенденции . 16 ноября 2021 г. Проверено 3 декабря 2021 г.

[1] «Интерполяция по краям» . Проверено 19 февраля 2016 г.

[2] Синь Ли; Майкл Т. Орчард. «НОВАЯ КРАЙНАЯ НАПРАВЛЕННАЯ ИНТЕРПОЛЯЦИЯ» (PDF) . Международная конференция IEEE по обработке изображений 2000 г .: 311. Архивировано из оригинала (PDF) 14 февраля 2016 г.

[3] Чжан, Д.; Сяолинь Ву (2006). «Алгоритм интерполяции изображений с наведением по краям посредством направленной фильтрации и объединения данных». Транзакции IEEE при обработке изображений . 15 (8): 2226–38. Бибкод : 2006ITIP...15.2226Z . дои : 10.1109/TIP.2006.877407 . ПМИД 16900678 . S2CID 9760560 .

[4] Дэнвэнь Чжоу; Сяолю Шен. «Масштабирование изображения с использованием интерполяции направленной кубической свертки» . Проверено 13 сентября 2015 г.

[5] Шаоде Ю; Ронгмао Ли; Руй Чжан; Моу Ан; Шибин Ву; Яоцинь Се (2013). «Оценка эффективности методов интерполяции по краям для изображений без шума». arXiv : 1303.6455 [ cs.CV ].

[pixelart-6] Йоханнес Копф и Дани Лишински (2011). «Депикселизация пиксель-арта» . Транзакции ACM с графикой . 30 (4): 99:1–99:8. дои : 10.1145/2010324.1964994 . Архивировано из оригинала 1 сентября 2015 года . Проверено 24 октября 2012 г.

[7] Анализ алгоритмов масштабирования изображений, используемых популярными веб-браузерами.

[8] «Пиксельные скалеры» . Проверено 19 февраля 2016 г.

[9] «NVIDIA DLSS: ответы на ваши вопросы» . www.nvidia.com . Архивировано из оригинала 5 октября 2021 года . Проверено 13 октября 2021 г.

[10] «В Dota 2 от Valve добавлено суперразрешение AMD FidelityFX — Phoronix» . www.phoronix.com . Архивировано из оригинала 21 июля 2021 года . Проверено 13 октября 2021 г.

[11] Гартенберг, Хаим (19 августа 2021 г.). «Intel демонстрирует свой ответ на DLSS от Nvidia, который появится на графических процессорах Arc в 2022 году» . Грань . Архивировано из оригинала 19 августа 2021 года . Проверено 13 октября 2021 г.

[12] «Что такое масштабирование изображений Nvidia? Объяснение технологии масштабирования» . Цифровые тенденции . 16 ноября 2021 г. Проверено 3 декабря 2021 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

v т и Обработка видео
Постобработка	Разблокировка Изменение размера Сравнение Деинтерлейсинг шумоподавление Отказ от мерцания
Специальная обработка	Колоризация пленки ( тонировка ) Цветокоррекция Фильм Изображение сверхвысокого разрешения Видео матирование Несжатый Масштабирование пиксельной графики Телекино