Артефакт сжатия

Исходное изображение с хорошими краями текста и цветовой гаммой.

Потеря четкости краев и «размытость» тона при сильном JPEG. сжатии

Артефакт сжатия (или артефакт ) — это заметное искажение мультимедиа (включая изображения , аудио и видео ), вызванное применением сжатия с потерями . с потерями Сжатие данных предполагает удаление некоторых медиаданных, чтобы они стали достаточно маленькими, чтобы их можно было хранить в нужном дисковом пространстве или передавать ( потоковую передачу ) в пределах доступной полосы пропускания (известной как скорость передачи данных или скорость передачи данных ). Если компрессор не может сохранить достаточно данных в сжатой версии, результатом будет потеря качества или появление артефактов. Алгоритм сжатия может быть недостаточно интеллектуальным, чтобы различать искажения, не имеющие большого субъективного значения, и искажения, нежелательные для пользователя.

Наиболее распространенными артефактами цифрового сжатия являются блоки DCT, вызванные алгоритмом сжатия дискретного косинусного преобразования (DCT), используемым во многих стандартах цифрового мультимедиа , таких как JPEG , MP3 и MPEG . форматы видеофайлов ^[1]^[2]^[3] Эти артефакты сжатия появляются при применении сильного сжатия. ^[1] и часто встречаются на обычных цифровых носителях, таких как DVD , обычных компьютерных форматах файлов, таких как файлы JPEG, MP3 и MPEG, а также в некоторых альтернативах компакт -дискам , таких как формат MiniDisc от Sony . Несжатые носители (например, на лазерных дисках , аудио компакт-дисках и WAV файлах ) или носители , сжатые без потерь (например, FLAC или PNG ), не страдают от артефактов сжатия.

Минимизация заметных артефактов является ключевой целью реализации алгоритма сжатия с потерями. Однако иногда артефакты намеренно создаются в художественных целях — стиль, известный как глитч-арт. ^[4] или датамошинга. ^[5]

С технической точки зрения, артефакт сжатия — это особый класс ошибок данных, который обычно является следствием квантования при сжатии данных с потерями. Там, где используется кодирование с преобразованием , оно обычно принимает форму одной из базовых функций пространства преобразования кодера.

Изображения

Иллюстрация эффекта сжатия JPEG на слегка зашумленном изображении со смесью текста и пробелов. Текст — это снимок экрана из разговора в Википедии с добавленным шумом (интенсивность 10 в Paint.NET). Один кадр анимации был сохранен в формате JPEG (качество 90) и загружен заново. Оба кадра затем были увеличены в 4 раза (интерполяция ближайшего соседа).

При выполнении блочного дискретного косинусного преобразования (DCT) ^[1] кодировании для квантования , как и в JPEG- сжатых изображениях, могут появиться несколько типов артефактов.

Звонок
Контурирование ^{[ нужны разъяснения ]}
Постеризация
Лестничный шум ( сглаживание ) вдоль изогнутых краев
Блочность в «загруженных» регионах (артефакты на границах блоков, иногда называемые (макро)блокировками, выстегиванием или шахматной доской)

Другие алгоритмы с потерями, которые используют сопоставление с образцом для дедупликации похожих символов, склонны к внесению труднообнаружимых ошибок в печатный текст. Например, цифры «6» и «8» могут быть заменены. Это наблюдалось с JBIG2 на некоторых копировальных аппаратах. ^[6]^[7]

Блокировать граничные артефакты

Артефакты блочного кодирования в изображении JPEG. Плоские блоки вызваны грубым квантованием. Видны разрывы на границах блоков преобразования.

При низких скоростях передачи данных любая с потерями схема кодирования на основе блоков вносит видимые артефакты в блоки пикселей и на границы блоков. Эти границы могут быть границами блоков преобразования, границами блоков прогнозирования или теми и другими и могут совпадать с макроблоков границами . Термин «макроблокировка» обычно используется независимо от причины артефакта. Другие названия включают блокировку, ^[8] плитка, ^[9] мозаика, пикселизация, квилтинг и шахматная доска.

Блочные артефакты являются результатом самого принципа кодирования с блочным преобразованием . Преобразование (например, дискретное косинусное преобразование) применяется к блоку пикселей, и для достижения сжатия с потерями коэффициенты преобразования каждого блока квантуются . Чем ниже скорость передачи данных, тем более грубо представляются коэффициенты и тем больше коэффициентов квантуются до нуля. По статистике, изображения содержат больше низкочастотного контента , чем высокочастотного, поэтому после квантования остается именно низкочастотный контент, что приводит к размытым блокам с низким разрешением. В самом крайнем случае сохраняется только DC-коэффициент, то есть коэффициент, который представляет средний цвет блока, а блок преобразования после реконструкции имеет только один цвет.

Поскольку этот процесс квантования применяется индивидуально в каждом блоке, соседние блоки квантовают коэффициенты по-разному. Это приводит к разрывам на границах блоков. Они наиболее заметны на плоских участках, где мало деталей, маскирующих эффект.

Уменьшение артефактов изображения

Были предложены различные подходы для уменьшения эффектов сжатия изображений, но для использования стандартизированных методов сжатия/декомпрессии и сохранения преимуществ сжатия (например, более низких затрат на передачу и хранение), многие из этих методов сосредоточены на «постобработке», то есть , обработка изображений при их получении или просмотре. Не было показано, что ни один метод постобработки улучшает качество изображения во всех случаях; следовательно, ни один из них не получил широкого признания, хотя некоторые из них были реализованы и используются в проприетарных системах. Например, многие программы для редактирования фотографий имеют встроенные собственные алгоритмы уменьшения артефактов JPEG. Потребительское оборудование часто называет эту постобработку «шумоподавлением MPEG». ^[10]

Граничный артефакт в формате JPEG можно превратить в более приятные «зерна», мало чем отличающиеся от тех, что встречаются на фотопленках с высоким ISO. Вместо простого умножения квантованных коэффициентов на шаг квантования $Q,$ относящийся к 2D-частоте, интеллектуальный шум в виде случайного числа в интервале $[- Q /2; Q /2]$ можно добавить к деквантованному коэффициенту. Этот метод можно добавить как неотъемлемую часть декомпрессоров JPEG, работающих с триллионами существующих и будущих изображений JPEG. Как таковой это не метод «постобработки». ^[11]

Проблему звона можно уменьшить во время кодирования, превысив значения DCT и зажав кольца. ^[12]

Постеризация обычно происходит только при низком качестве, когда значениям DC придается слишком мало значения. Настройка таблицы квантования помогает. ^[13]

Видео

Когда используется прогнозирование движения, как в MPEG-1 , MPEG-2 или MPEG-4 , артефакты сжатия имеют тенденцию оставаться в нескольких поколениях распакованных кадров и перемещаться вместе с оптическим потоком изображения, что приводит к своеобразному эффекту на полпути. между эффектом живописи и «грязью», которая перемещается вместе с объектами на сцене.

Ошибки данных в сжатом потоке битов, возможно, из-за ошибок передачи, могут привести к ошибкам, подобным большим ошибкам квантования, или могут на короткое время полностью нарушить анализ потока данных, что приведет к «разрыву» изображения. . Если в битовом потоке произошли грубые ошибки, декодеры продолжают применять обновления к поврежденному изображению в течение короткого интервала, создавая эффект «призрачного изображения», до тех пор, пока не будет получен следующий независимо сжатый кадр. В кодировании изображений MPEG они известны как « I-кадры », где «I» означает «внутри». До прибытия следующего I-кадра декодер может выполнять маскировку ошибок .

Артефакты границ блока компенсации движения

На краях блоков прогнозирования компенсации движения могут возникать разрывы границ блоков . При сжатии видео с компенсацией движения текущее изображение прогнозируется путем сдвига блоков (макроблоков, разделов или единиц прогнозирования) пикселей из ранее декодированных кадров. Если два соседних блока используют разные векторы движения, на краю между блоками возникнет разрыв.

Комариный шум

Артефакты сжатия видео включают совокупные результаты сжатия составляющих неподвижных изображений, например, звон или другая занятость краев в последовательных неподвижных изображениях, которые появляются последовательно в виде мерцающего размытия точек вокруг краев, называемого комариным шумом , поскольку они напоминают комаров, роящихся вокруг объекта. ^[14]^[15] Так называемый «москитный шум» вызван блочным алгоритмом сжатия дискретного косинусного преобразования (DCT), используемым в большинстве стандартов кодирования видео , таких как форматы MPEG . ^[3]

Уменьшение видеоартефактов

Артефакты на границах блоков можно уменьшить, применив фильтр удаления блочности . Как и при кодировании неподвижных изображений, к выходным данным декодера в качестве постобработки можно применить фильтр удаления блочности.

При кодировании видео с прогнозированием движения с замкнутым циклом прогнозирования кодер использует выходные данные декодера в качестве опорного сигнала прогнозирования, на основе которого прогнозируются будущие кадры. С этой целью кодер концептуально интегрирует декодер. Если этот «декодер» выполняет деблокировку, деблокированное изображение затем используется в качестве опорного изображения для компенсации движения, что повышает эффективность кодирования за счет предотвращения распространения блочных артефактов между кадрами. Это называется внутриконтурным деблокирующим фильтром. Стандарты, которые определяют внутриконтурный фильтр деблокировки, включают VC-1 , H.263 Приложение J, H.264/AVC и H.265/HEVC .

Аудио

Сжатие звука с потерями обычно работает с психоакустической моделью — моделью восприятия человеческого слуха. Аудиоформаты с потерями обычно включают использование преобразования временной/частотной области, такого как модифицированное дискретное косинусное преобразование . В психоакустической модели используются эффекты маскировки, такие как частотная маскировка и временная маскировка, поэтому звуки, которые должны быть незаметными, не записываются. Например, в целом люди не способны воспринимать тихий тон, воспроизводимый одновременно с похожим, но более громким тоном. Метод сжатия с потерями может идентифицировать этот тихий тон и попытаться удалить его. Кроме того, шумы квантования можно «спрятать» там, где они будут замаскированы более заметными звуками. При низкой степени сжатия используется консервативная пси-модель с небольшими размерами блоков.

Когда психоакустическая модель неточна, когда размер блока преобразования ограничен или когда используется агрессивное сжатие, это может привести к артефактам сжатия. Артефакты сжатия в сжатом аудио обычно проявляются в виде звона, предэха , «птичьих артефактов», пропаданий, дребезжания, трелей, металлического звона, ощущения подводного звука, шипения или «зернистости».

Примером артефактов сжатия звука являются аплодисменты в аудиофайле с относительно высокой степенью сжатия (например, MP3 со скоростью 96 кбит/с). В целом музыкальные тона имеют повторяющиеся формы волн и более предсказуемые изменения громкости, тогда как аплодисменты по сути случайны, поэтому их трудно сжать. Сильно сжатая дорожка аплодисментов может иметь «металлический звон» и другие артефакты сжатия.

Художественное использование

Видео-глюк-арт (предупреждение об эпилепсии)

Пример датамоша

Пример «жареного во фритюре» изображения, сделанного на основе фотографии банки диетической пепси.

Артефакты сжатия могут намеренно использоваться в качестве визуального стиля, иногда называемого глитч-артом . В глитч-арте Розы Менкман используются артефакты сжатия . ^[16] особенно блоки дискретного косинусного преобразования (блоки DCT), присутствующие в большинстве цифровых мультимедийных форматов сжатия данных , таких как цифровые изображения JPEG и MP3 цифровой звук . ^[2] В неподвижных изображениях примером является Jpegs немецкого фотографа Томаса Раффа , который намеренно использует артефакты JPEG в качестве основы стиля изображения. ^[17]^[18]

В видеоарте используется метод datamoshing , при котором два видео чередуются, поэтому промежуточные кадры интерполируются из двух отдельных источников. Другой метод включает простое перекодирование из одного видеоформата с потерями в другой, в котором используется разница в том, как отдельные видеокодеки обрабатывают информацию о движении и цвете. ^[19] Эту технику впервые применили художники Бертран Плейнс в сотрудничестве с Кристианом Жакеменом в 2006 году с помощью DivXPrime. ^[20] Свен Кениг, Такеши Мурата , Жак Перконте и Пол Б. Дэвис в сотрудничестве с Paperrad , а совсем недавно использовался Дэвидом О'Рейли и в музыкальных клипах для Chairlift , а также Набилем Элдеркиным в музыкальном видео « Welcome to Heartbreak » для Канье Уэста . ^[21]^[22]

Существует также жанр интернет-мемов , в которых бессмысленные изображения намеренно сильно сжимаются, иногда несколько раз, для достижения комедийного эффекта. Изображения, созданные с использованием этой техники, часто называют «жареными во фритюре». ^[23]

См. также

Ссылки

^ Jump up to: ^а ^б ^с Кацагелос, Аггелос К.; Бабакан, С. Дерин; Чун-Джен, Цай (2009). «Глава 15. Итеративное восстановление изображений». Основное руководство по обработке изображений . Академическая пресса . стр. 349–383. ISBN 9780123744579 .
^ Jump up to: ^а ^б Алихани, Дарья (1 апреля 2015 г.). «За пределами разрешения: глюк-арт Розы Менкман» . POSTматерия . Архивировано из оригинала 19 октября 2019 года . Проверено 19 октября 2019 г.
^ Jump up to: ^а ^б «Комариный шум» . Журнал ПК . Проверено 19 октября 2019 г.
^ Гир, Дункан (13 декабря 2011 г.). «Глитч-арт, созданный с помощью «изгибания данных» » . Проводной . Проверено 23 декабря 2011 г.
^ Бейкер-Смит, Бен (28 апреля 2009 г.). «Датамошинг – красота глюков» . Bitsynthesis.com. Архивировано из оригинала 16 ноября 2010 года . Проверено 28 апреля 2009 г.
^ «Сканеры/копировальные аппараты Xerox случайным образом меняют номера в отсканированных документах» . 2 августа 2013 года . Проверено 4 августа 2013 г.
^ «Растерянные ксероксы переписывают документы, выяснил эксперт» . Новости Би-би-си . 6 августа 2013 года . Проверено 6 августа 2013 г.
^ Амири, Секине Асади; Хасанпур, Хамид (1 апреля 2018 г.). «Сжатие изображений с использованием JPEG с уменьшенными эффектами блокировки за счет адаптивной понижающей дискретизации и самообучающегося разреженного представления изображений» . Мультимедийные инструменты и приложения . 77 (7): 8677–8693. дои : 10.1007/s11042-017-4763-1 . ISSN 1573-7721 . Проверено 8 марта 2024 г.
^ Уоткинсон, Джон (2004). Справочник по MPEG Джона Уоткинсона . Тейлор и Фрэнсис. ISBN 9780240805788 .
^ «Журнал PC, Определение артефактов блокировки» . Архивировано из оригинала 7 октября 2012 года . Проверено 23 сентября 2020 г.
^ Хадсон, Грэм; Леже, Ален; Нисс, Биргер; Себастьен, Иштван; Ваабен, Йорген (31 августа 2018 г.). «Стандарту JPEG.1 25 лет: причины успеха в прошлом, настоящем и будущем» . Журнал электронных изображений . 27 (4): 1. doi : 10.1117/1.JEI.27.4.040901 . S2CID 52164892 .
^ Рихтер, Томас (сентябрь 2016 г.). «JPEG на стероидах: общие методы оптимизации сжатия изображений JPEG». Международная конференция IEEE по обработке изображений (ICIP) , 2016 г. стр. 61–65. дои : 10.1109/ICIP.2016.7532319 . ISBN 978-1-4673-9961-6 . S2CID 14922251 .
^ «Корнельский/jpeg-компрессор» . Гитхаб . 16 ноября 2020 г.
^ Ле Динь, Фук-Туэ; Патри, Жак. «Артефакты сжатия видео и шумоподавление MPEG» . Встроенный . Проверено 19 февраля 2016 г.
^ « 3.9 Комариный шум: форма искажения краевой занятости, иногда связанная с движением, характеризующаяся движущимися артефактами и / или пятнистыми шумовыми узорами, наложенными на объекты (напоминающими комара, летающего вокруг головы и плеч человека)». Рек. МСЭ-Т. P.930 (08/96) Принципы эталонной системы искажений для видео
^ Менкман, Роза (октябрь 2011 г.). Момент сбоя (гм) (PDF) . Институт сетевых культур. ISBN 978-90-816021-6-7 . Проверено 19 октября 2019 г.
^ jpegs , Томас Рафф , Aperture , 31 мая 2009 г., 132 стр., ISBN 978-1-59711-093-8
↑ Обзор: jpegs Томаса Раффа , Йорга Кольберга , 17 апреля 2009 г.
^ Аноним зей (19 февраля 2009 г.). «От артефакта сжатия к фильтру» . Rosa-menkman.blogspot.com . Проверено 23 декабря 2011 г.
^ Жакемен, Кристиан (2008). «Ошибка в работе Бертрана Планеса DivXPrime: Изобретение и мутация. Иван Тулуза и Даниэль Данетис, редакторы, Эврика: Момент изобретения, диалог между искусством и наукой, L'Harmattan, Париж» (PDF) . стр. 245–256 . Проверено 5 ноября 2012 г.
^ Pixel Bleed , Джон Майкл Болинг. Корневище . 25 февраля 2009 г.
^ Родригес, Джейсон (18 февраля 2009 г.). «Канье Уэст размещает новое видео на своем веб-сайте - Новости MTV» . MTV.com. Архивировано из оригинала 19 февраля 2009 года . Проверено 23 декабря 2011 г.
^ Мацакис, Луиза (30 августа 2017 г.). «Как зажарить мем» . Порок . Проверено 27 июля 2021 г.

Внешние ссылки

DivXPrime Первые известные эксперименты программного обеспечения для обработки видео данных Бертрана Плейнса и Кристиана Жакемина (на основе алгоритма Xvid)
Тизер короткометражного фильма «Рождение Соника», снятого Жеромом Бланке, с эффектом datamoshing Дэвида Оливари, продюсером которого является [Metronomic]. Полный фильм: «Рождение Соника»
datamosher Программное обеспечение для передачи видеоданных под лицензией GPL.
Пример сильных артефактов сжатия видео .
JPEG Tutor — интерактивный апплет, позволяющий исследовать последствия изменения матрицы квантования.
Удаление шумов и блочности JPEG: программное обеспечение Matlab и плагин Photoshop

[Katsaggelos-1] Jump up to: ^а ^б ^с Кацагелос, Аггелос К.; Бабакан, С. Дерин; Чун-Джен, Цай (2009). «Глава 15. Итеративное восстановление изображений». Основное руководство по обработке изображений . Академическая пресса . стр. 349–383. ISBN 9780123744579 .

[Alikhani-2] Jump up to: ^а ^б Алихани, Дарья (1 апреля 2015 г.). «За пределами разрешения: глюк-арт Розы Менкман» . POSTматерия . Архивировано из оригинала 19 октября 2019 года . Проверено 19 октября 2019 г.

[pcmag-3] Jump up to: ^а ^б «Комариный шум» . Журнал ПК . Проверено 19 октября 2019 г.

[4] Гир, Дункан (13 декабря 2011 г.). «Глитч-арт, созданный с помощью «изгибания данных» » . Проводной . Проверено 23 декабря 2011 г.

[5] Бейкер-Смит, Бен (28 апреля 2009 г.). «Датамошинг – красота глюков» . Bitsynthesis.com. Архивировано из оригинала 16 ноября 2010 года . Проверено 28 апреля 2009 г.

[kriesel-6] «Сканеры/копировальные аппараты Xerox случайным образом меняют номера в отсканированных документах» . 2 августа 2013 года . Проверено 4 августа 2013 г.

[7] «Растерянные ксероксы переписывают документы, выяснил эксперт» . Новости Би-би-си . 6 августа 2013 года . Проверено 6 августа 2013 г.

[amiriImageCompressionUsing2018-8] Амири, Секине Асади; Хасанпур, Хамид (1 апреля 2018 г.). «Сжатие изображений с использованием JPEG с уменьшенными эффектами блокировки за счет адаптивной понижающей дискретизации и самообучающегося разреженного представления изображений» . Мультимедийные инструменты и приложения . 77 (7): 8677–8693. дои : 10.1007/s11042-017-4763-1 . ISSN 1573-7721 . Проверено 8 марта 2024 г.

[9] Уоткинсон, Джон (2004). Справочник по MPEG Джона Уоткинсона . Тейлор и Фрэнсис. ISBN 9780240805788 .

[10] «Журнал PC, Определение артефактов блокировки» . Архивировано из оригинала 7 октября 2012 года . Проверено 23 сентября 2020 г.

[11] Хадсон, Грэм; Леже, Ален; Нисс, Биргер; Себастьен, Иштван; Ваабен, Йорген (31 августа 2018 г.). «Стандарту JPEG.1 25 лет: причины успеха в прошлом, настоящем и будущем» . Журнал электронных изображений . 27 (4): 1. doi : 10.1117/1.JEI.27.4.040901 . S2CID 52164892 .

[12] Рихтер, Томас (сентябрь 2016 г.). «JPEG на стероидах: общие методы оптимизации сжатия изображений JPEG». Международная конференция IEEE по обработке изображений (ICIP) , 2016 г. стр. 61–65. дои : 10.1109/ICIP.2016.7532319 . ISBN 978-1-4673-9961-6 . S2CID 14922251 .

[13] «Корнельский/jpeg-компрессор» . Гитхаб . 16 ноября 2020 г.

[dinhpatry-14] Ле Динь, Фук-Туэ; Патри, Жак. «Артефакты сжатия видео и шумоподавление MPEG» . Встроенный . Проверено 19 февраля 2016 г.

[15] « 3.9 Комариный шум: форма искажения краевой занятости, иногда связанная с движением, характеризующаяся движущимися артефактами и / или пятнистыми шумовыми узорами, наложенными на объекты (напоминающими комара, летающего вокруг головы и плеч человека)». Рек. МСЭ-Т. P.930 (08/96) Принципы эталонной системы искажений для видео

[Menkman-16] Менкман, Роза (октябрь 2011 г.). Момент сбоя (гм) (PDF) . Институт сетевых культур. ISBN 978-90-816021-6-7 . Проверено 19 октября 2019 г.

[17] jpegs , Томас Рафф , Aperture , 31 мая 2009 г., 132 стр., ISBN 978-1-59711-093-8

[18] Обзор: jpegs Томаса Раффа , Йорга Кольберга , 17 апреля 2009 г.

[19] Аноним зей (19 февраля 2009 г.). «От артефакта сжатия к фильтру» . Rosa-menkman.blogspot.com . Проверено 23 декабря 2011 г.

[20] Жакемен, Кристиан (2008). «Ошибка в работе Бертрана Планеса DivXPrime: Изобретение и мутация. Иван Тулуза и Даниэль Данетис, редакторы, Эврика: Момент изобретения, диалог между искусством и наукой, L'Harmattan, Париж» (PDF) . стр. 245–256 . Проверено 5 ноября 2012 г.

[21] Pixel Bleed , Джон Майкл Болинг. Корневище . 25 февраля 2009 г.

[22] Родригес, Джейсон (18 февраля 2009 г.). «Канье Уэст размещает новое видео на своем веб-сайте - Новости MTV» . MTV.com. Архивировано из оригинала 19 февраля 2009 года . Проверено 23 декабря 2011 г.

[23] Мацакис, Луиза (30 августа 2017 г.). «Как зажарить мем» . Порок . Проверено 27 июля 2021 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]