Сжатие с потерями
В информационных технологиях сжатие с потерями или необратимое сжатие — это класс методов сжатия данных , который использует неточную аппроксимацию и частичное удаление данных для представления контента. Эти методы используются для уменьшения размера данных для хранения, обработки и передачи контента. Различные версии фотографии кота на этой странице показывают, как более высокие степени приближения создают более грубые изображения по мере удаления большего количества деталей. Это противоположно сжатию данных без потерь (обратимому сжатию данных), которое не ухудшает качество данных. Степень сжатия данных, возможная при использовании сжатия с потерями, намного выше, чем при использовании методов без потерь.
Хорошо разработанная технология сжатия с потерями часто значительно уменьшает размер файлов до того, как конечный пользователь заметит ухудшение качества. Даже если это заметно пользователю, может быть желательно дальнейшее сокращение объема данных (например, для связи в реальном времени или для сокращения времени передачи или потребностей в хранении). Наиболее широко используемый алгоритм сжатия с потерями — это дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом , Т. Натараджаном и К. Р. Рао в 1974 году.
Сжатие с потерями чаще всего используется для сжатия мультимедийных данных ( аудио , видео и изображений ), особенно в таких приложениях, как потоковое мультимедиа и интернет-телефония . Напротив, сжатие без потерь обычно требуется для текстовых файлов и файлов данных, таких как банковские записи и текстовые статьи. Может оказаться выгодным создать мастер-файл без потерь , который затем можно будет использовать для создания дополнительных копий. Это позволяет избежать создания новых сжатых копий на основе исходного файла с потерями, что может привести к дополнительным артефактам и дальнейшей ненужной потере информации .
Типы [ править ]
Многие типы цифровых данных можно сжимать таким образом, чтобы уменьшить размер компьютерного файла, необходимого для их хранения, или полосу пропускания , необходимую для их передачи, без потери полной информации, содержащейся в исходном файле. Например, изображение преобразуется в цифровой файл, рассматривая его как массив точек и определяя цвет и яркость каждой точки. Если картинка содержит область одного цвета, ее можно сжать без потерь, сказав «200 красных точек» вместо «красная точка, красная точка, ...(еще 197 раз)..., красная точка».
Исходные данные содержат определенный объем информации, и существует нижняя граница размера файла, который может содержать всю информацию. Базовая теория информации утверждает, что существует абсолютный предел уменьшения размера этих данных. Когда данные сжимаются, их энтропия увеличивается, и она не может увеличиваться бесконечно. Например, сжатый ZIP- файл меньше исходного, но повторное сжатие одного и того же файла не уменьшит его размер до нуля. Большинство алгоритмов сжатия могут распознать, когда дальнейшее сжатие будет бессмысленным и фактически приведет к увеличению размера данных.
Во многих случаях файлы или потоки данных содержат больше информации, чем необходимо. Например, изображение может содержать больше деталей, чем может различить глаз при воспроизведении в максимально возможном размере; Аналогично, аудиофайлу не требуется много мелких деталей во время очень громкого отрывка. Разработка методов сжатия с потерями, максимально соответствующих человеческому восприятию, является сложной задачей. Иногда идеалом является файл, который обеспечивает точно такое же восприятие, что и оригинал, но с удаленным как можно большим количеством цифровой информации; в других случаях ощутимая потеря качества считается допустимым компромиссом.
Термины «необратимый» и «обратимый» предпочтительнее «с потерями» и «без потерь» соответственно для некоторых приложений, таких как сжатие медицинских изображений, чтобы обойти негативные последствия «потери». Тип и объем потерь могут повлиять на полезность изображений. Артефакты или нежелательные эффекты сжатия могут быть четко различимы, но результат по-прежнему будет полезен для намеченной цели. Или сжатые с потерями изображения могут быть « без визуальных потерь », или, в случае медицинских изображений, так называемым диагностически приемлемым необратимым сжатием (DAIC). [1] возможно, были применены.
Преобразование кодирования [ править ]
Некоторые формы сжатия с потерями можно рассматривать как применение кодирования с преобразованием , которое представляет собой тип сжатия данных, используемый для цифровых изображений , цифровых аудиосигналов и цифрового видео . Преобразование обычно используется для обеспечения лучшего (более целенаправленного) квантования . Знания приложения используются для выбора информации, которую следует отбросить, тем самым снижая пропускную способность . Оставшуюся информацию затем можно сжать различными методами. Когда выходные данные декодируются, результат может не быть идентичен исходному входному, но ожидается, что он будет достаточно близок для целей приложения.
Наиболее распространенной формой сжатия с потерями является метод кодирования с преобразованием, дискретное косинусное преобразование (DCT). [2] которая была впервые опубликована Насиром Ахмедом , Т. Натараджаном и К. Р. Рао в 1974 году. [3] DCT — наиболее широко используемая форма сжатия с потерями для популярных форматов сжатия изображений (таких как JPEG ), [4] стандарты кодирования видео (например, MPEG и H.264/AVC ) и форматы сжатия звука (например, MP3 и AAC ).
В случае аудиоданных популярной формой кодирования с преобразованием является перцепционное кодирование , которое преобразует необработанные данные в область, более точно отражающую информационное содержание. Например, вместо того, чтобы выражать звуковой файл как уровни амплитуды с течением времени, его можно выразить как частотный спектр с течением времени, что более точно соответствует восприятию звука человеком. Хотя сокращение данных (сжатие с потерями или без потерь) является основной целью кодирования с преобразованием, оно также позволяет достичь и других целей: можно более точно представить данные для исходного объема пространства. [5] – например, в принципе, если начать с аналогового или цифрового мастера высокого разрешения , файл MP3 заданного размера должен обеспечивать лучшее представление, чем необработанный несжатый звук в файле WAV или AIFF того же размера. Это связано с тем, что несжатый звук может уменьшить размер файла только за счет снижения скорости передачи данных или глубины, тогда как сжатие звука может уменьшить размер, сохраняя при этом скорость передачи данных и глубину. Такое сжатие приводит к выборочной потере наименее значимых данных, а не к потере данных по всем направлениям. Кроме того, кодирование с преобразованием может обеспечить лучшую область для манипулирования или иного редактирования данных — например, выравнивание звука наиболее естественно выражается в частотной области (например, усиление басов), а не в необработанной временной области.
С этой точки зрения, перцепционное кодирование по существу заключается не в отбрасывании данных, а, скорее, в лучшем представлении их . Другое использование — для обратной совместимости и постепенного ухудшения : в цветном телевидении кодирование цвета через домен преобразования яркость - цветность (например, YUV ) означает, что черно-белые наборы отображают яркость, игнорируя при этом информацию о цвете. Другим примером является субдискретизация цветности : использование цветовых пространств , таких как YIQ , используемых в NTSC , позволяет уменьшить разрешение компонентов в соответствии с человеческим восприятием — люди имеют самое высокое разрешение для черно-белых изображений (яркость), более низкое разрешение. для цветов среднего спектра, таких как желтый и зеленый, и самого низкого для красного и синего — таким образом, NTSC отображает примерно 350 пикселей яркости на строку сканирования , 150 пикселей желтого по сравнению с зеленым и 50 пикселей синего по сравнению с красным, что пропорционально человеческому цвету. чувствительность к каждому компоненту.
Потеря информации [ править ]
Форматы сжатия с потерями страдают от потерь при генерации : многократное сжатие и распаковка файла приведет к постепенной потере его качества. В этом отличие от сжатия данных без потерь , при котором данные не будут потеряны при использовании такой процедуры. Теоретико-информационные основы сжатия данных с потерями обеспечиваются теорией искажения скорости . Подобно использованию вероятности в теории оптимального кодирования, теория искажений скорости в значительной степени опирается на байесовскую теорию оценки и теории принятия решений для моделирования искажений восприятия и даже эстетических суждений.
Существует две основные схемы сжатия с потерями:
- В с преобразованием с потерями кодеках берутся образцы изображения или звука, разбиваются на небольшие сегменты, преобразуются в новое базисное пространство и квантоваются . Полученные квантованные значения затем подвергаются энтропийному кодированию .
- В кодеках с прогнозированием с потерями предыдущие и/или последующие декодированные данные используются для прогнозирования текущего образца звука или кадра изображения. Ошибка между прогнозируемыми данными и реальными данными вместе с любой дополнительной информацией, необходимой для воспроизведения прогноза, затем квантуется и кодируется.
В некоторых системах эти два метода комбинируются, при этом кодеки преобразования используются для сжатия сигналов ошибок, генерируемых на этапе прогнозирования.
Сравнение [ править ]
Преимущество методов с потерями перед методами без потерь заключается в том, что в некоторых случаях метод с потерями может создать сжатый файл гораздо меньшего размера, чем любой метод без потерь, при этом удовлетворяя требованиям приложения. Методы с потерями чаще всего используются для сжатия звука, изображений или видео. Это связано с тем, что эти типы данных предназначены для интерпретации человеком, где разум может легко «заполнить пробелы» или увидеть прошлые очень незначительные ошибки или несоответствия — в идеале сжатие с потерями является прозрачным (незаметным), что можно проверить с помощью теста ABX . Файлы данных, использующие сжатие с потерями, имеют меньший размер и, следовательно, требуют меньше затрат на хранение и передачу через Интернет, что является решающим фактором для служб потокового видео, таких как Netflix , и служб потокового аудио, таких как Spotify .
Прозрачность [ править ]
Когда пользователь получает файл, сжатый с потерями (например, для сокращения времени загрузки), полученный файл может сильно отличаться от оригинала на битовом уровне, но для большинства практических целей он неотличим для человеческого уха или глаза. Многие методы сжатия ориентированы на особенности физиологии человека , принимая во внимание, например, что человеческий глаз может видеть только определенные длины волн света. Психоакустическая модель описывает, как звук может быть сильно сжат без ухудшения воспринимаемого качества. Дефекты, вызванные сжатием с потерями и заметные человеческому глазу или уху, известны как артефакты сжатия .
Степень сжатия [ править ]
Степень сжатия (то есть размер сжатого файла по сравнению с размером несжатого файла) видеокодеков с потерями почти всегда намного превосходит аналогичный показатель для аудио и неподвижных изображений.
- Видео можно сильно сжать (например, 100:1) с незначительной видимой потерей качества.
- Звук часто можно сжать в соотношении 10:1 с почти незаметной потерей качества.
- Неподвижные изображения часто сжимаются с потерями в соотношении 10:1, как и звук, но потеря качества более заметна, особенно при ближайшем рассмотрении.
Транскодирование и редактирование [ править ]
Важным предостережением относительно сжатия с потерями (формально транскодирования) является то, что редактирование файлов, сжатых с потерями, приводит к потере цифрового поколения из-за перекодирования. Этого можно избежать, создавая файлы с потерями только из оригиналов (без потерь) и редактируя только (копии) исходных файлов, таких как изображения в формате RAW вместо JPEG . Если данные, которые были сжаты с потерями, декодируются и сжимаются без потерь, размер результата может быть сопоставим с размером данных до сжатия с потерями, но уже потерянные данные не могут быть восстановлены. При принятии решения об использовании преобразования с потерями без сохранения оригинала в будущем может потребоваться преобразование формата для достижения совместимости с программным обеспечением или устройствами ( сдвиг формата ) или во избежание уплаты патентных гонораров за декодирование или распространение сжатых файлов.
Редактирование файлов с потерями [ править ]
Путем непосредственного изменения сжатых данных без декодирования и повторного кодирования возможно некоторое редактирование файлов, сжатых с потерями, без ухудшения качества. Иногда также возможно редактирование, уменьшающее размер файла, как если бы он был сжат в большей степени, но без больших потерь.
JPEG [ править ]
Основными программами для редактирования файлов JPEG без потерь являются jpegtranи производное exiftran (который также сохраняет информацию Exif ) и Jpegcrop (который обеспечивает интерфейс Windows).
изображение Они позволяют обрезать , вращать, переворачивать и переворачивать или даже преобразовывать его в оттенки серого (путем удаления канала цветности ). Хотя нежелательная информация уничтожается, качество оставшейся части остается неизменным.
В некоторой степени возможны и другие преобразования, такие как объединение изображений с одинаковой кодировкой (составление рядом, как в сетке) или вставка изображений, таких как логотипы, в существующие изображения (оба через Jpegjoin ) или масштабирование. [6]
Некоторые изменения в сжатие можно внести без перекодирования:
- Оптимизация сжатия (чтобы уменьшить размер без изменения декодированного изображения)
- Преобразование между прогрессивным и непрогрессивным кодированием.
Бесплатная программа IrfanView, предназначенная только для Windows , имеет в своей программе некоторые операции с JPEG без потерь. JPG_TRANSFORM плагин .
Метаданные [ править ]
Метаданные, такие как теги ID3 , комментарии Vorbis или информация Exif , обычно можно изменить или удалить без изменения базовых данных.
/сжатого представления понижающей дискретизации Масштабируемость
Можно пожелать понизить дискретизацию или иным образом уменьшить разрешение представленного исходного сигнала и количество данных, используемых для его сжатого представления без повторного кодирования, как при очистке битрейта , но эта функция поддерживается не во всех конструкциях, поскольку не все кодеки кодируют данные в такой форме, которая позволяет просто исключить менее важные детали. Некоторые известные конструкции, обладающие такой возможностью, включают JPEG 2000 для неподвижных изображений и H.264/MPEG-4 AVC на основе масштабируемое кодирование видео для видео. Такие схемы также были стандартизированы и для более старых проектов, таких как изображения JPEG с прогрессивным кодированием и видео MPEG-2 и MPEG-4 Part 2 , хотя эти предыдущие схемы имели ограниченный успех с точки зрения внедрения в общее использование в реальной жизни. Без этой способности, что часто имеет место на практике, для создания представления с более низким разрешением или меньшей точностью, чем заданное, нужно начинать с исходного исходного сигнала и кодировать, или начинать со сжатого представления, а затем распаковывать и повторно - закодировать ( транскодирование ), хотя последнее имеет тенденцию вызывать потерю цифрового поколения .
Другой подход состоит в том, чтобы закодировать исходный сигнал с несколькими разными битрейтами, а затем либо выбрать, какой из них использовать (как при потоковой передаче через Интернет — как в RealNetworks « SureStream » — или предлагать различные загрузки, как в Apple iTunes Store ), либо транслировать несколько, где используется лучшее, что успешно получено, как в различных реализациях иерархической модуляции . Подобные методы используются в MIP-картах , пирамидальных представлениях и более сложных масштабного пространства методах . Некоторые аудиоформаты представляют собой комбинацию формата с потерями и коррекции без потерь, которые при объединении воспроизводят исходный сигнал; исправление можно удалить, оставив файл меньшего размера, сжатый с потерями. К таким форматам относятся MPEG-4 SLS (Scalable to Lossless), WavPack , OptimFROG DualStream и DTS-HD Master Audio в режиме без потерь (XLL) .
Методы [ править ]
Графика [ править ]
Изображение [ править ]
- Дискретное косинусное преобразование (ДКП)
- JPEG [7]
- WebP (сжатие изображений RGB и RGBA высокой плотности без потерь или с потерями)
- Высокоэффективный формат изображения (HEIF)
- Better Portable Graphics (BPG) (сжатие без потерь или с потерями)
- JPEG XR , преемник JPEG с поддержкой с расширенным динамическим диапазоном и широкой гаммой (сжатие без потерь или с потерями). форматов пикселей
- Вейвлет-сжатие
- Декартово перцептивное сжатие , также известное как CPC.
- Фрактальное сжатие
- JBIG2 (сжатие без потерь или с потерями)
- S3TC Сжатие текстур для оборудования компьютерной 3D-графики
3D компьютерная графика [ править ]
Видео [ править ]
- Дискретное косинусное преобразование (ДКП)
- H.261 [7]
- Движущийся JPEG [7]
- MPEG-1 Часть 2 [8]
- MPEG-2, часть 2 (H.262) [8]
- MPEG-4, часть 2 ( H.263 ) [7]
- Расширенное кодирование видео (AVC/H.264/ MPEG-4 AVC) [7] (также может быть без потерь, даже в некоторых разделах видео)
- Высокоэффективное кодирование видео (HEVC/H.265) [7]
- Ogg Theora (известен отсутствием патентных ограничений)
- ВК-1
- Вейвлет-сжатие
- Видеокодек Соренсон
Аудио [ править ]
Общие [ править ]
- Модифицированное дискретное косинусное преобразование (MDCT)
- Долби Цифровой (AC-3)
- Акустическое кодирование с адаптивным преобразованием (ATRAC)
- MPEG Layer III (MP3) [9]
- Расширенное кодирование звука (аудио AAC/ MP4 ) [10]
- Ворбис
- Windows Media Audio (WMA) (профили Standard и Pro поддерживают формат с потерями. Также доступен формат WMA Lossless.)
- ЛДАК [11] [12]
- Opus (Отличается отсутствием патентных ограничений, низкой задержкой и высоким качеством речи и общего звука.)
- Адаптивная дифференциальная импульсно-кодовая модуляция (ADPCM)
- MPEG-1 Audio Layer II (MP2)
- Musepack (на основе Musicam)
- aptX/aptX-HD [13]
Речь [ править ]
- Линейное прогнозирующее кодирование (LPC)
- Адаптивное прогнозирующее кодирование (APC)
- Линейное предсказание с кодовым возбуждением (CELP)
- Линейное предсказание с возбуждением алгебраического кода (ACELP)
- Расслабленное линейное предсказание с кодовым возбуждением (RCELP)
- CELP с низкой задержкой (LD-CELP)
- Адаптивная многоскоростная передача (используется в GSM и 3GPP )
- Codec2 (известен отсутствием патентных ограничений)
- Speex (известен отсутствием патентных ограничений)
- Модифицированное дискретное косинусное преобразование (MDCT)
- AAC-LD
- Преобразование с ограниченной энергией (CELT)
- Opus (в основном для приложений реального времени)
Другие данные [ править ]
Исследователи выполнили сжатие текста с потерями, используя тезаурус для замены длинных слов короткими или генеративного текста . методы [14] хотя иногда они попадают в соответствующую категорию преобразования данных с потерями .
Понижение разрешения [ править ]
Общий вид сжатия с потерями заключается в понижении разрешения изображения, как при масштабировании изображения , в частности, прореживании . Также можно удалить менее «нижние информационные» части изображения, например, путем вырезания шва . Многие медиапреобразования, такие как размытие по Гауссу , как и сжатие с потерями, необратимы: исходный сигнал невозможно восстановить из преобразованного сигнала. Однако в целом они будут иметь тот же размер, что и оригинал, и не являются формой сжатия. Понижение разрешения имеет практическое применение, поскольку корабль НАСА « Новые горизонты » передал миниатюры своей встречи с Плутоном-Хароном, прежде чем отправить изображения с более высоким разрешением. Другим решением для медленных соединений является использование чересстрочной развертки изображений , которая постепенно определяет изображение. Таким образом, частичной передачи достаточно для предварительного просмотра окончательного изображения в версии с более низким разрешением без создания масштабированной и полной версии. [ нужна ссылка ]
См. также [ править ]
- Артефакт сжатия
- Сжатие данных
- Масштабирование изображения
- Летать
- Список кодеков
- Сжатие без потерь
- Теория скорости-искажения
- Резьба по шву
- Транскодирование
Примечания [ править ]
- ^ Европейское общество радиологии (2011). «Применение необратимого сжатия изображений в радиологической визуализации. Документ с изложением позиции Европейского общества радиологии (ESR)» . Информационная визуализация . 2 (2): 103–115. дои : 10.1007/s13244-011-0071-x . ПМК 3259360 . ПМИД 22347940 .
- ^ «Сжатие данных» . Британская энциклопедия . Проверено 13 августа 2019 г.
- ^ Ахмед, Насир ; Натараджан, Т.; Рао, КР (январь 1974 г.), «Дискретное косинусное преобразование», Транзакции IEEE на компьютерах , C-23 (1): 90–93, doi : 10.1109/TC.1974.223784 , S2CID 149806273
- ^ «T.81 – ЦИФРОВОЕ СЖАТИЕ И КОДИРОВАНИЕ НЕПРЕРЫВНЫХ СТАЦИОНАРНЫХ ИЗОБРАЖЕНИЙ – ТРЕБОВАНИЯ И РУКОВОДСТВА» (PDF) . ССИТТ. Сентябрь 1992 года . Проверено 12 июля 2019 г.
- ^ «Хотя одной из основных целей кодеров восприятия цифрового звука является сокращение данных, это не является обязательной характеристикой. Как мы увидим, перцепционное кодирование можно использовать для улучшения представления цифрового звука за счет расширенного распределения битов». Маскирование и перцептивное кодирование , Виктор Ломбарди, Noisebetweenstations.com
- ^ «Новые возможности jpegtran» . сильвана.нет . Проверено 20 сентября 2019 г.
- ^ Jump up to: Перейти обратно: а б с д и ж Станкович, Радомир С.; Астола, Яакко Т. (2012). «Воспоминания о ранней работе в DCT: интервью с К.Р. Рао» (PDF) . Отпечатки первых дней информационных наук . 60 . Проверено 13 октября 2019 г.
- ^ Jump up to: Перейти обратно: а б К. Р. Рао и Дж. Дж. Хван, «Методы и стандарты кодирования изображений, видео и аудио» , Prentice Hall, 1996; JPEG: глава 8; H.261: Глава 9; MPEG-1: Глава 10; MPEG-2: Глава 11.
- ^ Гукерт, Джон (весна 2012 г.). «Использование БПФ и MDCT в сжатии аудио MP3» (PDF) . Университет Юты . Проверено 14 июля 2019 г.
- ^ Бранденбург, Карлхайнц (1999). «Объяснение MP3 и AAC» (PDF) . Архивировано (PDF) из оригинала 13 февраля 2017 г.
- ^ Дарко, Джон Х. (29 марта 2017 г.). «Неудобная правда о Bluetooth-аудио» . ДАР__КО . Архивировано из оригинала 14 января 2018 г. Проверено 13 января 2018 г.
- ^ Форд, Джез (24 августа 2015 г.). «Что такое Sony LDAC и как она это делает?» . AVHub . Проверено 13 января 2018 г.
- ^ Форд, Джез (22 ноября 2016 г.). «aptX HD — без потерь или с потерями?» . AVHub . Проверено 13 января 2018 г.
- ^ Я ВИТТЕН; и др. «Семантические и генеративные модели сжатия текста с потерями» (PDF) . Компьютерный журнал . Проверено 13 октября 2007 г.
Внешние ссылки [ править ]
- Аудиоформаты с потерями : сравнение скорости и силы сжатия пяти аудиоформатов с потерями.
- Основы сжатия данных , включая главы, посвященные сжатию изображений, аудио и видео с потерями.
- Сжатие изображений PNG с потерями в Wayback Machine (архивировано 3 октября 2005 г.)
- Использование сжатия GIF/PNG с потерями для Интернета (статья)
- JPG для архивирования , сравнение пригодности JPG и сжатия без потерь для архивов изображений.
- Сжатие изображений JPG , инструмент сжатия Jpg, Png
сжатия данных Методы | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| без потерь |
| ||||||||
| с потерями |
| ||||||||
| Аудио |
| ||||||||
| Изображение |
| ||||||||
| Видео |
| ||||||||
| Теория | |||||||||
| Сообщество | |||||||||
| Люди | |||||||||
