Деинтерлейсинг

Деинтерлейсинг — это процесс преобразования чересстрочного видео в не чересстрочную или прогрессивную форму. Чересстрочные видеосигналы обычно встречаются в аналоговом телевидении , VHS , лазерных дисках , цифровом телевидении ( HDTV ) в формате 1080i , некоторых DVD и небольшом количестве дисков Blu-ray .

Кадр чересстрочного видео состоит из двух полей, взятых последовательно: первое содержит все нечетные строки изображения, а второе - все четные строки. Аналоговое телевидение использовало этот метод, поскольку он позволял уменьшить полосу пропускания передачи, сохраняя при этом высокую частоту кадров для более плавного и реалистичного движения. Сигнал без чересстрочной развертки (или с прогрессивной разверткой ), который использует ту же полосу пропускания, обновляет изображение на дисплее вдвое реже и вызывает воспринимаемое мерцание или заикание. Дисплеи на основе ЭЛТ могли правильно отображать чересстрочное видео благодаря своей полной аналоговой природе, плавно смешивая чередующиеся строки. Однако с начала 2000-х годов такие дисплеи, как телевизоры и компьютерные мониторы, стали почти полностью цифровыми, поскольку дисплей состоит из дискретных пикселей, и на таких дисплеях чересстрочная развертка становится заметной и может выглядеть как отвлекающий визуальный дефект. Процесс деинтерлейсинга должен попытаться свести их к минимуму.

Таким образом, деинтерлейсинг является необходимым процессом и встроен в большинство современных DVD-плееров, Blu-ray-плееров, ЖК-/LED-телевизоров, цифровых проекторов, телевизионных приставок, профессионального вещательного оборудования, а также компьютерных видеоплееров и редакторов, хотя каждый из них имеет разный уровень качества.

Деинтерлейсинг исследуется десятилетиями и использует сложные алгоритмы обработки; однако добиться устойчивых результатов было очень трудно.

Предыстория

См. также: Чересстрочное видео.

Пример чересстрочного видео (замедленного)

И видео , и фотопленка захватывают серию кадров (неподвижных изображений) в быстрой последовательности; однако телевизионные системы считывают захваченное изображение путем последовательного сканирования датчика изображения по строкам (рядам). В аналоговом телевидении каждый кадр делится на два последовательных поля : одно содержит все четные строки, другое — нечетные. Поля захватываются последовательно со скоростью, вдвое превышающей номинальную частоту кадров. Например, системы PAL и SECAM имеют скорость 25 кадров в секунду или 50 полей в секунду, а система NTSC обеспечивает скорость 29,97 кадров в секунду или 59,94 поля в секунду. Этот процесс разделения кадров на поля с половинным разрешением при удвоенной частоте кадров известен как чересстрочная развертка .

Поскольку чересстрочный сигнал содержит два поля видеокадра, снятого в два разных момента времени, он улучшает восприятие движения зрителем и уменьшает мерцание , используя преимущества эффекта постоянства изображения . Это приводит к эффективному удвоению временного разрешения по сравнению с видеозаписью без чересстрочной развертки (для частоты кадров, равной частоте полей). Однако для чересстрочного сигнала требуется дисплей, который изначально способен отображать отдельные поля в последовательном порядке, и только традиционные телевизоры на основе ЭЛТ способны отображать чересстрочный сигнал из-за электронного сканирования и отсутствия видимого фиксированного разрешения.

Большинство современных дисплеев, таких как LCD , DLP и плазменные дисплеи , не способны работать в чересстрочном режиме, поскольку они представляют собой дисплеи с фиксированным разрешением и поддерживают только прогрессивную развертку. Для отображения чересстрочного сигнала на таких дисплеях два чересстрочных поля должны быть преобразованы в один прогрессивный кадр с помощью процесса, известного как деинтерлейсинг . Однако когда два поля, снятые в разные моменты времени, повторно объединяются в полный кадр, отображаемый одновременно, визуальные дефекты, называемые артефактами чересстрочной развертки или расчесыванием с движущимися объектами на изображении возникают . Хороший алгоритм деинтерлейсинга должен стараться максимально избегать артефактов чересстрочной развертки и не жертвовать при этом качеством изображения, чего трудно добиться постоянно. Существует несколько методов, которые экстраполируют недостающую информацию изображения, однако они скорее попадают в категорию интеллектуального создания кадров и требуют сложных алгоритмов и значительной вычислительной мощности.

Методы деинтерлейсинга требуют сложной обработки и, следовательно, могут привести к задержке видеопотока. Хотя это обычно не заметно, это может привести к тому, что отображение старых видеоигр будет отставать от ввода контроллера. Таким образом, многие телевизоры имеют «игровой режим», в котором выполняется минимальная обработка, чтобы максимизировать скорость за счет качества изображения. Деинтерлейсинг лишь частично ответственен за такую ​​задержку; масштабирование также включает в себя сложные алгоритмы, выполнение которых занимает миллисекунды.

исходный

Основная статья: Телекино

Некоторое видео с чересстрочной разверткой могло быть изначально создано из видеоматериалов с прогрессивной разверткой, и это также следует учитывать в процессе деинтерлейсинга.

Типичный киноматериал снимается на пленку со скоростью 24 кадра в секунду. Для преобразования фильма в чересстрочное видео обычно используется процесс, называемый телекино , при котором каждый кадр преобразуется в несколько полей. В некоторых случаях каждый кадр фильма может быть представлен ровно двумя сегментированными прогрессивными кадрами (PsF), и в этом формате не требуется сложный алгоритм деинтерлейсинга, поскольку каждое поле содержит часть одного и того же прогрессивного кадра. Однако для соответствия чересстрочному сигналу PAL/SECAM с 50 полями или чересстрочным сигналом NTSC с 59,94/60 полями преобразование частоты кадров необходимо с использованием различных методов «вытягивания». Большинство современных телевизоров могут восстановить исходный сигнал с частотой 24 кадра в секунду, используя обратный телекинопроцесс . Другой вариант — ускорить 24-кадровый фильм на 4% (до 25 кадров/с) для преобразования PAL/SECAM; этот метод до сих пор широко используется для DVD, а также телевизионных передач (SD и HD) на рынках PAL.

DVD-диски могут либо кодировать фильмы, используя один из этих методов, либо сохранять исходное прогрессивное видео с частотой 24 кадра в секунду и использовать теги декодера MPEG-2, чтобы указать видеоплееру, как преобразовать их в чересстрочный формат. Большинство фильмов на Blu-ray сохранили исходную частоту движущихся фильмов без чересстрочной развертки 24 кадра/с и позволяют выводить их в прогрессивном формате 1080p24 непосредственно на устройства отображения без необходимости преобразования.

Некоторые камкордеры 1080i HDV также поддерживают режим PsF с кинематографической частотой кадров 24 или 25 кадров/с. Съемочные группы телепередач также могут использовать специальные пленочные камеры, работающие со скоростью 25 или 30 кадров в секунду, если такой материал не требует преобразования частоты кадров для трансляции в предполагаемом формате видеосистемы.

Методы деинтерлейсинга

Когда кто-то смотрит чересстрочное видео на прогрессивном мониторе с плохим деинтерлейсингом, он может увидеть «причесывание» в движении между двумя полями одного кадра.

Деинтерлейсинг требует, чтобы дисплей буферизировал одно или несколько полей и объединил их в полные кадры. Теоретически это было бы так же просто, как захватить одно поле и объединить его со следующим полученным полем, создав один кадр. Однако первоначально записанный сигнал был получен из двух полей в разные моменты времени, и без специальной обработки любое движение по полям обычно приводит к эффекту «причесывания», когда чередующиеся линии слегка смещаются друг от друга.

Существуют различные методы деинтерлейсинга видео, каждый из которых создает проблемы или артефакты свои собственные . Некоторые методы содержат гораздо больше артефактов, чем другие.

Большинство методов деинтерлейсинга делятся на три большие группы:

1. Деинтерлейсинг комбинаций полей , при котором четные и нечетные поля объединяются в один кадр. Это уменьшает вдвое воспринимаемую частоту кадров (временное разрешение), при этом 50i или 60i преобразуются в 25p или 30p.
2. Деинтерлейсинг расширения поля , при котором каждое поле (только с половиной строк) расширяется на весь экран, чтобы создать кадр. При этом вертикальное разрешение изображения уменьшается вдвое, но сохраняется исходная частота кадров (50i или 60i преобразуются в 50p или 60p).
3. Деинтерлейсинг с компенсацией движения , который использует более совершенные алгоритмы для обнаружения движения в полях и при необходимости переключает методы. Это дает результат наилучшего качества, но требует наибольшей вычислительной мощности.

Поэтому современные системы деинтерлейсинга буферизуют несколько полей и используют такие методы, как обнаружение границ, в попытке найти движение между полями. Затем это используется для интерполяции недостающих строк из исходного поля, уменьшая эффект расчесывания.

Деинтерлейсинг комбинаций полей

Эти методы берут четные и нечетные поля и объединяют их в один кадр. Они сохраняют полное вертикальное разрешение за счет временного разрешения (воспринимаемой частоты кадров), при этом 50i/60i преобразуется в 24p/25p/30p, что может привести к потере плавности и плавности оригинала. Однако если чересстрочный сигнал изначально был получен из источника с более низкой частотой кадров, такого как пленка, то информация не теряется, и этих методов может быть достаточно.

Ткачество

• Переплетение — это самый простой и элементарный метод, выполняемый путем чередования («сплетения») последовательных полей в один кадр. Этот метод не вызывает никаких проблем, если изображение не менялось между полями, но любое движение приведет к артефактам, известным как «расчесывание», когда пиксели в одном поле не совпадают с пикселями в другом, образуя неровный край.

Смешивание

• Смешение осуществляется путем смешивания или усреднения последовательных полей для отображения в одном кадре. Расчесывание исключается, поскольку изображения располагаются друг над другом. Вместо этого остается артефакт, известный как ореолы. Изображение теряет как вертикальное, так и временное разрешение. Хотя для видео, созданного с помощью этого метода, требуется только половина количества пикселей по вертикали, его часто комбинируют с изменением размера по вертикали, чтобы на выходе не было числовых потерь в вертикальных пикселях. Использование интерполяции может привести к еще более мягкому изображению. При смешивании также теряется половина временного разрешения, поскольку два поля движения объединяются в один кадр.
• Выборочное смешивание , или умное смешивание , или смешивание, адаптивное к движению , представляет собой комбинацию переплетения и смешивания. Поскольку области, которые не меняются от кадра к кадру, не нуждаются в какой-либо обработке, кадры переплетаются, и смешиваются только те области, которые в этом нуждаются. При этом сохраняется полное вертикальное разрешение и половина временного разрешения, а также меньше артефактов, чем при переплетении или смешивании, благодаря выборочному сочетанию обоих методов.
• Inverse Telecine : Telecine используется для преобразования источника киноизображения со скоростью 24 кадра в секунду в чересстрочное телевизионное видео в странах, где используется видеосистема NTSC со скоростью 30 кадров в секунду. Страны, которые используют PAL со скоростью 25 кадров в секунду, не требуют Telecine – источники кинофильмов просто ускоряются на 4% для достижения необходимых 25 кадров в секунду. Если использовался Telecine, то можно изменить алгоритм, чтобы получить исходный материал без чересстрочной развертки, который имеет более низкую частоту кадров. Чтобы это сработало, необходимо знать или угадать точную модель телесина. В отличие от большинства других методов деинтерлейсинга, инверсный телекино, если он работает, может прекрасно восстановить исходный прогрессивный видеопоток.
• Алгоритмы в стиле телекино: если чересстрочный материал был создан из прогрессивных кадров с более медленной частотой кадров (например, «раскрывающееся изображение мультфильма»), то точные исходные кадры можно восстановить, скопировав отсутствующее поле из соответствующего предыдущего/следующего кадра. В случаях, когда совпадения нет (например, короткие мультфильмы с повышенной частотой кадров), фильтр прибегает к другому методу деинтерлейсинга, например смешиванию или удвоению строк. Это означает, что худшим случаем для Telecine являются случайные кадры с двоением или пониженным разрешением. Напротив, когда более сложные алгоритмы обнаружения движения терпят неудачу, они могут создавать пиксельные артефакты, не соответствующие исходному материалу. Для телекино прореживания . можно применять в качестве постобработки для уменьшения частоты кадров, и эта комбинация, как правило, более надежна, чем простой обратный телекино, который не работает, когда кадры с разной чересстрочной разверткой соединяются вместе

Деинтерлейсинг расширения поля

Эти методы берут каждое поле (только с половиной строк) и расширяют его на весь экран, чтобы создать кадр. Это может уменьшить вдвое вертикальное разрешение изображения, но направлено на сохранение исходной скорости поля (50i или 60i преобразуется в 50p или 60p).

Половинный размер

• При половинном размере каждое чересстрочное поле отображается отдельно, в результате чего получается видео с разрешением по вертикали, вдвое меньшим, чем исходное, без масштабирования. Хотя этот метод сохраняет все исходные пиксели и все временное разрешение, он, по понятным причинам, не используется для обычного просмотра из-за неправильного соотношения сторон. Однако его можно успешно использовать для применения видеофильтров , которые ожидают кадр без чересстрочной развертки, например, тех, которые используют информацию из соседних пикселей (например, повышение резкости).

Удвоение строк

• Удвоение строк или «подпрыгивание» берет строки каждого чересстрочного поля (состоящего только из четных или нечетных строк) и удваивает их, заполняя весь кадр. В результате видео имеет частоту кадров, идентичную исходной частоте полей, но каждый кадр имеет половину вертикального разрешения или разрешение, равное разрешению каждого поля, из которого был создан кадр. Дублирование линий предотвращает появление артефактов и обеспечивает плавность движения, но может привести к заметному снижению качества изображения из-за потери вертикального разрешения и визуальных аномалий, в результате которых неподвижные объекты могут казаться подпрыгивающими вверх и вниз по мере чередования нечетных и четных линий. эти методы также называются боб-деинтерлейсингом и линейным деинтерлейсингом По этой причине . Вариант этого метода отбрасывает одно поле из каждого кадра, уменьшая вдвое временное разрешение.

Удвоение строк иногда путают с деинтерлейсингом в целом или с интерполяцией (масштабированием изображения), которая использует пространственную фильтрацию для создания дополнительных строк и, следовательно, уменьшения видимости пикселизации на любом типе дисплея. Терминология «удвоитель строк» ​​чаще используется в бытовой электронике высокого класса, а «деинтерлейсинг» чаще используется в компьютерах и цифровом видео.

компенсации

Более продвинутые алгоритмы деинтерлейсинга сочетают в себе традиционные методы комбинирования полей (переплетение и смешивание) и методы расширения кадров (двоение или удвоение строк) для создания высококачественной прогрессивной видеопоследовательности. Одним из основных указаний на направление и количество движения может быть направление и длина артефактов «гребенки» в чересстрочном сигнале.

Лучшие алгоритмы также пытаются предсказать направление и величину движения изображения между последующими полями, чтобы лучше смешать два поля вместе. Они могут использовать алгоритмы, аналогичные блочной компенсации движения, используемой при сжатии видео. Например, если в двух полях лицо человека перемещается влево, переплетение создаст расчесывание, а смешивание создаст ореолы. Расширенная компенсация движения (в идеале) будет видеть, что лицо в нескольких полях представляет собой одно и то же изображение, просто перемещенное в другое положение, и попытается определить направление и величину такого движения. Затем алгоритм попытается восстановить все детали лица в обоих выходных кадрах, объединив изображения вместе, перемещая части каждого поля в обнаруженном направлении на обнаруженную величину движения. Деинтерлейсеры, использующие этот метод, часто превосходят других, поскольку они могут использовать информацию из многих полей, а не только из одного или двух, однако для достижения этого в режиме реального времени им требуется мощное оборудование.

Компенсацию движения необходимо сочетать с обнаружением смены сцены (с этим есть свои проблемы), иначе она будет пытаться найти движение между двумя совершенно разными сценами. Плохо реализованный алгоритм компенсации движения будет мешать естественному движению и может привести к визуальным артефактам, которые проявляются в виде «прыгающих» частей неподвижного или плавно движущегося изображения.

качества

Различные методы деинтерлейсинга имеют разные характеристики качества и скорости.

Обычно для измерения качества метода деинтерлейсинга используется следующий подход:

1. Набор прогрессивных видео составлен
2. Все эти видео чересстрочные
3. Каждое чересстрочное видео подвергается деинтерлейсингу с использованием определенного метода деинтерлейсинга.
4. Все видео с деинтерлейсной разверткой сравниваются с соответствующим исходным видео с помощью объективных показателей качества видео, таких как PSNR , SSIM или VMAF .

Основной метрикой измерения скорости является количество кадров в секунду (FPS) — сколько кадров деинтерлейсер способен обработать в секунду. Говоря о FPS, необходимо указывать разрешение всех кадров и характеристики оборудования, поскольку от этих двух факторов существенно зависит скорость конкретного метода деинтерлейсинга.

Тесты

Конкурс деинтерлейсинга 2019

В этом тесте сравнивались 8 различных методов деинтерлейсинга синтетического видео. На видео присутствует движущаяся трехмерная кривая Лиссажу , что затрудняет работу современных методов деинтерлейсинга. Авторы использовали MSE и PSNR в качестве объективных показателей. Также они измеряют скорость обработки в FPS . Для некоторых методов возможно только визуальное сравнение, для других – только объективное.

Другие алгоритмы Deinterlacing Challenge 2019

Алгоритм	МШЭ	ПСНР	Скорость обработки (ФПС)	Открытый исходный код
Смесь деинтерлейса Vegas	8.086	43.594	3.53	Нет
Интерполяция деинтерлейсинга в Вегасе	16.426	41.292	3.58	Нет

Тест деинтерлейсера МГУ

В этом тесте сравнивалось более 20 методов на 40 видеопоследовательностях. Общая длина последовательностей составляет 834 кадра. Его авторы заявляют, что главной особенностью этого теста является всестороннее сравнение методов с инструментами визуального сравнения, графиками производительности и настройкой параметров. Авторы использовали PSNR и SSIM в качестве объективных показателей.

Лучшие алгоритмы ДИБ МГУ

Алгоритм	ПСНР	ДА	Скорость обработки (ФПС)	Открытый исходный код
Деинтерлейсер МГУ	40.708	0.983	1.3	Нет
VapourSynth TDeintMod	39.916	0.977	50.29	Да
НИЧЕГО	39.625	0.978	1.91	Да
Фильтр деинтерлейсинга FFmpeg Bob Weaver	39.679	0.976	46.45	Да
Вапурсинт EEDI3	39.373	0.977	51.9	Да
Глубокий деинтерлейсинг видео в реальном времени	39.203	0.976	0.27	Да

Автор VapourSynth TDeintMod утверждает, что это адаптивный деинтерлейсер двунаправленного движения. Метод NNEDI использует нейронную сеть для деинтерлейсинга видеопоследовательностей. Фильтр деинтерлейсинга FFmpeg Bob Weaver является частью известной платформы для обработки видео и аудио. Vapoursynth EEDI3 — это аббревиатура от «улучшенная интерполяция по краям 3». Авторы этого метода заявляют, что он работает путем поиска наилучшего неубывающего искажения между двумя строками в соответствии с функционалом стоимости. Авторы Real-Time Deep Video Deinterlacer используют Deep CNN для получения наилучшего качества выходного видео.

Где выполняется деинтерлейсинг

Деинтерлейсинг чересстрочного видеосигнала можно выполнять на различных этапах производственной цепочки телевидения.

Прогрессивные медиа

Деинтерлейсинг необходим для чересстрочных архивных программ, когда формат вещания или формат мультимедиа является прогрессивным, как в вещании EDTV 576p или HDTV 720p50 или мобильном вещании DVB-H; Есть два способа добиться этого.

• Производство . Чересстрочный видеоматериал преобразуется в прогрессивную развертку во время производства программы. Обычно это должно обеспечивать максимально возможное качество, поскольку видеооператоры имеют доступ к дорогому и мощному оборудованию и программному обеспечению для деинтерлейсинга и могут выполнять деинтерлейсинг с максимально возможным качеством, вероятно, вручную выбирая оптимальный метод деинтерлейсинга для каждого кадра.
• Вещание . Аппаратное обеспечение деинтерлейсинга в реальном времени преобразует чересстрочные программы в прогрессивную развертку непосредственно перед трансляцией. Поскольку время обработки ограничено частотой кадров и человеческий фактор невозможен, качество преобразования, скорее всего, будет хуже, чем при предварительном методе; однако дорогое и высокопроизводительное оборудование для деинтерлейсинга все равно может давать хорошие результаты при правильной настройке.

Чересстрочный медиа

Когда формат вещания или формат мультимедиа чересстрочный, деинтерлейсинг в реальном времени должен выполняться с помощью встроенных схем телеприставки, телевизора, внешнего видеопроцессора, проигрывателя DVD или DVR или карты ТВ-тюнера. Поскольку оборудование бытовой электроники обычно намного дешевле, имеет значительно меньшую вычислительную мощность и использует более простые алгоритмы по сравнению с профессиональным оборудованием деинтерлейсинга, качество деинтерлейсинга может сильно различаться, и типичные результаты часто бывают плохими даже на оборудовании высокого класса.

Использование компьютера для воспроизведения и/или обработки потенциально обеспечивает более широкий выбор видеоплееров и/или программного обеспечения для редактирования, не ограничиваясь качеством, предлагаемым встроенным устройством бытовой электроники, поэтому, по крайней мере теоретически, возможно более высокое качество деинтерлейсинга – особенно если пользователь может предварительное преобразование чересстрочного видео в прогрессивную развертку перед воспроизведением, а также усовершенствованные и трудоемкие алгоритмы деинтерлейсинга (т. е. использование «производственного» метода).

Однако качество как бесплатного, так и коммерческого программного обеспечения потребительского уровня может не соответствовать уровню профессионального программного обеспечения и оборудования. Кроме того, большинство пользователей не обучены производству видео; это часто приводит к плохим результатам, поскольку многие люди мало что знают о деинтерлейсинге и не знают, что частота кадров составляет половину частоты поля. Многие кодеки/плееры даже не выполняют деинтерлейсинг самостоятельно и полагаются на графическую карту и API-интерфейс ускорения видео для выполнения правильного деинтерлейсинга.

Опасения

Европейский вещательный союз выступил против использования чересстрочного видео в производстве и вещании, рекомендуя 720p 50 кадров в секунду (кадров в секунду) в качестве текущего формата производства и работая с отраслью над внедрением 1080p 50 в качестве перспективного производственного стандарта, который обеспечивает более высокую вертикальную разрешение, лучшее качество при более низких битрейтах и ​​более простое преобразование в другие форматы, такие как 720p50 и 1080i50. Основной аргумент заключается в том, что каким бы сложным ни был алгоритм деинтерлейсинга, артефакты в чересстрочном сигнале невозможно устранить, поскольку некоторая информация теряется между кадрами.

Ив Фаруджа , основатель Faroudja Labs и лауреат премии «Эмми» за достижения в области технологии деинтерлейсинга, заявил, что «переход из чересстрочной развертки в прогрессивную не работает», и посоветовал не использовать чересстрочный сигнал.

См. также

• Чересстрочное видео
• Прогрессивный сегментированный кадр : схема, предназначенная для получения, хранения, изменения и распространения видео с прогрессивной разверткой с использованием чересстрочного оборудования и носителей.
• DCDi от Фаруджи
• Отображать размытие при движении
• Частота обновления
• HDTV

Внешние ссылки

• 3:2 Pulldown и деинтерлейсинг (theprojectorpros.com)
• Stream Interlace и Deinterlace. Архивировано 19 июля 2006 г. на Wayback Machine (planetmath.org).
• «Войны форматов» - документ EBU (с анимацией, демонстрирующей чересстрочную развертку)
• Прогрессивная развертка DVD — деинтерлейсинг и преобразование фильма в видео применительно к DVD.
• Часто задаваемые вопросы о деинтерлейсе
• 100fps Факты, решения и примеры деинтерлейсинга.
• Деинтерлейсинг — VideoLAN Wiki
• «Чересстрочная развертка, деинтерлейсинг и все, что между ними» . Николь Экспресс . 16 апреля 2021 г.