Уровень сетевой абстракции

Уровень сетевой абстракции (NAL) является частью стандартов кодирования видео H.264/AVC и HEVC . Основная цель NAL — предоставление «сетевого» представления видео, адресованного «разговорным» (видеотелефония) и «недиалоговым» (хранение, вещание или потоковая передача) приложениям. NAL добилась значительного улучшения гибкости приложений по сравнению с предыдущими стандартами кодирования видео. ^[1]

Введение

Растущее количество услуг и растущая популярность телевидения высокой четкости создают все большую потребность в более высокой эффективности кодирования. Более того, другие среды передачи, такие как кабельный модем , xDSL или UMTS, предлагают гораздо более низкие скорости передачи данных, чем широковещательные каналы, а повышенная эффективность кодирования может обеспечить передачу большего количества видеоканалов или представление видео более высокого качества в пределах существующих возможностей цифровой передачи.Кодирование видео для телекоммуникационных приложений расширилось от услуг ISDN и T1 / E1 до охвата PSTN , мобильных беспроводных сетей и доставки сетей LAN /Internet. На протяжении всей этой эволюции постоянно предпринимались усилия по максимизации эффективности кодирования при одновременном рассмотрении диверсификации типов сетей и их характерных требований к форматированию и устойчивости к потерям/ошибкам.

Стандарты H.264/AVC и HEVC предназначены для технических решений, включая такие области, как вещание (по кабелю , спутнику , кабельному модему, DSL , наземное вещание и т. д.), интерактивное или последовательное хранение данных на оптических и магнитных устройствах, разговорные услуги, видео-включение. -потребность или потоковая передача мультимедиа, услуги обмена мультимедийными сообщениями и т. д. Более того, новые приложения могут быть развернуты в существующих и будущих сетях. В связи с этим возникает вопрос о том, как обращаться с таким разнообразием приложений и сетей.Чтобы удовлетворить эту потребность в гибкости и настраиваемости, проект включает NAL, который форматирует представление видео на уровне кодирования видео (VCL) и предоставляет информацию заголовка способом, подходящим для передачи различными транспортными уровнями или носителями данных.

NAL разработан для обеспечения «дружественности к сети», чтобы обеспечить простую и эффективную настройку использования VCL для широкого спектра систем.NAL облегчает возможность сопоставления данных VCL с транспортными уровнями, такими как: ^[2]

RTP / IP для любых услуг проводного и беспроводного Интернета в режиме реального времени. ^[2]
Форматы файлов, например ISO MP4 для хранения и MMS . ^[2]
H.32X для проводных и беспроводных разговорных услуг. ^[2]
Системы MPEG-2 для служб вещания и т. д. ^[2]

Полная степень настройки видеоконтента в соответствии с потребностями каждого конкретного приложения выходит за рамки усилий по стандартизации видеокодирования, но конструкция NAL предполагает разнообразие таких отображений. Некоторыми ключевыми концепциями NAL являются единицы NAL, поток байтов и форматы пакетов, использование единиц NAL, наборы параметров и единицы доступа. Краткое описание этих понятий дано ниже.

единицы НАЛ

Кодированные видеоданные организованы в блоки NAL, каждый из которых фактически представляет собой пакет, содержащий целое число байтов. Первый байт каждого блока NAL H.264/AVC представляет собой байт заголовка, который содержит указание типа данных в блоке NAL. Для HEVC заголовок был расширен до двух байтов. Все оставшиеся байты содержат полезные данные того типа, который указан в заголовке.Определение структуры блока NAL определяет общий формат для использования как в пакетно-ориентированных, так и в транспортных системах, ориентированных на битовый поток, а серия блоков NAL, генерируемых кодером, называется потоком блоков NAL.

Единицы NAL в формате байтового потока.

Некоторые системы требуют доставки всего или части потока единиц NAL в виде упорядоченного потока байтов или битов, в котором местоположения границ единиц NAL должны быть идентифицированы по шаблонам в самих кодированных данных.Для использования в таких системах спецификации H.264/AVC и HEVC определяют формат потока байтов. В формате потока байтов каждому блоку NAL предшествует определенный шаблон из трех байтов, называемый префиксом начального кода. Границы блока NAL затем могут быть идентифицированы путем поиска в кодированных данных уникального шаблона префикса начального кода. Использование байтов предотвращения эмуляции гарантирует, что префиксы стартового кода являются уникальными идентификаторами начала нового блока NAL.Также добавляется небольшой объем дополнительных данных (один байт на видеоизображение), чтобы позволить декодерам, которые работают в системах, которые предоставляют потоки битов без выравнивания по границам байтов, восстановить необходимое выравнивание из данных в потоке.Дополнительные данные также могут быть вставлены в формат потока байтов, что позволяет расширить объем отправляемых данных и может помочь в достижении более быстрого восстановления выравнивания байтов, если это необходимо.

Единицы NAL в использовании системы пакетной транспортировки

В других системах (например, системах IP / RTP ) закодированные данные передаются в пакетах, которые формируются системным транспортным протоколом, и идентификация границ блоков NAL внутри пакетов может быть установлена без использования шаблонов префикса начального кода. В таких системах включение в данные префиксов начального кода было бы пустой тратой пропускной способности данных, поэтому вместо этого блоки NAL можно переносить в пакетах данных без префиксов начального кода.

Модули NAL VCL и не-VCL

Единицы NAL подразделяются на единицы NAL VCL и не-VCL. Блоки NAL VCL содержат данные, которые представляют значения выборок в видеоизображениях, а блоки NAL, отличные от VCL, содержат любую связанную дополнительную информацию, такую как наборы параметров (важные данные заголовка, которые могут применяться к большому количеству блоков NAL VCL). ) и дополнительную информацию улучшения (информацию о синхронизации и другие дополнительные данные, которые могут повысить удобство использования декодированного видеосигнала, но не являются необходимыми для декодирования значений выборок в видеоизображениях).

Наборы параметров

Предполагается, что набор параметров содержит информацию, которая, как ожидается, будет редко меняться, и обеспечивает декодирование большого количества блоков VCL NAL. Существует два типа наборов параметров:

наборы параметров последовательности (SPS), которые применяются к серии последовательных кодированных видеоизображений, называемых кодированной видеопоследовательностью.
наборы параметров изображения (PPS), которые применяются к декодированию одного или нескольких отдельных изображений в кодированной видеопоследовательности.

Механизм установки параметров последовательности и изображения отделяет передачу редко меняющейся информации от передачи кодированных представлений значений выборок в видеоизображениях. Каждый блок VCL NAL содержит идентификатор, который относится к содержимому соответствующего набора параметров изображения, и каждый набор параметров изображения содержит идентификатор, который относится к содержимому соответствующего набора параметров последовательности. Таким образом, небольшой объем данных (идентификатор) может использоваться для ссылки на больший объем информации (набор параметров) без повторения этой информации в каждом блоке VCL NAL.Наборы параметров последовательности и изображения могут отправляться задолго до блоков VCL NAL, к которым они применяются, и могут повторяться для обеспечения устойчивости к потере данных. В некоторых приложениях наборы параметров могут отправляться внутри канала, который передает блоки VCL NAL (так называемая «внутриполосная» передача). В других приложениях может быть выгодно передавать наборы параметров «вне полосы», используя более надежный транспортный механизм, чем сам видеоканал.

Использование набора параметров с надежным «внеполосным» обменом наборами параметров

Единицы доступа

Набор блоков NAL в определенной форме называется единицей доступа. Декодирование каждой единицы доступа приводит к одному декодированному изображению.Каждый блок доступа содержит набор блоков VCL NAL, которые вместе составляют первично кодированное изображение . Ему также может быть присвоен префикс разделителя единицы доступа, чтобы помочь найти начало единицы доступа. Некоторая дополнительная информация улучшения, содержащая данные, такие как информация синхронизации изображения, также может предшествовать первично кодированному изображению.Первично кодированное изображение состоит из набора блоков NAL VCL, состоящих из слайсов или разделов данных слайсов , которые представляют выборки видеоизображения.После первично кодированного изображения могут идти некоторые дополнительные блоки NAL VCL, которые содержат избыточные представления областей того же видеоизображения. Они называются избыточными кодированными изображениями и доступны для использования декодером при восстановлении после потери или повреждения данных в первично кодированных изображениях. Декодерам не требуется декодировать избыточные кодированные изображения, если они присутствуют.Наконец, если кодированное изображение является последним изображением кодированной видеопоследовательности (последовательность изображений, которая декодируется независимо и использует только один набор параметров последовательности), может присутствовать блок NAL конца последовательности для указания конца последовательности; и если кодированное изображение является последним кодированным изображением во всем потоке единиц NAL, может присутствовать конец единицы NAL потока, чтобы указать, что поток заканчивается.

Кодированные видеопоследовательности

Кодированная видеопоследовательность состоит из серии блоков доступа, которые являются последовательными в потоке блоков NAL и используют только один набор параметров последовательности. Каждая кодированная видеопоследовательность может быть декодирована независимо от любой другой кодированной видеопоследовательности при наличии необходимой информации о наборе параметров, которая может передаваться «внутриполосно» или «внеполосно». В начале кодированной видеопоследовательности находится блок доступа мгновенного обновления декодирования (IDR). Единица доступа IDR содержит внутреннее изображение, которое представляет собой закодированное изображение, которое можно декодировать без декодирования любых предыдущих изображений в потоке единиц NAL, а наличие единицы доступа IDR указывает на то, что ни одно последующее изображение в потоке не потребует ссылки на предыдущие изображения. к внутреннему изображению, которое оно содержит, для декодирования.Поток единиц NAL может содержать одну или более кодированную видеопоследовательность.

Ссылки

^ «Архитектура уровня сетевой абстракции (NAL)» . Intervalzero.com . Интервал Нулевой. 1 января 1996 г. Проверено 17 августа 2022 г.
^ Jump up to: ^а ^б ^с ^д ^и Джек, Кейт (2007). «Глава 14: MPEG-4 и H.264» . Видео демистифицировано (5-е изд.). Ньюнес. п. 762. ИСБН 978-0-7506-8395-1 .

Источники

[1] «Архитектура уровня сетевой абстракции (NAL)» . Intervalzero.com . Интервал Нулевой. 1 января 1996 г. Проверено 17 августа 2022 г.

[Jack_762-2] Jump up to: ^а ^б ^с ^д ^и Джек, Кейт (2007). «Глава 14: MPEG-4 и H.264» . Видео демистифицировано (5-е изд.). Ньюнес. п. 762. ИСБН 978-0-7506-8395-1 .

[1]

[2]