Интерполяция движения

Сравнение замедленного видео без межкадровой интерполяции (слева) и с интерполяцией движения (справа)

Интерполяция движения или интерполяция кадров с компенсацией движения ( MCFI ) — это форма обработки видео , при которой промежуточные кадры фильма, видео или анимации генерируются между существующими кадрами посредством интерполяции в попытке сделать анимацию более плавной, чтобы компенсировать движение изображения. размытие и для имитации эффектов замедленного движения .

Аппаратные приложения

Дисплеи

Интерполяция движения — это обычная дополнительная функция различных современных устройств отображения, таких как телевизоры высокой четкости и видеоплееры, направленная на увеличение воспринимаемой частоты кадров или уменьшение размытости изображения при движении , что является распространенной проблемой плоских ЖК -дисплеев .

Отличие от частоты кадров дисплея

дисплея Частота кадров не всегда эквивалентна частоте отображаемого контента. Другими словами, дисплей, способный работать с высокой частотой кадров, не обязательно означает, что он может или должен выполнять интерполяцию движения. Например, телевизор, работающий на частоте 120 Гц и отображающий контент с частотой 24 кадра в секунду, будет просто отображать каждый кадр контента в течение пяти из 120 кадров дисплея в секунду. Это не оказывает никакого влияния на изображение, за исключением устранения необходимости преобразования 3:2 пленки и, следовательно, дрожания , как само собой разумеющееся (поскольку 120 делится на 24 без остатка). Устранение дрожания приводит к тому, что движение становится менее «нервным» и соответствует движению театрального проектора . Интерполяцию движения можно использовать для уменьшения дрожания, но это не обязательно. ^[1]

Связь с рекламируемой частотой кадров дисплея

Объявленная частота кадров конкретного дисплея может относиться либо к максимальному количеству кадров контента, которые могут отображаться в секунду, либо к количеству раз, когда дисплей обновляется каким-либо образом , независимо от контента. В последнем случае фактическое наличие или сила любого параметра интерполяции движения может варьироваться. Кроме того, способность дисплея отображать контент с определенной частотой кадров не означает, что дисплей способен принимать контент, воспроизводимый с этой частотой; большинство потребительских дисплеев с частотой выше 60 Гц не принимают сигнал более высокой частоты , а скорее используют возможность дополнительного кадра для устранения дрожания, уменьшения двоения изображения или создания интерполированных кадров.

Например, телевизор может рекламироваться как «240 Гц», что будет означать одно из двух:

Телевизор может отображать 240 кадров в секунду и выполнять расширенную интерполяцию движения, которая вставляет от 2 до 8 новых кадров между существующими (для контента, воспроизводимого со скоростью от 60 до 24 кадров в секунду соответственно). Для активного 3D эта частота кадров будет уменьшена вдвое.
Телевизор изначально способен отображать только 120 кадров в секунду и базовую интерполяцию движения, которая вставляет от 1 до 4 новых кадров между существующими. Обычно единственным отличием от телевизора с частотой 120 Гц в этом случае является добавление стробирующей подсветки , которая мигает с частотой 240 Гц один раз после каждого кадра с частотой 120 Гц. Целью стробирующей подсветки является увеличение видимой скорости отклика и, таким образом, уменьшение двоения изображения, что в целом приводит к более плавному движению. Однако этот метод не имеет ничего общего с реальной частотой кадров. Для активного 3D эта частота кадров уменьшается вдвое, и обычно не предоставляются функции интерполяции движения или раскрывающегося списка. 600 Гц — это часто рекламируемая цифра для плазменных телевизоров , и хотя она технически верна, она относится только к времени межкадрового отклика 1,6 миллисекунды. Это может значительно уменьшить двоение изображения и, таким образом, улучшить качество движения, но не связано с интерполяцией и частотой кадров контента. Не существует ни потребительских фильмов, снятых со скоростью 600 кадров в секунду, ни каких-либо ТВ-процессоры, способные генерировать 576 интерполированных кадров в секунду.

Программные приложения

Программное обеспечение для воспроизведения видео

Функции интерполяции движения включены в несколько приложений видеоплееров.

WinDVD DNM от Philips использует Trimension для интерполяции кадров. ^[2]
PowerDVD использует TrueTheater Motion для интерполяции DVD и видеофайлов со скоростью до 72 кадров/с. ^[3]
Splash PRO использует технологию Mirillis Motion² для интерполяции видео вплоть до Full HD. ^[4]
DmitriRender использует алгоритм преобразования частоты кадров, ориентированный на графический процессор, со встроенной поддержкой DXVA для интерполяции кадров. ^[5]
Bluesky Frame Rate Converter — это фильтр DirectShow, который может преобразовывать частоту кадров с помощью AMD Fluid Motion. ^[6]
SVP (SmoothVideo Project) по умолчанию интегрирован с MPC-HC ; платная версия может интегрироваться с большим количеством игроков, включая VLC . ^[7]

Программное обеспечение для редактирования видео

Некоторые программы и плагины для редактирования видео предлагают эффекты интерполяции движения для улучшения видео с цифровым замедлением . FFmpeg — это бесплатный неинтерактивный инструмент с такой функциональностью. В Adobe After Effects это реализовано в функции под названием «Pixel Motion». Компания-разработчик программного обеспечения для искусственного интеллекта Topaz Labs выпускает Video AI, приложение для масштабирования видео с интерполяцией движения. Плагин эффектов «Twixtor» доступен для большинства основных программ для редактирования видео и предлагает аналогичные функции.

Нейронные сети

Интерполяция видеокадров с учетом глубины
Внимание канала — это все, что вам нужно
Промежуточная оценка расхода в реальном времени
Промежуточная функция уточнения сети
Суперсэмплирование глубокого обучения , используемое специально для интерполяции кадров в реальном времени для видеоигр.

Побочные эффекты

Визуальные артефакты

Интерполяция движения на телевизорах некоторых марок иногда сопровождается визуальными аномалиями в изображении, которые Дэвид Карной из CNET описал как «небольшой разрыв или сбой» в изображении, появляющийся на долю секунды. Он добавляет, что эффект наиболее заметен, когда технология внезапно включается во время быстрого панорамирования камеры. ^[1] Производители телевизоров и дисплеев называют это явление своего рода цифровым артефактом . Благодаря совершенствованию соответствующих технологий с течением времени такие артефакты появляются реже в современных потребительских телевизорах, хотя их еще предстоит устранить: «артефакты возникают чаще, когда промежуток между кадрами больше». ^{[ нужна ссылка ]}

Эффект мыльной оперы

В качестве побочного продукта воспринимаемого увеличения частоты кадров интерполяция движения может придать изображению вид «видео» (а не «фильма»). Этот вид обычно называют « эффектом мыльной оперы » ( SOE ) в связи с характерным внешним видом большинства на телевидении мыльных опер или многокамерных ситкомов до 2000-х годов , которые обычно снимались с использованием менее дорогого видео 60i , а не пленки. ^[8]Многие жалуются, что эффект мыльной оперы портит театральный вид кинематографических произведений, создавая впечатление, будто зритель либо находится на съемочной площадке, либо смотрит за кулисами короткометражку . ^[9] Почти все производители предоставляют способы отключения этой функции, но поскольку методы и терминология различаются, UHD Alliance предложил, чтобы все телевизоры имели кнопку «Режим кинорежиссера» на пульте дистанционного управления для отключения сглаживания движения. ^[10]

Интерполяция движения настолько раздражает кинематографистов, что Том Круз и Кристофер МакКуорри в 2018 году выпустили публичное объявление, описывающее этот эффект и способы его отключения. ^[11] Некоторые зрители спортивных состязаний ценят интерполяцию движения. ^[10] поскольку это может уменьшить размытость изображения, возникающую из -за поворота и тряски камеры , и, таким образом, потенциально обеспечить лучшую четкость таких изображений. Его также можно использовать для увеличения видимой частоты кадров в видеоиграх для большей реалистичности, хотя добавление задержки отображения может быть нежелательным побочным эффектом. ^[12] Этот «видеообзор» намеренно создан с помощью техники VidFIRE для восстановления архивных телевизионных программ, которые сохранились только в виде телезаписей фильмов . ^[13] Основные различия между искусственно (интерполированной) и естественной (внутрикамерной) высокой частотой кадров заключаются в том, что камера не подвержена каким-либо из вышеупомянутых артефактов, содержит более точные (или «реалистичные») данные изображения и требует большего количества кадров. пространство для хранения и пропускная способность, поскольку кадры не создаются в реальном времени. ^{[ нужна ссылка ]}

См. также

Ссылки

^ Перейти обратно: ^а ^б Карнуа, Дэвид (25 октября 2007 г.). «Шесть вещей, которые нужно знать о ЖК-телевизорах с частотой 120 Гц» . CNET.com . Проверено 2 февраля 2008 г.
^ «Предложения Черной пятницы и скидки на лучшие продукты Corel» . Корел.com . Проверено 30 ноября 2016 г.
^ «Улучшение видео – технология TrueTheater» . КиберЛинк . Проверено 24 августа 2009 г.
^ «Картинка2» . Мириллис.com . 1 июля 2010 года . Проверено 30 ноября 2016 г.
^ "Дом" . ДмитрийРендер.ру . Проверено 30 ноября 2016 г.
^ «Конвертер частоты кадров Bluesky» . Bluesky23.yukishigure.com . Проверено 30 ноября 2016 г.
^ «SVP — интерполяция движения HFR 60 кадров в секунду / 120 кадров в секунду для Windows, macOS в mpv, VLC, Plex» . SVP-team.com . Проверено 6 февраля 2018 г.
^ Биггс, Джон (12 августа 2009 г.). «Ключ справки: почему 120 Гц выглядит «странно» » . crunchgear.com . Проверено 13 ноября 2009 г.
^ Московчак, Мэтью (8 января 2008 г.). «Vizio добавляет в свою линейку ЖК-дисплеи с частотой 120 Гц» . CNET.com . Проверено 1 февраля 2008 г.
^ Перейти обратно: ^а ^б Вук, Крис (21 сентября 2019 г.). «Что такое эффект мыльной оперы и как от него избавиться на телевизоре?» . Цифровые тенденции . Проверено 31 января 2020 г.
^ Круз, Том ; МакКуорри, Кристофер (6 декабря 2018 г.). Том Круз «Сглаживание движения» PSA . Проверено 14 июня 2024 г. - через YouTube.
^ «Что такое эффект мыльной оперы?» . Techtarget.com . Проверено 20 апреля 2011 г.
^ «VIDFIRE — Команда восстановления Доктора Кто» . restoration-team.co.uk/. Архивировано из оригинала 17 мая 2011 года . Проверено 19 мая 2011 г.

Внешние ссылки

[Six_things-1] Перейти обратно: ^а ^б Карнуа, Дэвид (25 октября 2007 г.). «Шесть вещей, которые нужно знать о ЖК-телевизорах с частотой 120 Гц» . CNET.com . Проверено 2 февраля 2008 г.

[2] «Предложения Черной пятницы и скидки на лучшие продукты Corel» . Корел.com . Проверено 30 ноября 2016 г.

[3] «Улучшение видео – технология TrueTheater» . КиберЛинк . Проверено 24 августа 2009 г.

[4] «Картинка2» . Мириллис.com . 1 июля 2010 года . Проверено 30 ноября 2016 г.

[5] "Дом" . ДмитрийРендер.ру . Проверено 30 ноября 2016 г.

[6] «Конвертер частоты кадров Bluesky» . Bluesky23.yukishigure.com . Проверено 30 ноября 2016 г.

[7] «SVP — интерполяция движения HFR 60 кадров в секунду / 120 кадров в секунду для Windows, macOS в mpv, VLC, Plex» . SVP-team.com . Проверено 6 февраля 2018 г.

[Weird_Effects-8] Биггс, Джон (12 августа 2009 г.). «Ключ справки: почему 120 Гц выглядит «странно» » . crunchgear.com . Проверено 13 ноября 2009 г.

[Vizio-9] Московчак, Мэтью (8 января 2008 г.). «Vizio добавляет в свою линейку ЖК-дисплеи с частотой 120 Гц» . CNET.com . Проверено 1 февраля 2008 г.

[wouk20190921-10] Перейти обратно: ^а ^б Вук, Крис (21 сентября 2019 г.). «Что такое эффект мыльной оперы и как от него избавиться на телевизоре?» . Цифровые тенденции . Проверено 31 января 2020 г.

[cruisemcquarrie2018-11] Круз, Том ; МакКуорри, Кристофер (6 декабря 2018 г.). Том Круз «Сглаживание движения» PSA . Проверено 14 июня 2024 г. - через YouTube.

[techtarget-12] «Что такое эффект мыльной оперы?» . Techtarget.com . Проверено 20 апреля 2011 г.

[VIDFIRE-13] «VIDFIRE — Команда восстановления Доктора Кто» . restoration-team.co.uk/. Архивировано из оригинала 17 мая 2011 года . Проверено 19 мая 2011 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]