Частота кадров

Частота кадров , чаще всего выражаемая в кадров в секунду или FPS — это обычно частота (скорость), с которой последовательные изображения ( кадры захватываются или отображаются ). Это определение применимо к кино- и видеокамерам , компьютерной анимации и захвата движения системам . В этих контекстах частота кадров может использоваться взаимозаменяемо с частота кадров и частота обновления , которые выражаются в герцах . Кроме того, в контексте производительности компьютерной графики FPS — это скорость, с которой система, особенно графический процессор , способна генерировать кадры, а частота обновления — это частота, с которой дисплей отображает завершенные кадры. ^{[ 1 ]} В спецификациях электронной камеры частота кадров относится к максимально возможной частоте захвата кадров, но на практике другие настройки (например, время экспозиции) могут уменьшить фактическую частоту до меньшего числа, чем частота кадров.

Человеческое видение

Временная чувствительность и разрешающая способность человеческого зрения варьируются в зависимости от типа и характеристик зрительного стимула и различаются у разных людей. человека Зрительная система может обрабатывать от 10 до 12 изображений в секунду и воспринимать их индивидуально, тогда как более высокие скорости воспринимаются как движение. ^{[ 2 ]} Модулированный свет (например, от монитора компьютера ) воспринимается большинством участников исследований как стабильный, если его частота превышает 50 Гц. Такое восприятие модулированного света как устойчивого известно как порог слияния мерцаний . Однако, когда модулированный свет неоднороден и содержит изображение, порог слияния мельканий может быть намного выше — сотни герц. ^{[ 3 ]} Что касается распознавания изображений , было обнаружено, что люди узнают конкретное изображение в непрерывной серии разных изображений, каждое из которых длится всего 13 миллисекунд. ^{[ 4 ]} Стойкость зрения иногда объясняется очень короткими зрительными стимулами длительностью в одну миллисекунду, воспринимаемая длительность которых составляет от 100 до 400 мс. Множественные очень короткие стимулы иногда воспринимаются как один стимул, например, зеленая вспышка света длительностью 10 мс, за которой сразу же следует красная вспышка света длительностью 10 мс, воспринимаемая как одиночная желтая вспышка света. ^{[ 5 ]}

Фильм и видео

Немой фильм

В ранних немых фильмах частота кадров составляла от 16 до 24 кадров в секунду (fps). ^{[ 6 ]} но поскольку камеры приводились вручную, скорость часто менялась во время сцены в зависимости от настроения. Киномеханики также могли изменять частоту кадров в кинотеатре, регулируя реостат , управляющий напряжением, питающим механизм подачи пленки в проекторе . ^{[ 7 ]} Кинокомпании часто стремились к тому, чтобы в кинотеатрах показывали немые фильмы с более высокой частотой кадров, чем при их съемке. ^{[ 8 ]} Такой частоты кадров было достаточно для ощущения движения, но оно воспринималось как прерывистое движение. Чтобы свести к минимуму воспринимаемое мерцание, в проекторах использовались двух- и трехлепестковые затворы , поэтому каждый кадр отображался два или три раза, что увеличивало частоту мерцания до 48 или 72 герц и снижало нагрузку на глаза. Томас Эдисон сказал, что 46 кадров в секунду — это минимум, необходимый глазу для восприятия движения: «Все, что меньше, будет напрягать глаз». ^{[ 9 ]}^{[ 10 ]} В середине-конце 1920-х годов частота кадров немого кино увеличилась до 20–26 кадров в секунду. ^{[ 9 ]}

Звуковой фильм

Когда в 1926 году была представлена звуковая пленка , изменения светочувствительности пленки больше не допускались, поскольку человеческое ухо более чувствительно, чем глаз, к изменениям частоты. Многие кинотеатры показывали немое кино со скоростью от 22 до 26 кадров в секунду, поэтому индустрия в качестве компромисса выбрала 24 кадра в секунду для звукового кино. ^{[ 11 ]} С 1927 по 1930 год, когда различные студии обновляли оборудование, скорость 24 кадра в секунду стала стандартной для 35-мм звукового фильма. ^{[ 2 ]} При частоте 24 кадра в секунду фильм проходит через проектор со скоростью 456 миллиметров (18,0 дюймов) в секунду. Это позволило простым двухлопастным ставням давать проецируемую серию изображений со скоростью 48 в секунду, что соответствовало рекомендации Эдисона. Многие современные 35-миллиметровые кинопроекторы используют трехлепестковые затворы, обеспечивающие скорость 72 изображения в секунду — каждый кадр отображается на экране трижды. ^{[ 9 ]}

Анимация

Этот анимационный мультфильм о скачущей лошади отображается со скоростью 12 рисунков в секунду, а быстрое движение граничит с недопустимо резким движением.

В рисованной анимации движущиеся персонажи часто снимаются «по двое», то есть на каждые два кадра фильма показывается один рисунок (который обычно идет со скоростью 24 кадра в секунду), то есть в секунду происходит всего 12 рисунков. ^{[ 12 ]} Несмотря на низкую скорость обновления изображения, плавность изображения является удовлетворительной для большинства объектов. Однако, когда персонажу требуется выполнить быстрое движение, обычно необходимо вернуться к анимации «единиц», поскольку «двойки» слишком медленны, чтобы адекватно передать движение. Сочетание этих двух технологий обманывает глаз без ненужных производственных затрат. ^{[ 13 ]}

Анимация для большинства « субботних утренних мультфильмов » производилась максимально дешево и чаще всего снималась на «тройки» или даже «четверки», т. е. три-четыре кадра на рисунок. Это означает всего 8 или 6 рисунков в секунду соответственно. Аниме также обычно рисуется на тройках или двойках. ^{[ 14 ]}^{[ 15 ]}

Современные стандарты видео

Из-за частоты сети электросетей аналоговое телевещание было развито с частотой кадров 50 Гц (большая часть мира) или 60 Гц (Канада, США, Мексика, Филиппины, Япония, Южная Корея). Частота электросети была чрезвычайно стабильной и поэтому ее было логично использовать для синхронизации.

Внедрение технологии цветного телевидения привело к необходимости снизить частоту 60 кадров в секунду на 0,1%, чтобы избежать « ползания точек » — артефакта отображения, появляющегося на устаревших черно-белых дисплеях и проявляющегося на поверхностях с высокой насыщенностью цветов. Было установлено, что за счет снижения частоты кадров на 0,1% нежелательный эффект был сведен к минимуму.

По состоянию на 2021 год ^[update], стандарты передачи видео в Северной Америке, Японии и Южной Корее по-прежнему основаны на 60/1,001 ≈ 59,94 изображения в секунду. Обычно используются изображения двух размеров: 1920×1080 («1080i/p») и 1280×720 («720p»). Как ни странно, для чересстрочных форматов обычно указывается половина их частоты изображения, 29,97/25 кадров в секунду, а также удвоенная высота изображения, но эти утверждения являются чисто пользовательскими; в каждом формате создается 60 изображений в секунду. Разрешение 1080i дает 59,94 или 50 изображений с разрешением 1920×540, каждое из которых сжимается до половины высоты в процессе фотографирования и растягивается обратно, чтобы заполнить экран при воспроизведении на телевизоре. Формат 720p создает 59,94/50 или 29,97/25 изображений 1280×720p без сжатия, поэтому расширение или сжатие изображения не требуется. Эта путаница была широко распространена в отрасли на заре программного обеспечения для цифрового видео: большая часть программного обеспечения была написана неправильно, а разработчики полагали, что каждую секунду ожидалось только 29,97 изображений, что было неверно. Хотя это правда, что каждый элемент изображения опрашивался и отправлялся только 29,97 раз в секунду, местоположение пикселя непосредственно под ним было опрошено на 1/60 секунды позже, являясь частью совершенно отдельного изображения для следующего кадра длительностью 1/60 секунды. .

При исходной частоте 24 кадра в секунду фильм не мог отображаться на видео с частотой 60 Гц без необходимого процесса преобразования , что часто приводило к «дрожанию»: чтобы преобразовать 24 кадра в секунду в 60 кадров в секунду, каждый нечетный кадр повторяется, воспроизводясь дважды. при этом каждый четный кадр увеличивается втрое. Это создает неравномерное движение, которое выглядит стробоскопическим. Другие преобразования имеют аналогичное неравномерное удвоение кадров. Новые стандарты видео поддерживают частоту 120, 240 или 300 кадров в секунду, поэтому кадры могут быть равномерно дискретизированы для стандартных частот кадров, таких как фильм с частотой 24, 48 и 60 кадров в секунду или видео с частотой 25, 30, 50 или 60 кадров в секунду. Конечно, эти более высокие частоты кадров также могут отображаться с их исходной частотой. ^{[ 16 ]}^{[ 17 ]}

Технические характеристики электронной камеры

В спецификациях электронных камер под частотой кадров понимается максимально возможная частота кадров, которую можно захватить (например, если время экспозиции было установлено близко к нулю), но на практике другие настройки (например, время экспозиции) могут снизить фактическую частоту до меньшее число, чем частота кадров. ^{[ 18 ]}

Повышение частоты кадров

Повышение частоты кадров (FRC) — это процесс увеличения временного разрешения видеопоследовательности путем синтеза одного или нескольких промежуточных кадров между двумя последовательными кадрами. Низкая частота кадров приводит к искажениям изображений , резким артефактам движения и ухудшает качество видео. Следовательно, временное разрешение является важным фактором, влияющим на качество видео. Алгоритмы FRC широко используются в приложениях, включая улучшение визуального качества, сжатие видео и создание замедленного видео.

Методы

Большинство методов FRC можно разделить на методы оптического потока или методы на основе ядра. ^{[ 19 ]}^{[ 20 ]} и методы, основанные на пиксельных галлюцинациях. ^{[ 21 ]}^{[ 22 ]}

FRC на основе потока

Методы на основе потоков линейно комбинируют предсказанные оптические потоки между двумя входными кадрами для аппроксимации потоков от целевого промежуточного кадра к входным кадрам. Они также предлагают реверс потока (проекцию) для более точного искажения изображения . Более того, существуют алгоритмы, которые дают разные веса перекрывающимся векторам потока в зависимости от глубины объекта сцены через слой проекции потока.

FRC на основе пиксельных галлюцинаций

Методы, основанные на пиксельных галлюцинациях, используют деформируемую свертку с генератором центрального кадра, заменяя оптические потоки векторами смещения. Существуют алгоритмы, которые также интерполируют средние кадры с помощью деформируемой свертки в области признаков. Однако, поскольку эти методы непосредственно галлюцинируют пиксели в отличие от методов FRC на основе потока, прогнозируемые кадры имеют тенденцию быть размытыми при наличии быстродвижущихся объектов.

См. также

Ссылки

^ Тамаси, Тони (3 декабря 2019 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 12 февраля 2023 г.
^ Перейти обратно: ^а ^б Читай, Пол; Мейер, Марк-Пол; Группа компаний «Гамма» (2000). Реставрация кинопленки . Реставрация и музеология. Баттерворт-Хайнеманн. стр. 24–26. ISBN 978-0-7506-2793-1 .
^ Джеймс Дэвис (1986), «Люди воспринимают артефакты мерцания на частоте 500 Гц», Sci. Rep. , 5 : 7861, doi : 10.1038/srep07861 , PMC 4314649 , PMID 25644611
^ Поттер, Мэри К. (28 декабря 2013 г.). «Определение смысла в RSVP со скоростью 13 мс на изображение» (PDF) . Внимание, восприятие и психофизика . 76 (2): 270–279. дои : 10.3758/s13414-013-0605-z . hdl : 1721.1/107157 . ПМИД 24374558 . S2CID 180862 . Архивировано (PDF) из оригинала 9 октября 2022 г.
^ Роберт Эфрон (1973). «Сохранение временной информации перцептивными системами» . Восприятие и психофизика . 14 (3): 518–530. дои : 10.3758/bf03211193 .
^ Браун, Джули (2014). «Аудиовизуальные палимпсесты: ресинхронизация немых фильмов с «особой» музыкой» . Дэвид Ноймайер (ред.). Оксфордский справочник по изучению музыки в кино . Издательство Оксфордского университета. п. 588. ИСБН 978-0195328493 .
^ Керр, Уолтер (1975). Тихие клоуны . Кнопф. п. 36 . ISBN 978-0394469072 .
^ Кард, Джеймс (1994). Соблазнительное кино: искусство немого кино . Кнопф. п. 53 . ISBN 978-0394572185 .
^ Перейти обратно: ^а ^б ^с Браунлоу, Кевин (лето 1980 г.). «Немое кино: какая была правильная скорость?» . Вид и звук . 49 (3): 164–167. Архивировано из оригинала 8 июля 2011 года . Проверено 2 мая 2012 г.
^ Эльзессер, Томас; Баркер, Адам (1990). Раннее кино: пространство, кадр, повествование . Издательство БФИ. п. 284. ИСБН 978-0-85170-244-5 .
^ Сеть TWiT Netcast (30 марта 2017 г.), How 24 FPS Became Standard , заархивировано из оригинала 04 ноября 2021 г. , получено 31 марта 2017 г.
^ Чу, Джонни. «Что такое единицы, двойки и тройки в анимации?» . Жизненный провод . Проверено 8 августа 2018 г.
^ Уитакер, Гарольд; Сито, Джон Халас; обновлено Тимом (2009 г.). Время для анимации (2-е изд.). Амстердам: Elsevier/Focal Press. п. 52. ИСБН 978-0240521602 . Проверено 8 августа 2018 г. {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ «Выстрел по тройкам (единицам, двойкам и т. д.)» . Сеть новостей аниме .
^ CLIP STUDIO (12 февраля 2016 г.). «Как использовать функции анимации CLIP STUDIO PAINT» . Архивировано из оригинала 04 ноября 2021 г. - на YouTube.
^ Телевидение с высокой частотой кадров , Белая книга BBC WHP 169, сентябрь 2008 г., М. Армстронг, Д. Флинн, М. Хаммонд, ПАВАН Джахаджпурия С. Джолли, Р. Салмон.
^ Джон Фингас (27 ноября 2014 г.), «Продолжения Джеймса Кэмерона «Аватар» будут придерживаться 48 кадров в секунду» , Engadget , получено 15 апреля 2017 г.
^ Уэйли, Шон (21 ноября 2018 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 5 августа 2021 г.
^ Саймон, Никлаус; Лонг, Мэй; Фэн, Лю (2017). Интерполяция видеокадров посредством адаптивной разделимой свертки . ICCV. arXiv : 1708.01692 .
^ Хуайцзу, Цзян; Дэцин, Сунь; Варун, Джампани; Мин-Сюань, Ян; Эрик, Лирд-Миллер; Ян, Кауц (2018). Супер замедление: высококачественная оценка нескольких промежуточных кадров для интерполяции видео . ICCV. arXiv : 1712.00080 .
^ Шуруи, Гуй; Чаоюэ, Ван; Цихуа, Чен; Даченг, Тао (2020). «Поток функций: надежная интерполяция видео посредством генерации структуры в текстуру». Конференция IEEE/CVF 2020 года по компьютерному зрению и распознаванию образов (CVPR) . IEEE. стр. 14001–14010. дои : 10.1109/CVPR42600.2020.01402 . ISBN 978-1-7281-7169-2 .
^ Мёнсуб, Чхве; Хивон, Ким; Бохён, Хан; Нин, Сюй; Кён, Му Ли (2020). «Внимание к каналу — это все, что вам нужно для интерполяции видеокадров» . Материалы конференции AAAI по искусственному интеллекту . 34 (7). АААИ: 10663–10671. дои : 10.1609/aaai.v34i07.6693 .

Внешние ссылки

«Преобразование временной скорости» — очень подробное руководство по визуальным помехам телевидения, видео и ПК.

( копия Wayback Machine )

Сравните количество кадров в секунду: что выглядит лучше? — веб-инструмент для визуального сравнения различий в частоте кадров и размытости изображения.

[1] Тамаси, Тони (3 декабря 2019 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 12 февраля 2023 г.

[Read2000-2] Перейти обратно: ^а ^б Читай, Пол; Мейер, Марк-Пол; Группа компаний «Гамма» (2000). Реставрация кинопленки . Реставрация и музеология. Баттерворт-Хайнеманн. стр. 24–26. ISBN 978-0-7506-2793-1 .

[3] Джеймс Дэвис (1986), «Люди воспринимают артефакты мерцания на частоте 500 Гц», Sci. Rep. , 5 : 7861, doi : 10.1038/srep07861 , PMC 4314649 , PMID 25644611

[4] Поттер, Мэри К. (28 декабря 2013 г.). «Определение смысла в RSVP со скоростью 13 мс на изображение» (PDF) . Внимание, восприятие и психофизика . 76 (2): 270–279. дои : 10.3758/s13414-013-0605-z . hdl : 1721.1/107157 . ПМИД 24374558 . S2CID 180862 . Архивировано (PDF) из оригинала 9 октября 2022 г.

[5] Роберт Эфрон (1973). «Сохранение временной информации перцептивными системами» . Восприятие и психофизика . 14 (3): 518–530. дои : 10.3758/bf03211193 .

[6] Браун, Джули (2014). «Аудиовизуальные палимпсесты: ресинхронизация немых фильмов с «особой» музыкой» . Дэвид Ноймайер (ред.). Оксфордский справочник по изучению музыки в кино . Издательство Оксфордского университета. п. 588. ИСБН 978-0195328493 .

[7] Керр, Уолтер (1975). Тихие клоуны . Кнопф. п. 36 . ISBN 978-0394469072 .

[8] Кард, Джеймс (1994). Соблазнительное кино: искусство немого кино . Кнопф. п. 53 . ISBN 978-0394572185 .

[Brownlow-9] Перейти обратно: ^а ^б ^с Браунлоу, Кевин (лето 1980 г.). «Немое кино: какая была правильная скорость?» . Вид и звук . 49 (3): 164–167. Архивировано из оригинала 8 июля 2011 года . Проверено 2 мая 2012 г.

[10] Эльзессер, Томас; Баркер, Адам (1990). Раннее кино: пространство, кадр, повествование . Издательство БФИ. п. 284. ИСБН 978-0-85170-244-5 .

[geek-11] Сеть TWiT Netcast (30 марта 2017 г.), How 24 FPS Became Standard , заархивировано из оригинала 04 ноября 2021 г. , получено 31 марта 2017 г.

[12] Чу, Джонни. «Что такое единицы, двойки и тройки в анимации?» . Жизненный провод . Проверено 8 августа 2018 г.

[13] Уитакер, Гарольд; Сито, Джон Халас; обновлено Тимом (2009 г.). Время для анимации (2-е изд.). Амстердам: Elsevier/Focal Press. п. 52. ИСБН 978-0240521602 . Проверено 8 августа 2018 г. {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[14] «Выстрел по тройкам (единицам, двойкам и т. д.)» . Сеть новостей аниме .

[15] CLIP STUDIO (12 февраля 2016 г.). «Как использовать функции анимации CLIP STUDIO PAINT» . Архивировано из оригинала 04 ноября 2021 г. - на YouTube.

[16] Телевидение с высокой частотой кадров , Белая книга BBC WHP 169, сентябрь 2008 г., М. Армстронг, Д. Флинн, М. Хаммонд, ПАВАН Джахаджпурия С. Джолли, Р. Салмон.

[17] Джон Фингас (27 ноября 2014 г.), «Продолжения Джеймса Кэмерона «Аватар» будут придерживаться 48 кадров в секунду» , Engadget , получено 15 апреля 2017 г.

[18] Уэйли, Шон (21 ноября 2018 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 5 августа 2021 г.

[Simon_Niklaus,_Long_Mai,_and_Feng_Liu-19] Саймон, Никлаус; Лонг, Мэй; Фэн, Лю (2017). Интерполяция видеокадров посредством адаптивной разделимой свертки . ICCV. arXiv : 1708.01692 .

[Huaizu_Jiang,_Deqing_Sun,_Varun_Jampani,_Ming-Hsuan_Yang,_Erik_Learned-Miller,_and_Jan_Kautz-20] Хуайцзу, Цзян; Дэцин, Сунь; Варун, Джампани; Мин-Сюань, Ян; Эрик, Лирд-Миллер; Ян, Кауц (2018). Супер замедление: высококачественная оценка нескольких промежуточных кадров для интерполяции видео . ICCV. arXiv : 1712.00080 .

[Shurui_Gui,_Chaoyue_Wang,_Qihua_Chen,_and_Dacheng_Tao-21] Шуруи, Гуй; Чаоюэ, Ван; Цихуа, Чен; Даченг, Тао (2020). «Поток функций: надежная интерполяция видео посредством генерации структуры в текстуру». Конференция IEEE/CVF 2020 года по компьютерному зрению и распознаванию образов (CVPR) . IEEE. стр. 14001–14010. дои : 10.1109/CVPR42600.2020.01402 . ISBN 978-1-7281-7169-2 .

[Myungsub_Choi,_Heewon_Kim,_Bohyung_Han,_Ning_Xu,_and_Kyoung_Mu_Lee-22] Мёнсуб, Чхве; Хивон, Ким; Бохён, Хан; Нин, Сюй; Кён, Му Ли (2020). «Внимание к каналу — это все, что вам нужно для интерполяции видеокадров» . Материалы конференции AAAI по искусственному интеллекту . 34 (7). АААИ: 10663–10671. дои : 10.1609/aaai.v34i07.6693 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

v т и Обработка видео
Post-processing	Deblocking Resizing Comparison Deinterlacing Denoising Deflicking
Special processing	Film colorization (tinting) Color grading Film look Super-resolution imaging Video matting Uncompressed Pixel art scaling Telecine