Видео синопсис

Видеосинопсис — это метод автоматического синтеза короткого информативного резюме видео. В отличие от традиционного обобщения видео , синопсис не просто состоит из кадров исходного видео. ^[1] Алгоритм обнаруживает, отслеживает и анализирует движущиеся объекты (также называемые событиями) в базе данных объектов и действий. ^[2] Конечным результатом является новый короткий видеоклип, в котором объекты и действия, которые изначально происходили в разное время, отображаются одновременно, чтобы передать информацию в кратчайшие сроки. Видеообзор имеет конкретные применения в области видеоаналитики и видеонаблюдения, где, несмотря на технологические достижения и рост использования камер видеонаблюдения (замкнутого телевидения), ^[3] просмотр и анализ записанных материалов по-прежнему остается дорогостоящей, трудоемкой и трудоемкой задачей.

Обзор технологий

Видеообзор сочетает в себе визуальное описание сохраненного видео и механизм индексирования.

Когда требуется сводка, все объекты за целевой период собираются и смещаются во времени, чтобы создать гораздо более короткий обзорный видеоролик, демонстрирующий максимальную активность. синопсис видеоклипа , в котором одновременно отображаются объекты и действия, которые первоначально произошли в разное время. В реальном времени создается ^[4]

Процесс начинается с обнаружения и отслеживания интересующих объектов. Каждый объект представлен в виде трубки в пространстве-времени всех видеокадров. Объекты обнаруживаются и сохраняются в базе данных примерно в реальном времени.

После запроса на суммирование периода времени все объекты за желаемый период извлекаются из базы данных и индексируются для создания гораздо более короткого сводного видео, содержащего максимальную активность.

Рендеринг в реальном времени используется для создания сводного видео после изменения синхронизации объекта. Это позволяет конечному пользователю контролировать плотность объектов/событий.

Технология видеосинопсиса была изобретена профессором Шмуэлем Пелегом. ^[5] Еврейского университета в Иерусалиме, Израиль , и разрабатывается по коммерческой лицензии компанией BriefCam, Ltd. ^[6] Компания BriefCam получила лицензию на использование технологии от компании Yissum , которая является владельцем патентов, зарегистрированных на эту технологию. В мае 2018 года BriefCam была приобретена японским гигантом цифровой обработки изображений Canon Inc. примерно за 90 миллионов долларов. ^[7] Инвесторами компании являются Motorola Solutions Venture Capital, Aviv Venture Capital и OurCrowd . ^[8]

Последние достижения

Недавние достижения в области видеосинопсиса привели к появлению методов, которые фокусируются на сборе ключевых моментов (или кадров) из длинного неразрезанного видео и представлении их в виде цепочки ключевых событий, обобщающих видео. Это лишь один из многих методов, используемых в современной литературе для решения этой задачи. ^[9] В последнее время эти методы, управляемые событиями, были сосредоточены на сопоставлении объектов в кадрах, но более семантически связанным способом, который был назван методом обобщения видео, управляемым историей. Было показано, что эти методы хорошо работают для эгоцентричных людей. ^[10] настройки, в которых видео представляет собой, по сути, точку зрения одного человека или группы людей.

Классификация

Методы видеоконспекта имеют ряд общих стандартизированных свойств, которые можно количественно оценить следующим образом: (а) видеоконспект должен содержать максимальную активность с наименьшей избыточностью; (б) должны сохраняться хронологический порядок и пространственная согласованность объектов в пространстве и времени; (c) в полученном синопсисе видео должно быть минимальное столкновение; и (d) видеообзор должен быть плавным и обеспечивать возможность просмотра без потери интересующей области. ^[11]

Синопсис на основе ключевых кадров
Объектно-ориентированный обзор
Краткое содержание, основанное на действиях
Краткое описание на основе графа столкновений
Ненормальный синопсис, основанный на содержании

См. также

Ссылки

^ Мадемлис, Иоаннис; Тефас, Анастасиос; Питас, Иоаннис (2018). «Известная система словарного изучения для обобщения видеороликов с помощью извлечения ключевых кадров» (PDF) . Информационные науки . 432 . Эльзевир: 319–331. дои : 10.1016/j.ins.2017.12.020 . Проверено 4 декабря 2022 г.
^ Ю. Притч, С. Ратович, А. Хендель и С. Пелег, Кластерный обзор видео наблюдения , 6-й IEEE Int. Конф. на конференции Advanced Video and Signal Based Surveillance (AVSS'09), Генуя, Италия, 2–4 сентября 2009 г.
^ Ю. Притч, А. Рав-Ача, А. Гутман и С. Пелег, Обзор веб-камеры: Peeking Round the World , ICCV'07, октябрь 2007 г., 8 стр.
^ Ю. Притч, А. Рав-Ача и С. Пелег, Нехронологический обзор и индексирование видео , IEEE Trans. ПАМИ, Том 30, № 11, ноябрь 2008 г., стр. 1971–1984.
^ А. Рав-Ача, Ю. Притч и С. Пелег, Создание короткометражного длинного видео: синопсис динамического видео , CVPR'06, июнь 2006 г., стр. 435-441.
^ С. Пелег, Ю. Каспи, Технический документ BriefCam
^ Яблонько, Ясмин (9 мая 2018 г.). «Canon покупает израильские видеорешения совместно с BriefCam за 90 миллионов долларов» . Глобусы (на иврите) . Проверено 5 декабря 2018 г.
^ CB Insights. «BriefCam Финансирование и инвесторы — CB Insights» . www.cbinsights.com . Проверено 5 декабря 2018 г.
^ Мухаммад Аджмал, Мухаммад Хусейн Ашраф, Мухаммад Шакир, Ясир Аббас, Фаиз Али Шах, Обобщение видео: методы и классификация [1]
^ Чжэн Лу, Кристен Грауман [2] Краткое изложение сюжета для эгоцентрического видео. В материалах конференции IEEE по компьютерному зрению и распознаванию образов - 2013.
^ Ингл, П.Ю. и Ким, Ю.Г., 2023. Алгоритмы и структура видеоконспекта: обзор и сравнительная оценка. Системы, 11(2), с.108.

Патенты

Патент США 8,311,277 - Метод и система для индексирования видео и видеоконспекта. Также патент Австралии AU2007345938. Подан еще в 9 странах
Патент США 8,102,406 - Способ и система создания видеоконспекта. Также европейский патент EP1955205 и японский патент JP4972095 . Зарегистрировано еще в 7 странах
Патент США 7 852 370 - Метод и система пространственно-временного искажения видео. Также патент Израиля IL182006 . Подано в Европе: PCT/IL2005/001150.
Владельцем патентов является компания Yissum , которая предоставила компании BriefCam лицензию на использование этой технологии.

Внешние ссылки

Проект Video Synopsis and Indexing Дополнительная информация, опубликованные статьи и видеоклипы Школы компьютерных наук Еврейского университета в Иерусалиме.
Веб-сайт компании BriefCam Содержит демонстрационное видео по использованию технологии видеообзора.
Веб-сайт Йиссума
Видеоконспект на иврите - 2008 г.
[3] Демонстрационное видео для бумаги: Подведение итогов для эгоцентрического видео - Чжэн Лу и Кристен Грауман - CVPR 2013

[Mademlis2018-1] Мадемлис, Иоаннис; Тефас, Анастасиос; Питас, Иоаннис (2018). «Известная система словарного изучения для обобщения видеороликов с помощью извлечения ключевых кадров» (PDF) . Информационные науки . 432 . Эльзевир: 319–331. дои : 10.1016/j.ins.2017.12.020 . Проверено 4 декабря 2022 г.

[2] Ю. Притч, С. Ратович, А. Хендель и С. Пелег, Кластерный обзор видео наблюдения , 6-й IEEE Int. Конф. на конференции Advanced Video and Signal Based Surveillance (AVSS'09), Генуя, Италия, 2–4 сентября 2009 г.

[3] Ю. Притч, А. Рав-Ача, А. Гутман и С. Пелег, Обзор веб-камеры: Peeking Round the World , ICCV'07, октябрь 2007 г., 8 стр.

[4] Ю. Притч, А. Рав-Ача и С. Пелег, Нехронологический обзор и индексирование видео , IEEE Trans. ПАМИ, Том 30, № 11, ноябрь 2008 г., стр. 1971–1984.

[5] А. Рав-Ача, Ю. Притч и С. Пелег, Создание короткометражного длинного видео: синопсис динамического видео , CVPR'06, июнь 2006 г., стр. 435-441.

[6] С. Пелег, Ю. Каспи, Технический документ BriefCam

[7] Яблонько, Ясмин (9 мая 2018 г.). «Canon покупает израильские видеорешения совместно с BriefCam за 90 миллионов долларов» . Глобусы (на иврите) . Проверено 5 декабря 2018 г.

[8] CB Insights. «BriefCam Финансирование и инвесторы — CB Insights» . www.cbinsights.com . Проверено 5 декабря 2018 г.

[9] Мухаммад Аджмал, Мухаммад Хусейн Ашраф, Мухаммад Шакир, Ясир Аббас, Фаиз Али Шах, Обобщение видео: методы и классификация [1]

[10] Чжэн Лу, Кристен Грауман [2] Краткое изложение сюжета для эгоцентрического видео. В материалах конференции IEEE по компьютерному зрению и распознаванию образов - 2013.

[11] Ингл, П.Ю. и Ким, Ю.Г., 2023. Алгоритмы и структура видеоконспекта: обзор и сравнительная оценка. Системы, 11(2), с.108.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]