просмотр видео
Просмотр видео , также известный как исследовательский поиск видео , представляет собой интерактивный процесс просмотра видеоконтента с целью удовлетворения некоторой потребности в информации или интерактивной проверки актуальности видеоконтента. Первоначально предлагалось помочь пользователям просматривать одно видео с помощью визуальных миниатюр. [1] Современные инструменты просмотра видео позволяют пользователям быстро находить нужную информацию в видеоархиве путем итеративного взаимодействия человека и компьютера с помощью исследовательского поиска . [2] [3] Многие из этих инструментов предполагают наличие умного пользователя, которому нужны функции интерактивного просмотра видеоконтента, а также функции автоматической фильтрации контента. Для этой цели предусмотрены несколько функций видеовзаимодействия. [4] обычно предоставляются, например, сложная навигация по видео или поиск по запросу на основе контента . Инструменты просмотра видео часто основаны на анализе видеоконтента более низкого уровня , таком как обнаружение перехода кадров , извлечение ключевых кадров, обнаружение семантических концепций и создание структурированного обзора контента видеофайла или видеоархива. Кроме того, они обычно предоставляют сложные функции навигации, такие как расширенные временные шкалы, [5] панели визуального поиска или список выбранных миниатюр, а также средства запроса контента. Примерами запросов контента являются фильтрация кадров по визуальным концепциям (например, только кадры, показывающие автомобили), по некоторым конкретным характеристикам (например, фильтрация цвета или движения), по предоставленным пользователем эскизам (например, визуально нарисованный эскиз) или по контенту. основанный на поиске по сходству .
История
[ редактировать ]Просмотр видео был первоначально предложен иранским инженером Фаршидом Арманом, тайваньским ученым-компьютерщиком Ардингом Сюем и ученым-компьютерщиком Минг-Йи Чиу во время работы в компании Siemens , и он был представлен на Международной конференции ACM в августе 1993 года. [1] [6] Они описали алгоритм обнаружения кадров для сжатого видео , которое изначально было закодировано с помощью дискретного косинусного преобразования (DCT), стандартов видеокодирования таких как JPEG , MPEG и H.26x . [7] Основная идея заключалась в том, что, поскольку коэффициенты DCT математически связаны с пространственной областью и представляют содержимое каждого кадра, их можно использовать для обнаружения различий между видеокадрами. В алгоритме подмножество блоков в кадре и подмножество коэффициентов DCT для каждого блока используются в качестве представления вектора движения для кадра. Работая со сжатыми представлениями DCT, алгоритм значительно снижает вычислительные требования для распаковки и обеспечивает эффективный просмотр видео. [8] Алгоритм представляет отдельные кадры видеоряда r-кадром — миниатюрой кадра, обрамленной областью отслеживания движения. Вариант этой концепции был позже принят для мозаики видеоконтента QBIC , где каждый r-кадр представляет собой заметный кадр кадра, который он представляет. [9]
Видео-блокнот
[ редактировать ]Современные решения для просмотра видео включают Video Notebook, стартап из Менло-Парка, основанный в 2021 году Майком Ланца, который использует компьютерное зрение для извлечения слайдов, а также оптическое распознавание символов и речи для облегчения поиска видео. Программное обеспечение можно использовать либо на стороне клиента (с использованием расширения для браузера ), где слайды и текст извлекаются во время просмотра видео (например, на видеоплатформе, такой как YouTube или Udemy ), [10] [11] или на стороне сервера. Обработанные видео, которые можно просмотреть в веб-приложении Video Notebook , имеют пользовательский интерфейс просмотра видео с извлеченными слайдами с отметками времени, панель поиска для запроса видео (или коллекции видео) и текстовые главы. В число клиентов Video Notebook входят такие организации, как Ernst & Young . [12]
Разборки в видеобраузере
[ редактировать ]Разборка видеобраузера (VBS) [13] — это ежегодный конкурс по оценке инструментов исследовательского поиска видео в реальном времени, в ходе которого международные исследователи используют инструменты просмотра видео для максимально быстрого решения специальных задач по поиску видео в умеренно большом наборе данных. Основная цель VBS, стартовавшая в 2012 году на Международной конференции по мультимедийному моделированию (МММ), — повысить производительность инструментов просмотра видео. С 2016 года VBS также сотрудничает с TRECVID. [14] Целью VBS является оценка эффективности инструментов просмотра видео при выполнении задач поиска по известным элементам (KIS) с четко определенным набором данных в прямом сравнении с другими инструментами. [15]
Ссылки
[ редактировать ]- ^ Jump up to: а б Арман, Фаршид; Депомье, Реми; Сюй, Ардинг; Чиу, Минг-Йи (октябрь 1994 г.). «Контентный просмотр видеофрагментов». Материалы второй международной конференции ACM по мультимедиа-МУЛЬТИМЕДИА'94 . Ассоциация вычислительной техники . стр. 97–103. дои : 10.1145/192593.192630 . ISBN 0897916867 . S2CID 1360834 .
- ^ Поддержка поискового поиска в видеотеке: когда раскадровки недостаточно. МГ Кристель. 2008.
- ^ Video Explorer — инструмент для навигации и поиска внутри одного видео, основанный на быстром анализе контента. К. Шеффманн, М. Ташвер и Л. Боэсзоермени. 2010.
- ^ Инструменты взаимодействия с видео: обзор последних работ. К. Шеффманн, М.А. Худелист и Дж. Хубер. 2015.
- ^ Интерфейсы для просмотра мобильных видео на основе временной шкалы. В. Хюрст и К. Мейер. 2008.
- ^ Арман, Фаршид; Сюй, Ардинг; Чиу, Минг-Йи (август 1993 г.). «Обработка изображений сжатых данных для больших видеобаз данных» . Материалы первой международной конференции ACM по мультимедиа-МУЛЬТИМЕДИА'93 . Ассоциация вычислительной техники . стр. 267–272. дои : 10.1145/166266.166297 . ISBN 0897915968 . S2CID 10392157 .
- ^ Скодрас, Афанассиос (1 января 2009 г.). «Скрытие данных в реальном времени с использованием макроблоков IPCM в потоках H. 264/AVC» . Журнал обработки изображений в реальном времени .
- ^ Чжан, Хунцзян (1998). «Просмотр и извлечение видео на основе контента» . В Фюрте, Борко (ред.). Справочник по Интернету, мультимедийным системам и приложениям . ЦРК Пресс . стр. 83–108 (89) . ISBN 9780849318580 .
- ^ Стил, Майкл; Херст, Марти А.; Лоуренс, А. Роу (1998). «Video Workbench: интерфейс прямого манипулирования для редактирования цифровых медиа видеооператорами-любителями» (PDF) : 1-19 (14). S2CID 18212394 . Архивировано из оригинала (PDF) 26 февраля 2019 г. Проверено 18 октября 2019 г.
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ «Видеоблокнот — Заметки на всех видеоплатформах» . chrome.google.com . Проверено 3 июня 2022 г.
- ^ «Скриншоты видео и заметки – YouTube и многое другое» . www.videonotebook.com . Проверено 3 июня 2022 г.
- ^ «Видео стало доступным для просмотра и поиска — Видеоблокнот» . www.videonotebook.com . Проверено 3 июня 2022 г.
- ^ Разборка видеобраузера
- ^ TRECVID , Инициатива академических тестов NIST.
- ^ Шеффманн, Клаус; Бэйлер, Вернер (24 июля 2012 г.). «Разборки видеобраузеров» . Мультимедийные записи ACM SIG . 4 (2): 1–2. дои : 10.1145/2350204.2350205 . S2CID 46224263 .