Анализ видеоконтента
Анализ видеоконтента или аналитика видеоконтента ( VCA ), также известный как видеоанализ или видеоаналитика ( VA ), — это возможность автоматического анализа видео для обнаружения и определения временных и пространственных событий.
Эта техническая возможность используется в широком спектре областей, включая развлечения, [1] поиск и просмотр видео , [2] здравоохранение, розничная торговля, автомобилестроение, транспорт, домашняя автоматизация , обнаружение пламени и дыма, безопасность и безопасность. [3] Алгоритмы могут быть реализованы как программное обеспечение на машинах общего назначения или как аппаратное обеспечение в специализированных устройствах обработки видео.
В VCA можно реализовать множество различных функций. Видеообнаружение движения — это одна из самых простых форм, при которой движение обнаруживается относительно фиксированной фоновой сцены. Более продвинутые функции включают отслеживание видео. [4] и оценка эгоизма . [5]
На основе внутреннего представления, которое VCA генерирует в машине, можно создавать другие функции, такие как обобщение видео , [6] идентификация , анализ поведения или другие формы осознания ситуации .
VCA полагается на хорошее входное видео, поэтому его часто комбинируют с такими технологиями улучшения видео, как шумоподавление видео , стабилизация изображения , нерезкая маскировка и сверхвысокое разрешение . [ нужна ссылка ]
Функционал [ править ]
В нескольких статьях представлен обзор модулей, участвующих в разработке видеоаналитических приложений. [7] [8] Это список известных функций и краткое описание.
| Функция | Описание |
|---|---|
| Динамическое маскирование | Блокировка части видеосигнала на основе самого сигнала, например, из соображений конфиденциальности. |
| Обнаружение пламени и дыма | IP-камеры с интеллектуальной технологией видеонаблюдения можно использовать для обнаружения пламени и дыма за 15–20 секунд или даже меньше благодаря встроенному чипу DSP . Чип обрабатывает алгоритмы, которые анализируют снятые видео на предмет характеристик пламени и дыма, таких как цветность цвета, коэффициент мерцания, форма, узор и направление движения. |
| Оценка эгомоции | Оценка эгодвижения используется для определения местоположения камеры путем анализа ее выходного сигнала. |
| Обнаружение движения | Обнаружение движения используется для определения наличия соответствующего движения в наблюдаемой сцене. |
| Распознавание формы | Распознавание фигур используется для распознавания фигур во входном видео, например кругов или квадратов. Эта функция обычно используется в более сложных функциях, таких как обнаружение объектов. |
| Обнаружение объектов | Обнаружение объектов используется для определения присутствия определенного типа объекта или сущности, например человека или автомобиля. Другие примеры включают обнаружение пожара и дыма. |
| Признание | Распознавание лиц и автоматическое распознавание номерных знаков используются для распознавания и, следовательно, возможной идентификации людей или автомобилей. |
| Обнаружение стиля | видеосигнал Обнаружение стиля используется в условиях, когда был создан , например, для телевизионного вещания. Обнаружение стиля определяет стиль производственного процесса. [9] |
| Обнаружение несанкционированного доступа | Обнаружение несанкционированного доступа используется для определения того, была ли подделана камера или выходной сигнал. |
| Видео отслеживание | Видеослежение используется для определения местоположения людей или объектов в видеосигнале, возможно, относительно внешней опорной сетки. |
| Анализ уровня ошибок видео | Анализ несанкционированного доступа к содержимому видеосцены с использованием бесплатного программного обеспечения. видео Анализ уровня ошибок (VELA) |
| Совместная сегментация объектов | Совместное обнаружение объектов, классификация и сегментация целей в одной или нескольких связанных видеопоследовательностях |
Коммерческие приложения [ править ]
VCA — относительно новая технология: в середине 2000-х годов многие компании выпустили продукты с поддержкой VCA. [10] [11] [12] Несмотря на то, что существует множество приложений, послужной список различных решений VCA сильно различается. Такие функции, как обнаружение движения , подсчет людей и обнаружение оружия, доступны в виде готовых коммерческих продуктов и, как полагают, имеют достойную репутацию (например, даже бесплатное программное обеспечение, такое как dsprobotics Flowstone, может выполнять анализ движения и цвета). В ответ на пандемию COVID-19 многие производители программного обеспечения внедрили новые средства анализа общественного здравоохранения, такие как обнаружение масок для лица или отслеживание социального дистанцирования . [13] [14] [15]
Во многих областях VCA реализуется в системах видеонаблюдения , либо распределенных по камерам (на периферии), либо централизованно в выделенных системах обработки. Видеоаналитика и интеллектуальное видеонаблюдение — это коммерческие термины VCA в области безопасности. В Великобритании BSIA разработало вводное руководство по VCA в области безопасности. [16] Помимо видеоаналитики и в дополнение к ней может использоваться и аудиоаналитика. [17]
Производители программного обеспечения для управления видео постоянно расширяют линейку доступных модулей видеоаналитики. Благодаря новой технологии отслеживания подозреваемых можно легко отслеживать все перемещения субъекта: откуда они пришли, когда, куда и как они двигались. В рамках конкретной системы наблюдения технология индексирования способна обнаруживать людей со схожими характеристиками, которые находились в поле зрения камер в течение или в течение определенного периода времени. Обычно система находит множество разных людей со схожими характеристиками и представляет их в виде снимков. Оператору необходимо лишь кликать по тем изображениям и предметам, которые необходимо отслеживать. В течение минуты или около того можно отследить все движения конкретного человека и даже создать пошаговое видео движений.
Kinect — это дополнительное периферийное устройство для игровой консоли Xbox 360 , которое использует VCA для части пользовательского ввода. [18]
В сфере розничной торговли VCA используется для отслеживания покупателей внутри магазина. [19] Таким образом можно получить тепловую карту магазина, что полезно для оптимизации дизайна магазина и маркетинга. Другие приложения включают время ожидания при просмотре продуктов и обнаружение удаленных/оставленных предметов.
Качество VCA в коммерческих условиях определить сложно. Это зависит от многих переменных, таких как вариант использования , реализация , конфигурация системы и вычислительная платформа . Типичные методы получения объективного представления о качестве в коммерческих условиях включают независимый сравнительный анализ. [20] и назначенные места проведения испытаний.
VCA использовался для целей управления толпой , особенно на O2 Arena в Лондоне и The London Eye .
Правоохранительные органы [ править ]
Полиция и судмедэксперты анализируют видео с камер видеонаблюдения при расследовании преступной деятельности. Полиция использует программное обеспечение, такое как Kinesense , которое выполняет анализ видеоконтента для поиска ключевых событий в видео и обнаружения подозреваемых. Опросы показали, что до 75% случаев связаны с системой видеонаблюдения. Полиция использует программное обеспечение для анализа видеоконтента для поиска длинных видеороликов о важных событиях. [21] [22]
исследования Академические
Анализ видеоконтента — это часть компьютерного зрения и, следовательно, искусственного интеллекта . Двумя основными академическими инициативами являются TRECVID , [23] который использует небольшую часть видеоматериалов i-LIDS и данные теста PETS. [24] Они сосредоточены на таких функциях, как отслеживание, обнаружение оставленного багажа и виртуальное ограждение. Тестовые наборы видеоданных, такие как UCF101. [25] позволяет проводить исследования по распознаванию действий , включающие временное и пространственное зрительное внимание со сверточной нейронной сетью и долговременной кратковременной памятью . Программное обеспечение для анализа видео также сочетается с кадрами с нательных камер и видеорегистраторов , чтобы упростить редактирование отснятого материала для публичного раскрытия и идентифицировать события и людей на видео. [26]
ЕС . финансирует проект FP7 под названием P-REACT [27] интегрировать аналитику видеоконтента на встраиваемых системах с базами данных полиции и транспортной безопасности. [28]
Искусственный интеллект [ править ]
Искусственный интеллект для видеонаблюдения использует компьютерные программы, которые анализируют звук и изображения с камер видеонаблюдения, чтобы распознавать людей, транспортные средства, объекты и события. Программа для подрядчиков по обеспечению безопасности — это программное обеспечение для определения ограниченных зон в поле зрения камеры (например, огороженная территория, парковка, но не тротуар или общественная улица за пределами парковки) и программирования на время суток (например, после закрытия рабочего дня). ) за имущество, находящееся под охраной камеры наблюдения . Искусственный интеллект («ИИ») отправляет предупреждение, если обнаруживает нарушителя, нарушившего набор «правил», запрещающих никому находиться в этой зоне в это время суток.
См. также [ править ]
- Признание активности
- Искусственный интеллект для видеонаблюдения
- Судебно-медицинский видеоанализ
- Совместная сегментация объектов
- Структура из движения
- просмотр видео
- Видеоанализ движения
- Обработка видео
Ссылки [ править ]
- ^ KINECT. Архивировано 12 сентября 2010 г. в Wayback Machine , дополнительном периферийном устройстве для Xbox 360. консоли
- ^ Димитрова, Невенка и др. « Приложения анализа и поиска видеоконтента ». IEEE мультимедиа 9.3 (2002): 42-55.
- ^ Увеличение использования VCA в британской службе безопасности. Архивировано 16 марта 2014 г. в Wayback Machine , отчет BSIA.
- ^ Кавальер, Данило, Винченцо Лойя и Сабрина Сенаторе. « К шаблону проектирования онтологий для анализа видеоконтента БПЛА ». IEEE Access 7 (2019): 105342-105353.
- ^ Кавальер, Данило; Лойя, Винченцо; Саггезе, Алессия; Сенатор Сабрина; Венто, Марио (15 августа 2019 г.). «Человеческое описание событий сцены для правильного анализа видеоконтента с помощью БПЛА» . Системы, основанные на знаниях . 178 : 163–175. дои : 10.1016/j.knosys.2019.04.026 . ISSN 0950-7051 . S2CID 155625544 .
- ^ Ма, Ю-Фей и др. « Модель внимания пользователя для обобщения видео ». Материалы десятой международной конференции ACM по мультимедиа . 2002.
- ^ Ник Гагвани , Введение в видеоаналитику
- ^ Ченг Пэн , Видеоаналитика
- ^ Обнаружение стиля. Архивировано 3 марта 2016 г. в Wayback Machine , Cees GM Snoek и др., Обнаружение монологов теленовостей с помощью анализа стиля , ICME'04.
- ^ Квет, Майкл (27 января 2020 г.). «Рост сетей интеллектуальных камер и почему мы должны их запретить» . Перехват . Проверено 19 октября 2020 г.
- ^ «Айметис» , Arc.Ask3.Ru , 28 января 2020 г. , получено 19 октября 2020 г.
- ^ «Инфографика: История видеонаблюдения» . IFSEC Глобальный | Новости и ресурсы по безопасности и пожарной безопасности . 12 декабря 2013 г. Проверено 19 октября 2020 г.
- ^ «COVID-19 делает обнаружение масок незаменимым средством видеоаналитики — asmag.com» . www.asmag.com . Проверено 6 октября 2020 г.
- ^ Луверен, Питер ван де. «Функциональность помимо безопасности: появление камер с открытой платформой» . www.securityinformed.com . Проверено 6 октября 2020 г.
- ^ «СтекПуть» . www.securityinfowatch.com . 9 июля 2020 г. Проверено 6 октября 2020 г.
- ^ Руководство по VCA британской отрасли. Архивировано 17 мая 2018 г. на Wayback Machine , 262. Введение в отраслевое руководство по анализу видеоконтента.
- ^ Британский стартап, предоставляющий аудиоаналитику в индустрии видеонаблюдения.
- ^ «Проект Натал 101» . Майкрософт. 01.06.2009. Архивировано из оригинала 21 января 2012 г. Проверено 2 июня 2009 г.
- ^ «Тепловая карта Интеллектуальный модуль» . Архивировано из оригинала 30 июля 2017 г. Проверено 13 июля 2016 г.
- ^ i-Лидс [ постоянная мертвая ссылка ] , Инициатива по сравнительному анализу Министерства внутренних дел Великобритании
- ^ «Northgate предлагает полиции усовершенствованную систему анализа камер видеонаблюдения» . Архивировано из оригинала 4 марта 2016 года . Проверено 29 декабря 2015 г.
- ^ «Нортгейт объединяется с дублинской технологической фирмой Kinesense, чтобы помочь полиции в анализе видео» . Риск-менеджер онлайн . Проверено 26 мая 2014 г.
- ^ TRECVID , Инициатива академических тестов NIST.
- ^ Данные тестов PETS, заархивированные 24 сентября 2006 г. в Wayback Machine , Оценка эффективности отслеживания и наблюдения (PETS), Университет Рединга.
- ^ Центр, UCF (17 октября 2013 г.). «UCF101 – Набор данных распознавания действий» . КРКВ . Проверено 12 сентября 2018 г.
- ^ «Полицейские нательные камеры сделают больше, чем просто вас запишут | Fast Company | Будущее бизнеса» . Компания Фаст . 03.03.2017 . Проверено 8 марта 2017 г.
- ^ Веб-сайт проекта P-REACT
- ^ «Kinesense запускает P-REACT, проект FP7 по борьбе с мелкой преступностью» . 7 апреля 2014 года . Проверено 27 мая 2014 г.