Видео отслеживание

Видеоотслеживание — это процесс определения местоположения движущегося объекта (или нескольких объектов) во времени с помощью камеры. Он имеет множество применений, некоторые из которых: взаимодействие человека с компьютером, безопасность и наблюдение, видеосвязь и сжатие , дополненная реальность , управление дорожным движением, медицинская визуализация. ^[1] и монтаж видео . ^[2]^[3] Отслеживание видео может занять много времени из-за большого количества данных, содержащихся в видео. Еще больше усложняет ситуацию возможная необходимость использования методов распознавания объектов для отслеживания, что само по себе является сложной проблемой.

Цель [ править ]

Пример визуального управления рукой робота при ловле мяча путем отслеживания объекта с визуальной обратной связью, которая обрабатывается высокоскоростной системой обработки изображений. ^[4]^[5]

Целью видеослежения является объединение целевых объектов в последовательные видеокадры. Ассоциация может быть особенно сложной, когда объекты движутся быстро относительно частоты кадров . Другая ситуация, которая увеличивает сложность проблемы, — это когда отслеживаемый объект со временем меняет ориентацию. В таких ситуациях системы видеослежения обычно используют модель движения, которая описывает, как изображение цели может измениться при различных возможных движениях объекта.

Примеры простых моделей движения:

При отслеживании плоских объектов модель движения представляет собой 2D-преобразование ( аффинное преобразование или гомография ) изображения объекта (например, исходного кадра).
Когда целью является жесткий трехмерный объект, модель движения определяет его аспект в зависимости от его трехмерного положения и ориентации.
Для сжатия видео ключевые кадры разбиваются на макроблоки . Модель движения представляет собой нарушение ключевого кадра, где каждый макроблок преобразуется вектором движения, заданным параметрами движения.
Изображение деформируемых объектов может быть покрыто сеткой, движение объекта определяется положением узлов сетки.

Алгоритмы [ править ]

Для отслеживания видео алгоритм анализирует последовательные кадры видео и выводит движение целей между кадрами. Существует множество алгоритмов, каждый из которых имеет сильные и слабые стороны. При выборе алгоритма важно учитывать предполагаемое использование. Существует два основных компонента системы визуального отслеживания: целевое представление и локализация, а также фильтрация и объединение данных.

Целевое представление и локализация — это в основном процесс снизу вверх. Эти методы предоставляют разнообразные инструменты для идентификации движущегося объекта. Успешное обнаружение и отслеживание целевого объекта зависит от алгоритма. Например, использование отслеживания BLOB-объектов полезно для определения движений человека, поскольку профиль человека меняется динамически. ^[6] Обычно вычислительная сложность этих алгоритмов невелика. Ниже приведены некоторые распространенные алгоритмы целевого представления и локализации :

Отслеживание на основе ядра ( среднего сдвига отслеживание ^[7]): итерационная процедура локализации, основанная на максимизации меры сходства ( коэффициента Бхаттачарьи ).
Отслеживание контуров : обнаружение границ объекта (например, активные контуры или алгоритм конденсации ). Методы отслеживания контуров итеративно преобразуют исходный контур, инициализированный из предыдущего кадра, в новое положение в текущем кадре. Этот подход к отслеживанию контуров напрямую изменяет контур, минимизируя энергию контура с помощью градиентного спуска.

Фильтрация и объединение данных — это в основном нисходящий процесс, который включает в себя включение предварительной информации о сцене или объекте, работу с динамикой объекта и оценку различных гипотез. Эти методы позволяют отслеживать сложные объекты, а также более сложное взаимодействие объектов, например отслеживание объектов, движущихся за препятствиями. ^[8] Кроме того, сложность увеличивается, если видеотрекер (также называемый ТВ-трекером или трекером цели) установлен не на жестком фундаменте (на берегу), а на движущемся корабле (в море), где обычно используется инерциальная система измерения для предварительного -стабилизировать видеотрекер для снижения необходимой динамики и пропускной способности системы камер. ^[9]Вычислительная сложность этих алгоритмов обычно намного выше. Ниже приведены некоторые распространенные алгоритмы фильтрации:

Фильтр Калмана : оптимальный рекурсивный байесовский фильтр для линейных функций, подверженных гауссовскому шуму. Это алгоритм, который использует серию измерений, наблюдаемых с течением времени, содержащих шум (случайные вариации) и другие неточности, и дает оценки неизвестных переменных, которые, как правило, более точны, чем оценки, основанные только на одном измерении. ^[10]
Фильтр частиц : полезен для выборки основного распределения в пространстве состояний нелинейных и негауссовских процессов. ^[11]^[12]^[13]

См. также [ править ]

Ссылки [ править ]

^ Питер Маунтни, Данаил Стоянов и Гуан-Чжун Ян (2010). «Восстановление и отслеживание трехмерной деформации тканей: внедрение методов, основанных на лапароскопических или эндоскопических изображениях». Журнал обработки сигналов IEEE. 2010 июль. Объем: 27 дюймов (PDF) . Журнал IEEE Signal Processing Magazine . 27 (4): 14–24. doi : 10.1109/MSP.2010.936728 . hdl : 10044/1/53740 . S2CID 14009451 .
^ Людмила Михайлова, Пол Браснетт, Нишан Канагараджан и Дэвид Булл (2007). Отслеживание объектов с помощью методов фильтрации частиц в видеопоследовательностях; В: Достижения и проблемы в области мультисенсорных данных и информации . Серия «Безопасность НАТО через науку», 8. Нидерланды: IOS Press. стр. 260–268. CiteSeerX 10.1.1.60.8510 . ISBN 978-1-58603-727-7 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Като, Х.; Биллингхерст, М. (1999). «Отслеживание маркеров и калибровка HMD для системы видеоконференций дополненной реальности» (PDF) . Материалы 2-го Международного семинара IEEE и ACM по дополненной реальности (IWAR'99) . стр. 85–94. дои : 10.1109/IWAR.1999.803809 . ISBN 0-7695-0359-4 . S2CID 8192877 .
^ «Высокоскоростная система ловли (выставлена в Национальном музее новой науки и инноваций с 2005 года)» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 г.
^ «Основные понятия и технические термины» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 г.
^ С. Канг; Дж. Пайк; А. Кошан; Б. Абиди и М.А. Абиди (2003). Тобин-младший, Кеннет В. и Мериадо, Фабрис (ред.). «Видеослежение в реальном времени с помощью PTZ-камер». Учеб. ШПИОН . Шестая международная конференция по контролю качества с помощью искусственного зрения. 5132 : 103–111. Бибкод : 2003SPIE.5132..103K . CiteSeerX 10.1.1.101.4242 . дои : 10.1117/12.514945 . S2CID 12298526 .
^ Команичиу, Д.; Рамеш, В.; Меер, П., « Отслеживание нежестких объектов в реальном времени с использованием среднего сдвига », Компьютерное зрение и распознавание образов, 2000. Труды. Конференция IEEE, том 2, №, стр. 142, 149, том 2, 2000 г.
^ Блэк, Джеймс, Тим Эллис и Пол Розин (2003). «Новый метод оценки эффективности видеослежения». Совместный IEEE Int. Семинар по визуальному наблюдению и оценке эффективности слежения и наблюдения : 125–132. CiteSeerX 10.1.1.10.3365 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Гиростабилизированный трекер цели для морской установки
^ М. Арулампалам; С. Маскелл; Н. Гордон и Т. Клэпп (2002). «Учебное пособие по фильтрам частиц для онлайн-нелинейного/негауссовского байесовского отслеживания». Транзакции IEEE по обработке сигналов . 50 (2): 174. Бибкод : 2002ITSP...50..174A . CiteSeerX 10.1.1.117.1144 . дои : 10.1109/78.978374 . S2CID 55577025 .
^ Эмилио Маджио; Андреа Кавалларо (2010). Видеотрекинг: теория и практика . Том. 1. Аддисон-Уэсли Профессионал. ISBN 9780132702348 . Видео трекинг обеспечивает комплексное рассмотрение фундаментальных аспектов разработки алгоритмов и приложений для оценки с течением времени.
^ Картик Чандрасекаран (2010). Параметрическая и непараметрическая модель вычитания фона с отслеживанием объектов для VENUS . Том. 1. ISBN 9780549524892 . Вычитание фона — это процесс, с помощью которого мы сегментируем движущиеся области в последовательности изображений.
^ Х. Мартинес-дель-Ринкон, Д. Макрис, К. Оррите-Урунуэла и Ж.-К. Небель (2010). « Отслеживание положения человека и частей нижней части тела с использованием фильтров Калмана и частиц, ограниченных биомеханикой человека ». Транзакции IEEE по системному человеку и кибернетике – Часть B', 40(4).

Внешние ссылки [ править ]

– Интересный исторический пример (1980 г.) камеры Cromemco Cyclops, используемой для отслеживания мяча, проходящего через лабиринт.

[1] Питер Маунтни, Данаил Стоянов и Гуан-Чжун Ян (2010). «Восстановление и отслеживание трехмерной деформации тканей: внедрение методов, основанных на лапароскопических или эндоскопических изображениях». Журнал обработки сигналов IEEE. 2010 июль. Объем: 27 дюймов (PDF) . Журнал IEEE Signal Processing Magazine . 27 (4): 14–24. doi : 10.1109/MSP.2010.936728 . hdl : 10044/1/53740 . S2CID 14009451 .

[2] Людмила Михайлова, Пол Браснетт, Нишан Канагараджан и Дэвид Булл (2007). Отслеживание объектов с помощью методов фильтрации частиц в видеопоследовательностях; В: Достижения и проблемы в области мультисенсорных данных и информации . Серия «Безопасность НАТО через науку», 8. Нидерланды: IOS Press. стр. 260–268. CiteSeerX 10.1.1.60.8510 . ISBN 978-1-58603-727-7 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[3] Като, Х.; Биллингхерст, М. (1999). «Отслеживание маркеров и калибровка HMD для системы видеоконференций дополненной реальности» (PDF) . Материалы 2-го Международного семинара IEEE и ACM по дополненной реальности (IWAR'99) . стр. 85–94. дои : 10.1109/IWAR.1999.803809 . ISBN 0-7695-0359-4 . S2CID 8192877 .

[4] «Высокоскоростная система ловли (выставлена в Национальном музее новой науки и инноваций с 2005 года)» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 г.

[5] «Основные понятия и технические термины» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 г.

[6] С. Канг; Дж. Пайк; А. Кошан; Б. Абиди и М.А. Абиди (2003). Тобин-младший, Кеннет В. и Мериадо, Фабрис (ред.). «Видеослежение в реальном времени с помощью PTZ-камер». Учеб. ШПИОН . Шестая международная конференция по контролю качества с помощью искусственного зрения. 5132 : 103–111. Бибкод : 2003SPIE.5132..103K . CiteSeerX 10.1.1.101.4242 . дои : 10.1117/12.514945 . S2CID 12298526 .

[7] Команичиу, Д.; Рамеш, В.; Меер, П., « Отслеживание нежестких объектов в реальном времени с использованием среднего сдвига », Компьютерное зрение и распознавание образов, 2000. Труды. Конференция IEEE, том 2, №, стр. 142, 149, том 2, 2000 г.

[8] Блэк, Джеймс, Тим Эллис и Пол Розин (2003). «Новый метод оценки эффективности видеослежения». Совместный IEEE Int. Семинар по визуальному наблюдению и оценке эффективности слежения и наблюдения : 125–132. CiteSeerX 10.1.1.10.3365 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )

[9] Гиростабилизированный трекер цели для морской установки

[10] М. Арулампалам; С. Маскелл; Н. Гордон и Т. Клэпп (2002). «Учебное пособие по фильтрам частиц для онлайн-нелинейного/негауссовского байесовского отслеживания». Транзакции IEEE по обработке сигналов . 50 (2): 174. Бибкод : 2002ITSP...50..174A . CiteSeerX 10.1.1.117.1144 . дои : 10.1109/78.978374 . S2CID 55577025 .

[Video_Tracking-11] Эмилио Маджио; Андреа Кавалларо (2010). Видеотрекинг: теория и практика . Том. 1. Аддисон-Уэсли Профессионал. ISBN 9780132702348 . Видео трекинг обеспечивает комплексное рассмотрение фундаментальных аспектов разработки алгоритмов и приложений для оценки с течением времени.

[Background_Subtraction-12] Картик Чандрасекаран (2010). Параметрическая и непараметрическая модель вычитания фона с отслеживанием объектов для VENUS . Том. 1. ISBN 9780549524892 . Вычитание фона — это процесс, с помощью которого мы сегментируем движущиеся области в последовательности изображений.

[13] Х. Мартинес-дель-Ринкон, Д. Макрис, К. Оррите-Урунуэла и Ж.-К. Небель (2010). « Отслеживание положения человека и частей нижней части тела с использованием фильтров Калмана и частиц, ограниченных биомеханикой человека ». Транзакции IEEE по системному человеку и кибернетике – Часть B', 40(4).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]