Оценка движения

В компьютерном зрении и обработке изображений оценка движения — это процесс определения векторов движения , которые описывают преобразование одного 2D-изображения в другое; обычно из соседних кадров видеопоследовательности. Это некорректная задача , поскольку движение происходит в трех измерениях (3D), но изображения представляют собой проекцию трехмерной сцены на двухмерную плоскость. Векторы движения могут относиться ко всему изображению ( глобальная оценка движения ) или к конкретным частям, таким как прямоугольные блоки, участки произвольной формы или даже к каждому пикселю . Векторы движения могут быть представлены поступательной моделью или многими другими моделями, которые могут аппроксимировать движение реальной видеокамеры, например вращение и перемещение во всех трех измерениях и масштабирование.

Связанные термины

Чаще всего термины «оценка движения» и « оптический поток» используются как взаимозаменяемые. ^{[ нужна ссылка ]} Это также связано с концепцией регистрации изображений и стереосоответствия . ^{[ 1 ]} Фактически все эти термины относятся к процессу поиска соответствующих точек между двумя изображениями или видеокадрами. Точки, которые соответствуют друг другу в двух видах (изображениях или кадрах) реальной сцены или объекта, «обычно» являются одной и той же точкой в этой сцене или на этом объекте. Прежде чем выполнять оценку движения, мы должны определить наше измерение соответствия, т. е. метрику соответствия, которая является измерением того, насколько похожи две точки изображения. Здесь нет правильного или неправильного; Выбор метрики соответствия обычно связан с тем, для чего используется окончательная оценка движения, а также со стратегией оптимизации в процессе оценки.

Каждый вектор движения используется для представления макроблока в изображении на основе положения этого макроблока (или аналогичного) в другом изображении, называемом опорным изображением.

Стандарт H.264/MPEG-4 AVC определяет вектор движения как:

вектор движения: двумерный вектор, используемый для внешнего предсказания, который обеспечивает смещение координат в декодированном изображении к координатам в опорном изображении. ^{[ 2 ]}^{[ 3 ]}

Алгоритмы

Методы поиска векторов движения можно разделить на методы на основе пикселей («прямые») и методы на основе признаков («косвенные»). В результате знаменитых дебатов противоборствующие фракции подготовили два документа, пытаясь прийти к какому-то выводу. ^{[ 4 ]}^{[ 5 ]}

Прямые методы

Алгоритм сопоставления блоков
Методы фазовой корреляции и частотной области
Пиксельные рекурсивные алгоритмы
Оптический поток

Косвенные методы

Косвенные методы используют такие функции, как обнаружение углов , и сопоставляют соответствующие функции между кадрами, обычно с применением статистической функции к локальной или глобальной области. Цель статистической функции — удалить совпадения, не соответствующие реальному движению.

Статистические функции, которые были успешно использованы, включают RANSAC .

Дополнительное примечание по категоризации

Можно утверждать, что почти все методы требуют определенного определения критериев соответствия. Разница заключается только в том, делаете ли вы сначала суммирование по локальной области изображения, а затем сравниваете суммирование (например, методы, основанные на признаках), или вы сначала сравниваете каждый пиксель (например, возводите разницу в квадрат), а затем суммируете по локальной области изображения (база блоков). движение и движение на основе фильтра). Новый тип критериев соответствия сначала суммирует локальную область изображения для каждого местоположения пикселя (посредством некоторого преобразования признаков, такого как преобразование Лапласа), сравнивает каждый суммированный пиксель и снова суммирует локальную область изображения. ^{[ 6 ]} Некоторые критерии соответствия имеют возможность исключать точки, которые на самом деле не соответствуют друг другу, хотя и дают хороший результат соответствия; другие не имеют такой возможности, но все равно являются критериями соответствия.

Аффинная оценка движения

Аффинная оценка движения — это метод, используемый в компьютерном зрении и обработке изображений для оценки движения между двумя изображениями или кадрами. Предполагается, что движение можно смоделировать как аффинное преобразование (перемещение + вращение + масштабирование), которое представляет собой линейное преобразование, за которым следует перемещение.

Приложения

Кодирование видео

Применение векторов движения к изображению для синтеза преобразования следующего изображения называется компенсацией движения . ^{[ 7 ]} Его легче всего применить к на основе дискретного косинусного преобразования (DCT) стандартам видеокодирования , поскольку кодирование выполняется блоками. ^{[ 8 ]}

В качестве способа использования временной избыточности оценка и компенсация движения являются ключевыми частями сжатия видео . Почти все стандарты кодирования видео используют оценку и компенсацию движения на основе блоков, такие как серия MPEG , включая самый последний HEVC .

3D реконструкция

При одновременной локализации и картографировании 3D-модель сцены восстанавливается по изображениям движущейся камеры. ^{[ 9 ]}

См. также

Ссылки

^ Джон X. Лю (2006). Компьютерное зрение и робототехника . Издательство Нова. ISBN 978-1-59454-357-9 .
^ Последний рабочий проект H.264/MPEG-4 AVC. Архивировано 23 июля 2004 г. в Wayback Machine . Проверено 29 февраля 2008 г.
^ «Последний рабочий проект H.264/MPEG-4 AVC на hhi.fraunhofer.de» (PDF) . ^{[ постоянная мертвая ссылка ]}
^ Филип Х.С. Торр и Эндрю Зиссерман: Методы, основанные на функциях для оценки структуры и движения , Семинар ICCV по алгоритмам машинного зрения, страницы 278-294, 1999
^ Михал Ирани и П. Анандан: О прямых методах , Семинар ICCV по алгоритмам видения, страницы 267-277, 1999.
^ Руй Сюй, Дэвид Таубман и Аус Табит Наман, « Оценка движения на основе взаимной информации и адаптивного многомасштабного порогового значения », в IEEE Transactions on Image Processing, vol. 25, нет. 3, стр. 1095–1108, март 2016 г.
^ Борко Фюрт; Джошуа Гринберг; Раймонд Вестуотер (6 декабря 2012 г.). Алгоритмы оценки движения для сжатия видео . Springer Science & Business Media. ISBN 978-1-4615-6241-2 .
^ Шварц, Чарльз С. (2005). Понимание цифрового кино: Профессиональный справочник . Тейлор и Фрэнсис . п. 143. ИСБН 9780240806174 .
^ Керл, Кристиан, Юрген Штурм и Дэниел Кремерс . « Плотный визуальный SLAM для камер RGB-D ». Международная конференция IEEE/RSJ по интеллектуальным роботам и системам, 2013 г. ИИЭР, 2013.

[Liu2006-1] Джон X. Лю (2006). Компьютерное зрение и робототехника . Издательство Нова. ISBN 978-1-59454-357-9 .

[2] Последний рабочий проект H.264/MPEG-4 AVC. Архивировано 23 июля 2004 г. в Wayback Machine . Проверено 29 февраля 2008 г.

[3] «Последний рабочий проект H.264/MPEG-4 AVC на hhi.fraunhofer.de» (PDF) . ^{[ постоянная мертвая ссылка ]}

[4] Филип Х.С. Торр и Эндрю Зиссерман: Методы, основанные на функциях для оценки структуры и движения , Семинар ICCV по алгоритмам машинного зрения, страницы 278-294, 1999

[5] Михал Ирани и П. Анандан: О прямых методах , Семинар ICCV по алгоритмам видения, страницы 267-277, 1999.

[6] Руй Сюй, Дэвид Таубман и Аус Табит Наман, « Оценка движения на основе взаимной информации и адаптивного многомасштабного порогового значения », в IEEE Transactions on Image Processing, vol. 25, нет. 3, стр. 1095–1108, март 2016 г.

[FurhtGreenberg2012-7] Борко Фюрт; Джошуа Гринберг; Раймонд Вестуотер (6 декабря 2012 г.). Алгоритмы оценки движения для сжатия видео . Springer Science & Business Media. ISBN 978-1-4615-6241-2 .

[8] Шварц, Чарльз С. (2005). Понимание цифрового кино: Профессиональный справочник . Тейлор и Фрэнсис . п. 143. ИСБН 9780240806174 .

[9] Керл, Кристиан, Юрген Штурм и Дэниел Кремерс . « Плотный визуальный SLAM для камер RGB-D ». Международная конференция IEEE/RSJ по интеллектуальным роботам и системам, 2013 г. ИИЭР, 2013.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]