Проблема с перепиской
 | Эта статья нуждается в дополнительных цитатах для проверки . ( май 2015 г. ) |
Проблема соответствия относится к проблеме выяснения того, какие части одного изображения соответствуют каким частям другого изображения. [ 1 ] где различия обусловлены движением камеры, течением времени и/или движением объектов на фотографиях.
Соответствие является фундаментальной проблемой компьютерного зрения . Влиятельный исследователь компьютерного зрения Такео Канаде однажды сказал, что три фундаментальные проблемы компьютерного зрения таковы: «Переписка, переписка и еще раз переписка!» [ 2 ] Действительно, соответствие, возможно, является ключевым строительным блоком во многих связанных приложениях: оптический поток (в котором два изображения следуют друг за другом во времени), плотное стереозрение (в котором два изображения получаются с пары стереокамер), структура из движения (SfM). и визуальный SLAM (когда изображения взяты из разных, но частично перекрывающихся видов сцены) и межсценовое соответствие (когда изображения полностью взяты из разных сцен).
Обзор
[ редактировать ]Для двух или более изображений одной и той же трехмерной сцены, снятых с разных точек зрения, проблема соответствия относится к задаче поиска набора точек на одном изображении, которые можно идентифицировать как одни и те же точки на другом изображении. Для этого точки или объекты на одном изображении сопоставляются с точками или объектами на другом изображении, таким образом устанавливая соответствующие точки или соответствующие объекты , также известные как гомологичные точки или гомологичные объекты . Изображения могут быть сделаны с другой точки зрения, в разное время или с объектами в сцене, находящимися в общем движении относительно камеры(-й).
Проблема соответствия может возникнуть в стерео ситуации, когда используются два изображения одной и той же сцены, или может быть обобщена до проблемы соответствия N-представлений. В последнем случае изображения могут поступать либо от N разных камер, снимающих одновременно, либо от одной камеры, движущейся относительно сцены. Проблема усложняется, когда объекты в сцене движутся относительно камеры (камер).
Типичное применение проблемы соответствия возникает при создании панорамы или сшивании изображений — когда два или более изображений, которые имеют лишь небольшое перекрытие, должны быть сшиты в более крупное составное изображение. В этом случае необходимо уметь идентифицировать набор соответствующих точек в паре изображений, чтобы рассчитать преобразование одного изображения для сшивки его с другим изображением.
Основные методы
[ редактировать ]
Есть два основных способа найти соответствия между двумя изображениями.
На основе корреляции — проверка, выглядит ли одно место на одном изображении как другое на другом изображении.
На основе объектов — поиск объектов на изображении и проверка того, схоже ли расположение подмножества объектов на двух изображениях. Чтобы избежать проблемы с апертурой, хороший объект должен иметь локальные изменения в двух направлениях.
Использовать
[ редактировать ]В компьютерном зрении задача соответствия изучается для случая, когда компьютер должен решать ее автоматически, используя только изображения в качестве входных данных. После того как проблема соответствия решена, в результате чего получен набор точек изображения, которые находятся в соответствии, к этому набору можно применить другие методы для восстановления положения, движения и/или вращения соответствующих трехмерных точек в сцене.
Проблема соответствия также лежит в основе метода измерения скорости с помощью изображений частиц , который в настоящее время широко используется в области механики жидкостей для количественного измерения движения жидкости.
Простой пример
[ редактировать ]Чтобы найти соответствие между набором A [1,2,3,4,5] и набором B [3,4,5,6,7], найдите, где они перекрываются и насколько далеко один набор находится от другого. Здесь мы видим, что последние три числа в наборе A соответствуют первым трем числам в наборе B. Это показывает, что B смещено на 2 слева от A.
Простой пример на основе корреляции
[ редактировать ]Простой метод — сравнить небольшие участки исправленных изображений. Лучше всего это работает с изображениями, снятыми примерно с одной и той же точки зрения и либо в одно и то же время, либо практически без движения сцены между захватами изображений, например со стереоизображениями.
Небольшое окно проходит по нескольким позициям в одном изображении. Каждая позиция проверяется, чтобы увидеть, насколько хорошо она сравнивается с тем же местом на другом изображении. Несколько близлежащих местоположений сравниваются на предмет объектов на одном изображении, которые могут не находиться в том же месте на другом изображении. Вполне возможно, что не существует достаточно хорошего соответствия. Это может означать, что объект отсутствует на обоих изображениях, он переместился дальше, чем учтено в результате поиска, слишком сильно изменился или скрыт другими частями изображения.
См. также
[ редактировать ]- Стереоскопия
- Параллакс
- Фотограмметрия
- Восприятие глубины
- Стереопсис
- Компьютерное зрение
- Фундаментальная матрица
- Алгоритм ветвей и границ совместной совместимости
- Эпиполярная геометрия
- Регистрация изображения
- Несходство Берчфилда-Томази
- Масштабно-инвариантное преобразование признаков (SIFT)
Ссылки
[ редактировать ]- Д. Шарштейн и Р. Селиски. Таксономия и оценка алгоритмов плотного двухкадрового стереосоответствия. (PDF)
- ^ В. Бах; Дж. К. Аггарвал (29 февраля 1988 г.). Понимание движения: зрение робота и человека . Springer Science & Business Media. ISBN 978-0-89838-258-7 .
- ^ С. Ван (сентябрь 2019 г.). Обучение и рассуждение с помощью визуального соответствия во времени .
- ^ Джон X. Лю (2006). Компьютерное зрение и робототехника . Издательство Нова. ISBN 978-1-59454-357-9 .