Проблема с перепиской
 | Эта статья нуждается в дополнительных цитатах для проверки . ( май 2015 г. ) |
Проблема соответствия относится к проблеме выяснения того, какие части одного изображения соответствуют каким частям другого изображения. [1] где различия обусловлены движением камеры, течением времени и/или движением объектов на фотографиях.
Соответствие является фундаментальной проблемой компьютерного зрения . Влиятельный исследователь компьютерного зрения Такео Канаде однажды сказал, что три фундаментальные проблемы компьютерного зрения таковы: «Переписка, переписка и еще раз переписка!» [2] Действительно, соответствие, возможно, является ключевым строительным блоком во многих связанных приложениях: оптический поток (в котором два изображения следуют друг за другом во времени), плотное стереозрение (в котором два изображения получаются с пары стереокамер), структура из движения (SfM). и визуальный SLAM (когда изображения взяты из разных, но частично перекрывающихся видов сцены) и межсценовое соответствие (когда изображения полностью взяты из разных сцен).
Обзор [ править ]
Для двух или более изображений одной и той же трехмерной сцены, снятых с разных точек зрения, проблема соответствия относится к задаче поиска набора точек на одном изображении, которые можно идентифицировать как одни и те же точки на другом изображении. Для этого точки или объекты на одном изображении сопоставляются с точками или объектами на другом изображении, таким образом устанавливая соответствующие точки или соответствующие объекты , также известные как гомологичные точки или гомологичные объекты . Изображения могут быть сделаны с другой точки зрения, в разное время или с объектами в сцене, находящимися в общем движении относительно камеры(-й).
Проблема соответствия может возникнуть в стерео ситуации, когда используются два изображения одной и той же сцены, или может быть обобщена до проблемы соответствия N-просмотров. В последнем случае изображения могут поступать либо от N разных камер, снимающих одновременно, либо от одной камеры, движущейся относительно сцены. Проблема усложняется, когда объекты в сцене движутся относительно камеры (камер).
Типичное применение проблемы соответствия возникает при создании панорам или сшивании изображений — когда два или более изображений, которые имеют лишь небольшое перекрытие, должны быть сшиты в более крупное составное изображение. В этом случае необходимо уметь идентифицировать набор соответствующих точек в паре изображений, чтобы рассчитать преобразование одного изображения для сшивки его с другим изображением.
Основные методы [ править ]
Есть два основных способа найти соответствия между двумя изображениями.
На основе корреляции — проверка, выглядит ли одно место на одном изображении как другое на другом изображении.
На основе объектов — поиск объектов на изображении и проверка того, схоже ли расположение подмножества объектов на двух изображениях. Чтобы избежать проблемы апертуры, хороший объект должен иметь локальные изменения в двух направлениях.
Используйте [ править ]
В компьютерном зрении проблема соответствия изучается для случая, когда компьютер должен решать ее автоматически, используя только изображения в качестве входных данных. После того как проблема соответствия решена, в результате чего получен набор точек изображения, которые находятся в соответствии, к этому набору можно применить другие методы для восстановления положения, движения и/или вращения соответствующих трехмерных точек в сцене.
Проблема соответствия также лежит в основе метода измерения скорости с помощью изображений частиц , который в настоящее время широко используется в области механики жидкостей для количественного измерения движения жидкости.
Простой пример [ править ]
Чтобы найти соответствие между набором A [1,2,3,4,5] и набором B [3,4,5,6,7], найдите, где они перекрываются и насколько далеко один набор находится от другого. Здесь мы видим, что последние три числа в наборе A соответствуют первым трем числам в наборе B. Это показывает, что B смещено на 2 слева от A.
Простой пример на основе корреляции [ править ]
Простой метод — сравнить небольшие участки исправленных изображений. Лучше всего это работает с изображениями, снятыми примерно с одной и той же точки зрения и либо в одно и то же время, либо практически без движения сцены между захватами изображений, например, со стереоизображениями.
Небольшое окно проходит по нескольким позициям в одном изображении. Каждая позиция проверяется, чтобы увидеть, насколько хорошо она сравнивается с тем же местом на другом изображении. Несколько близлежащих местоположений сравниваются на предмет объектов на одном изображении, которые могут не находиться в точно том же месте на другом изображении. Вполне возможно, что не существует достаточно хорошего соответствия. Это может означать, что объект отсутствует на обоих изображениях, он переместился дальше, чем учтено в результате поиска, слишком сильно изменился или скрыт другими частями изображения.
См. также [ править ]
- Стереоскопия
- Параллакс
- Фотограмметрия
- Восприятие глубины
- Стереопсис
- Компьютерное зрение
- Фундаментальная матрица
- Алгоритм совместной совместимости ветвей и границ
- Эпиполярная геометрия
- Регистрация изображения
- Несходство Берчфилда-Томази
- Масштабно-инвариантное преобразование признаков (SIFT)
Ссылки [ править ]
- Д. Шарштейн и Р. Селиски. Таксономия и оценка алгоритмов плотного двухкадрового стереосоответствия. (PDF)
- ^ В. Бах; Дж. К. Аггарвал (29 февраля 1988 г.). Понимание движения: зрение робота и человека . Springer Science & Business Media. ISBN 978-0-89838-258-7 .
- ^ С. Ван (сентябрь 2019 г.). Обучение и рассуждение с помощью визуального соответствия во времени .
- ^ Джон X. Лю (2006). Компьютерное зрение и робототехника . Издательство Нова. ISBN 978-1-59454-357-9 .