Сшивка изображений

Два изображения склеены вместе. Фотография справа слегка искажена и совпадает с фотографией слева.

Сшивка изображений или сшивка фотографий — это процесс объединения нескольких фотографических изображений с перекрывающимися полями обзора для создания сегментированной панорамы или изображения с высоким разрешением. Обычно выполняемые с использованием компьютерного программного обеспечения , большинство подходов к сшиванию изображений требуют почти точного перекрытия изображений и идентичных экспозиций для получения цельных результатов. хотя некоторые алгоритмы сшивания на самом деле выигрывают от изображений с разной экспозицией, создавая изображения с расширенным динамическим диапазоном в областях перекрытия. Некоторые цифровые камеры могут сшивать фотографии внутри.

Приложения

Сшивание изображений широко используется в современных приложениях, таких как:

• Мозаика документов
• Функция стабилизации изображения в видеокамерах, использующих выравнивание изображения по частоте кадров.
• высокого разрешения Мозаика изображений на цифровых картах и ​​спутниковых снимках.
• Медицинская визуализация
• Визуализация нескольких изображений со сверхвысоким разрешением
• Сшивка видео
• Вставка объекта

Остров Алькатрас , показанный на панораме, созданной методом сшивания изображений.

Процесс

Процесс сшивания изображений можно разделить на три основных компонента: регистрацию изображения , калибровку и смешивание .

Алгоритмы сшивания изображений

На этом образце изображения показано геометрическое совмещение и сшивание линий при создании панорамы.

Чтобы оценить выравнивание изображения, необходимы алгоритмы для определения соответствующей математической модели, связывающей координаты пикселей на одном изображении с координатами пикселей на другом. Для оценки этих параметров можно использовать алгоритмы, сочетающие прямое сравнение пикселей с градиентным спуском (и другие методы оптимизации).

В каждом изображении можно найти отличительные особенности, а затем эффективно сопоставить их для быстрого установления соответствия между парами изображений. Когда в панораме существует несколько изображений, были разработаны методы расчета глобально согласованного набора выравниваний и эффективного определения того, какие изображения перекрывают друг друга.

Необходима конечная поверхность композиции, на которой можно деформировать или проекционно преобразовать и разместить все выровненные изображения, а также алгоритмы для плавного смешивания перекрывающихся изображений даже при наличии параллакса, искажения объектива, движения сцены и различий в экспозиции.

Проблемы со сшивкой изображений

Поскольку освещение в двух изображениях не может быть гарантированно идентичным, сшивание двух изображений может создать видимый шов. Другой причиной возникновения швов может быть изменение фона между двумя изображениями для одного и того же непрерывного переднего плана. Другими важными проблемами, с которыми приходится иметь дело, являются наличие параллакса , искажений объектива сцены , движения и в экспозиции различий . В неидеальном реальном случае интенсивность варьируется по всей сцене, а также контраст и интенсивность в разных кадрах. Кроме того, соотношение сторон необходимо учитывать для создания визуально приятной композиции панорамного изображения .

Для панорамной сшивки идеальный набор изображений должен иметь разумное перекрытие (не менее 15–30%), чтобы избежать искажений объектива и иметь достаточное количество обнаруживаемых особенностей. Набор изображений будет иметь постоянную экспозицию между кадрами, чтобы минимизировать вероятность появления стыков.

Обнаружение ключевых точек

Обнаружение признаков необходимо для автоматического поиска соответствий между изображениями. Надежные соответствия необходимы для оценки необходимого преобразования для выравнивания изображения с изображением, на которое оно накладывается. Углы, пятна, углы Харриса и различия гауссиан от углов Харриса являются хорошими признаками, поскольку они повторяемы и различимы.

Один из первых операторов для обнаружения точек интереса был разработан Гансом П. Моравецом в 1977 году для его исследования, связанного с автоматической навигацией робота в кластерной среде. Моравец также определил концепцию «точек интереса» на изображении и пришел к выводу, что эти точки интереса можно использовать для поиска совпадающих областей на разных изображениях. Оператор Моравека считается угловым детектором, поскольку он определяет точки интереса как точки, в которых наблюдаются большие изменения интенсивности во всех направлениях. Часто это происходит на углах. Однако Моравец не был заинтересован в поиске углов, а просто в поиске отдельных областей изображения, которые можно было бы использовать для регистрации последовательных кадров изображения.

Харрис и Стивенс усовершенствовали детектор углов Моравеца, непосредственно учитывая разницу результатов угловых ударов относительно направления. Им это было нужно как шаг обработки для построения интерпретации окружающей среды робота на основе последовательностей изображений. Как и Моравеку, им нужен был метод сопоставления соответствующих точек в последовательных кадрах изображения, но их интересовало отслеживание как углов, так и краев между кадрами.

SIFT и SURF — это новейшие алгоритмы обнаружения ключевых точек или точек интереса, но следует отметить, что SURF запатентован и его коммерческое использование ограничено. После обнаружения функции можно применить метод дескриптора, такой как дескриптор SIFT, для последующего сопоставления их.

Регистрация

Регистрация изображений предполагает сопоставление функций в наборе изображений или с помощью методов прямого выравнивания для поиска выравниваний изображений, которые минимизируют сумму абсолютных различий между перекрывающимися пикселями. При использовании методов прямого выравнивания можно сначала откалибровать изображения, чтобы получить лучшие результаты. Кроме того, пользователи могут ввести приблизительную модель панорамы, чтобы облегчить этап сопоставления объектов, так что, например, только соседние изображения будут искать совпадающие объекты. Поскольку существует меньшая группа признаков для сопоставления, результат поиска получается более точным, а выполнение сравнения происходит быстрее.

Для оценки надежной модели на основе данных используется общий метод, известный как RANSAC . Название RANSAC является аббревиатурой от « RAN dom SA mple C onsensus». Это итерационный метод надежной оценки параметров, позволяющий подобрать математические модели на основе наборов наблюдаемых точек данных, которые могут содержать выбросы. Алгоритм является недетерминированным в том смысле, что он дает приемлемый результат только с определенной вероятностью, причем эта вероятность увеличивается по мере выполнения большего количества итераций. Это вероятностный метод означает, что при каждом запуске алгоритма будут получаться разные результаты.

Алгоритм RANSAC нашел множество применений в компьютерном зрении, включая одновременное решение задачи соответствия и оценку фундаментальной матрицы, связанной с парой стереокамер. Основное предположение метода состоит в том, что данные состоят из «внутренних значений», т. е. данных, распределение которых можно объяснить некоторой математической моделью, и «выбросов», то есть данных, которые не соответствуют модели. Выбросами считаются точки, возникающие из-за шума, ошибочных измерений или просто неверных данных.

Для решения проблемы оценки гомографии RANSAC пытается подогнать несколько моделей, используя некоторые пары точек, а затем проверяет, могут ли модели связать большинство точек. Лучшая модель — гомография, дающая наибольшее количество правильных совпадений, — затем выбирается в качестве ответа на задачу; таким образом, если отношение количества выбросов к точкам данных очень низкое, RANSAC выводит достойную модель, соответствующую данным.

Калибровка

Калибровка изображения направлена ​​на минимизацию различий между идеальными моделями объективов и использованной комбинацией камеры и объектива, оптических дефектов, таких как искажения , различия в экспозиции между изображениями, виньетирование , Реакция камеры и хроматические аберрации . Если для регистрации изображений использовались методы обнаружения объектов, а абсолютные положения объектов были записаны и сохранены, программное обеспечение для сшивания может использовать данные для геометрической оптимизации изображений в дополнение к размещению изображений на паносфере. Panotools и различные производные от него программы используют этот метод.

Выравнивание

Выравнивание может потребоваться для преобразования изображения в соответствии с точкой обзора изображения, с которым оно объединяется. Проще говоря, выравнивание — это изменение системы координат таким образом, чтобы она приняла новую систему координат, которая выводит изображение, соответствующее требуемой точке обзора. Типы преобразований, через которые может пройти изображение, — это чистый перевод, чистое вращение, преобразование подобия, которое включает в себя перемещение, вращение и масштабирование изображения, которое необходимо преобразовать, аффинное или проективное преобразование.

Проективное преобразование — это самое дальнее преобразование, которое может преобразовать изображение (в наборе двумерных плоских преобразований), при котором только видимые элементы, сохраняющиеся в преобразованном изображении, представляют собой прямые линии, тогда как при аффинном преобразовании сохраняется параллелизм.

Проективное преобразование можно математически описать как

х' = Н $\cdot$ х ,

где x — точки в старой системе координат, x’ — соответствующие точки преобразованного изображения, а H — матрица гомографии .

Выражая точки x и x' с использованием свойств камеры (K и K'), ее вращения и перевода [R t] в реальные координаты X и X', мы получаем

х = К $\cdot$ [Р т] $\cdot$ Х и х' = К' $\cdot$ [Р'т'] $\cdot$ Х' .

Используя два приведенных выше уравнения и соотношение гомографии между x 'и x, мы можем вывести

Н = К' $\cdot$ Р' $\cdot$ Р ⁻¹ $\cdot$ К ⁻¹

Матрица гомографии H имеет 8 параметров или степеней свободы. Гомография может быть вычислена с использованием прямого линейного преобразования и разложения по сингулярным значениям с помощью

А $\cdot$ ч = 0 ,

где A — матрица, построенная с использованием координат соответствий, а h — одномерный вектор из 9 элементов измененной матрицы гомографии. Чтобы добраться до h, мы можем просто применить SVD: A = U $\cdot$ С $\cdot$ V ^Т И h = V (столбец, соответствующий наименьшему сингулярному вектору). Это верно, поскольку h лежит в нулевом пространстве A. Поскольку у нас есть 8 степеней свободы, алгоритм требует как минимум четырехточечных соответствий. В случае, когда RANSAC используется для оценки гомографии и доступно несколько соответствий, правильной матрицей гомографии является матрица с максимальным количеством вставок.

Композитинг

Композиция — это процесс, при котором исправленные изображения выравниваются таким образом, что они выглядят как один кадр сцены. Композицию можно выполнять автоматически, поскольку теперь алгоритм знает, какие соответствия перекрываются.

Смешивание

Смешение изображений включает в себя выполнение корректировок, определенных на этапе калибровки, в сочетании с переназначением изображений в выходную проекцию. Цвета между изображениями корректируются , чтобы компенсировать разницу в экспозиции. Если применимо, расширенного динамического диапазона выполняется объединение вместе с компенсацией движения и устранением двоения. Изображения смешиваются вместе, и выполняется корректировка линий шва, чтобы свести к минимуму видимость швов между изображениями.

Шов можно уменьшить простой регулировкой усиления. Эта компенсация по сути минимизирует разницу в интенсивности перекрывающихся пикселей. Алгоритм смешивания изображений придает больший вес пикселям вблизи центра изображения. Лучше всего сравниваются изображения с компенсацией усиления и многополосным смешиванием. IJCV 2007.

Выпрямление – еще один метод исправления изображения. Мэтью Браун и Дэвид Г. Лоу в своей статье «Автоматическое сшивание панорамных изображений с использованием инвариантных функций» описывают методы выпрямления, которые применяют глобальное вращение, так что вектор u является вертикальным (в кадре рендеринга), что эффективно удаляет волнистый эффект из выходных панорам. Этот процесс аналогичен исправлению изображения и, в более общем плане, программной коррекции оптических искажений на отдельных фотографиях.

Даже после компенсации усиления некоторые края изображения все еще видны из-за ряда немоделированных дефектов. эффекты, такие как виньетирование (интенсивность уменьшается к краю изображения), эффекты параллакса из-за нежелательного движения оптического центра, ошибки совмещения из-за неправильного моделирования камеры, радиальные искажения и так далее. По этим причинам они предлагают стратегию смешивания, называемую многополосным смешиванием.

Проективные макеты

Сравнение Меркатора и прямолинейной проекции

Сравнение искажений вблизи полюсов паносферы различными цилиндрическими форматами.

Для сегментов изображения, снятых из одной и той же точки пространства, сшитые изображения можно расположить с использованием одной из различных картографических проекций .

Прямолинейный

Прямолинейная проекция , при которой сшитое изображение рассматривается на двухмерной плоскости, пересекающей паносферу в одной точке. Линии, которые в действительности являются прямыми, отображаются как прямые независимо от их направления на изображении. Широкий обзор — около 120° или около того — начинает демонстрировать серьезные искажения вблизи границ изображения. Одним из случаев прямолинейной проекции является использование граней куба с кубическим отображением для просмотра панорам. Панорама отображается на шесть квадратов, каждая грань куба показывает область панорамы размером 90 на 90 градусов.

Цилиндрический

Цилиндрическая проекция , где сшитое изображение показывает горизонтальное поле обзора на 360° и ограниченное вертикальное поле обзора. Панорамы в этой проекции предназначены для просмотра так, как будто изображение завернуто в цилиндр и рассматривается изнутри. При просмотре в 2D-плоскости горизонтальные линии кажутся изогнутыми, а вертикальные остаются прямыми. Вертикальные искажения быстро возрастают по мере приближения к вершине паносферы. Существуют и другие цилиндрические форматы, такие как цилиндрические Меркатора и Миллера, которые имеют меньше искажений вблизи полюсов паносферы.

сферический

2D-плоскость сферической панорамы на 360°.
( просмотр в виде интерактивной панорамы 360° )

Сферическая проекция или равноугольная проекция — которая, строго говоря, является еще одной цилиндрической проекцией — где сшитое изображение показывает поле зрения 360 ° по горизонтали и 180 ° по вертикали, то есть всю сферу. Панорамы в этой проекции предназначены для просмотра так, как будто изображение завернуто в сферу и рассматривается изнутри. При просмотре на двухмерной плоскости горизонтальные линии кажутся изогнутыми, как в цилиндрической проекции, а вертикальные линии остаются вертикальными.

Панини

Поскольку панорама по сути представляет собой карту сферы, различные другие картографические проекции картографов при желании можно также использовать . Кроме того, существуют специализированные проекции, которые могут иметь более эстетические преимущества по сравнению с обычными картографическими проекциями, такие как проекция Панини Хугина. - назван в честь итальянского -пейзажиста художника Джованни Паоло Панини. - или проекция Ведутизмо PTgui. Различные проекции можно комбинировать в одном изображении для точной настройки окончательного вида выходного изображения.

Стереографический

Стереографическую проекцию или проекцию «рыбий глаз» можно использовать для формирования небольшой панорамы планеты , направив виртуальную камеру прямо вниз и установив поле зрения, достаточно большое, чтобы показать всю землю и некоторые области над ней; направление виртуальной камеры вверх создает эффект туннеля. Конформность стереографической проекции может дать более приятный визуально результат, чем проекция «рыбий глаз» равной площади, как описано в статье о стереографической проекции.

Артефакты

Артефакты из-за ошибки параллакса

Артефакты из-за движения объекта

Использование изображений, снятых не с одного и того же места (на оси около входного зрачка камеры) может привести к ошибкам параллакса в конечном продукте. Если в захваченной сцене присутствует быстрое или динамичное движение, могут возникнуть артефакты из-за разницы во времени между сегментами изображения. «Слепое сшивание» с помощью методов выравнивания на основе объектов (см. автосшивка ), в отличие от ручного выбора и сшивания, может привести к несовершенствам сборки панорамы.

Программное обеспечение

См. Также: Сравнение программного обеспечения для сшивания фотографий.

Специальные программы включают Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor и CleVR Stitcher . Многие другие программы также могут сшивать несколько изображений; Популярным примером является Adobe Systems от Photoshop , который включает в себя инструмент, известный как Photomerge , а в последних версиях — новый Auto-Blend . Другие программы, такие как VideoStitch, позволяют сшивать видео, а Vahana VR позволяет сшивать видео в реальном времени. Модуль сшивания изображений для программного обеспечения микроскопа QuickPHOTO позволяет интерактивно сшивать несколько полей зрения микроскопа, используя изображение камеры в реальном времени. Его также можно использовать для ручного сшивания целых образцов микроскопа.

См. также

• ActionShot Панорамная съемка
• Анаглиф 3D
• Производная работа
• Мозаика цифровых изображений
• Мозаика документов
• Панография
• Панорамная фотография
• VR-фотография (интерактивные панорамы)

Внешние ссылки

• СМИ, связанные с вышиванием, на Викискладе?