Фотометрическое стерео

Не путать со стереофотограмметрией .

Фотометрическое стерео анализирует несколько изображений объекта при различных условиях освещения, чтобы оценить направление нормали для каждого пикселя.

Фотометрическое стерео — это метод компьютерного зрения для оценки нормалей поверхности объектов путем наблюдения за этим объектом в различных условиях освещения ( фотометрия ). Он основан на том факте, что количество света, отражаемого поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю. Измеряя количество света, отраженного в камеру, ограничивается пространство возможных ориентаций поверхности. При наличии достаточного количества источников света под разными углами ориентация поверхности может быть ограничена одной ориентацией или даже чрезмерно ограничена.

Впервые этот метод был предложен Вудхэмом в 1980 году. Особый случай, когда данные представляют собой одно изображение, известен как форма из затенения и был проанализирован Б.К.П. Хорном в 1989 году. Фотометрическое стерео с тех пор было распространено на многие другие ситуации, включая расширенные источники света и неламбертовскую обработку поверхности. Текущие исследования направлены на то, чтобы метод работал при наличии проецируемых теней, светлых участков и неоднородного освещения.

Основной метод

При первоначальных предположениях Вудхэма — ламбертовском коэффициенте отражения , известных точечных удаленных источниках света и однородном альбедо — проблему можно решить, обратив линейное уравнение $I=L\cdot n$, где $I$ является (известным) вектором $m$ наблюдаемые интенсивности, $n$ - (неизвестная) нормаль к поверхности, а $L$ это (известный) $3\times m$ матрица нормализованных направлений света.

Эту модель можно легко распространить на поверхности с неоднородным альбедо, сохраняя при этом линейную задачу. Приняв отражательную способность альбедо $k$, формула интенсивности отраженного света принимает вид:

$I=k(L\cdot n)$

Если $L$ является квадратным (имеется ровно 3 источника света) и неособым, его можно перевернуть, что даст:

$L^{-1}I=kn$

Поскольку известно, что нормальный вектор имеет длину 1, $k$ должна быть длина вектора $kn$, и $n$ является нормализованным направлением этого вектора.Если $L$ не является квадратным (имеется более 3 огней), обобщение обратного можно получить с помощью псевдообратного Мура-Пенроуза , просто умножив обе части на $L^{T}$ давая:

$L^{T}I=L^{T}k(L\cdot n)$

$(L^{T}L)^{-1}L^{T}I=kn$

После этого вектор нормали и альбедо можно решить, как описано выше.

Неламбертовы поверхности

Классическая задача фотометрического стерео касается только ламбертовых поверхностей с идеально диффузным отражением. Это нереально для многих типов материалов, особенно металлов, стекла и гладких пластиков, и приведет к аберрациям в результирующих векторах нормалей.

Было разработано множество методов, опровергающих это предположение. В этом разделе перечислены некоторые из них.

Зеркальные отражения

Исторически сложилось так, что в компьютерной графике широко используемая модель для рендеринга поверхностей начиналась с ламбертовых поверхностей и сначала развивалась, включая простые зеркальные отражения . Компьютерное зрение пошло по тому же пути с фотометрическим стерео. Зеркальные отражения были одними из первых отклонений от модели Ламберта. Это несколько разработанных адаптаций.

• Многие методы в конечном итоге основаны на моделировании функции отражения поверхности, то есть того, сколько света отражается в каждом направлении. Эта функция отражения должна быть обратимой . Измеряется интенсивность отраженного света в направлении камеры, и обратная функция отражения адаптируется к измеренным интенсивностям, что приводит к уникальному решению для вектора нормали.

Общие BRDF и не только

Согласно модели функции распределения двунаправленной отражательной способности (BRDF), поверхность может распределять количество получаемого ею света в любом направлении наружу. Это наиболее общеизвестная модель для непрозрачных поверхностей. Некоторые методы были разработаны для моделирования (почти) общих BRDF. На практике все это требует множества источников света для получения надежных данных. Это методы, с помощью которых можно измерить поверхности с общими BRDF.

• Определите явный BRDF перед сканированием. Для этого требуется другая поверхность, имеющая такой же или очень похожий BRDF, фактическая геометрия которой (или, по крайней мере, векторы нормалей для многих точек на поверхности) уже известна. Затем источники света индивидуально освещают известную поверхность и измеряется степень отражения в камере. Используя эту информацию, можно создать справочную таблицу, которая сопоставляет отраженные интенсивности для каждого источника света со списком возможных векторов нормалей. Это накладывает ограничения на возможные векторы нормалей, которые может иметь поверхность, и сводит проблему фотометрического стерео к интерполяции между измерениями. Типичными известными поверхностями для калибровки справочной таблицы являются сферы, имеющие большое разнообразие ориентаций поверхностей.
• Ограничение симметричности BRDF. Если BRDF симметричен, направление света можно ограничить конусом относительно направления на камеру. Какой это конус, зависит от самого BRDF, вектора нормали к поверхности и измеряемой интенсивности. При наличии достаточного количества измеренных интенсивностей и результирующих направлений света эти конусы можно аппроксимировать и, следовательно, считать векторами нормалей к поверхности.

Некоторый прогресс был достигнут в моделировании еще более общих поверхностей, таких как пространственно изменяющиеся функции двунаправленного распределения (SVBRDF), функции распределения отражательной способности двунаправленного поверхностного рассеяния (BSSRDF), и учета взаимных отражений . Однако такие методы по-прежнему довольно ограничительны в фотометрическом стерео. Лучшие результаты были достигнуты при использовании структурированного света .

См. также

• Фотоклинометрия
• Фотометрия
• Стерео зрение
• 3D-сканер