3D Face Morphable Model

Блок-схема основополагающей работы по 3DFMM Бланца и Веттера (1999).

В компьютерном зрении и компьютерной графике 3D Face Morphable Model ( 3DFMM ) — это генеративный метод моделирования текстурированных 3D лиц. Генерация новых лиц основана на уже существующей базе данных примеров лиц, полученных с помощью процедуры 3D-сканирования . Все эти лица находятся в плотном поточечном соответствии, что позволяет создать новое реалистичное лицо ( морф ) путем объединения полученных лиц. Новое трехмерное лицо можно получить на основе одного или нескольких существующих изображений лица или путем произвольного объединения примеров лиц. 3DFMM позволяет представить форму и текстуру лица независимо от внешних факторов, таких как параметры камеры и освещение.

3D -морфируемая модель (3DMM) представляет собой общую структуру, которая применялась к различным объектам, кроме лиц, например, ко всему человеческому телу, отдельные части тела, и животные. 3DMM были впервые разработаны для решения задач по зрению путем представления объектов с точки зрения предшествующих знаний, которые можно получить из этого класса объектов. Предварительные знания статистически извлекаются из базы данных трехмерных примеров и используются в качестве основы для представления или создания новых вероятных объектов этого класса. Его эффективность заключается в способности эффективно кодировать эту априорную информацию, что позволяет решать некорректные в противном случае проблемы (например, реконструкцию трехмерного объекта с одним представлением).

Исторически модели лиц были первым примером морфируемых моделей, и область 3DFMM, как и сегодня, остается очень активной областью исследований. Фактически, 3DFMM успешно применяется для распознавания лиц . индустрия развлечений ( игры и расширенная реальность , виртуальная примерка , замена лица , реконструкция лица ), цифровая криминалистика , и медицинские применения .

Моделирование

В общем, 3D-лица можно моделировать с помощью трех вариационных компонентов, извлеченных из набора данных лиц:

• модель формы - модель распределения геометрической формы по разным предметам
• модель выражения — модель распределения геометрической формы по разным выражениям лица.
• Модель внешнего вида - модель распределения текстур поверхности (цвет и освещенность)

Моделирование формы

Визуализация средней формы (центр) и первых трех главных компонентов при стандартных отклонениях +2 и -2 3DFMM.

3DFMM использует статистический анализ для определения статистического пространства форм , векторного пространства, снабженного распределением вероятностей , или априорного. Чтобы извлечь априор из набора данных примера, все 3D-грани должны находиться в плотном двухточечном соответствии. Это означает, что каждая точка имеет одинаковое смысловое значение на каждом лице (например, кончик носа, край глаза). текстуры Таким образом, фиксируя точку, мы можем, например, получить распределение вероятностей значений красного канала по всем граням. Форма лица ${\textstyle S}$ из ${\textstyle n}$ вершин определяется как вектор, содержащий трехмерные координаты $n$ вершины в заданном порядке, т.е. $S\in \mathbb {R} ^{3n}$. Пространство формы рассматривается как ${\textstyle d}$-мерное пространство, которое генерирует правдоподобные трехмерные лица путем выполнения низкомерного ( ${\textstyle d\ll n}$) параметризация базы данных. Таким образом, форма ${\textstyle S}$ может быть представлено через функцию-генератор ${\textstyle \mathbf {c} :\mathbb {R} ^{d}\rightarrow \mathbb {R} ^{3n}}$ по параметрам $\mathbf {w} \in \mathbb {R} ^{d}$, ${\textstyle \mathbf {c} (\mathbf {w} )=S\in \mathbb {R} ^{3n}}$. Наиболее распространенным статистическим методом, используемым в 3DFMM для создания пространства форм, является анализ главных компонентов (PCA). это создает основу, которая максимизирует дисперсию данных. При выполнении PCA функция генератора является линейной и определяется как $$\mathbf {c} (\mathbf {w} )=\mathbf {\bar {c}} +\mathbf {E} \mathbf {w}$$где ${\textstyle \mathbf {\bar {c}} }$ это среднее значение по обучающим данным и $\mathbf {E} \in \mathbb {R} ^{3n\times d}$ это матрица, содержащая ${\textstyle d}$ наиболее доминирующие собственные векторы.

Использование уникальной функции генератора для всего лица приводит к несовершенному отображению мелких деталей. Решение состоит в том, чтобы использовать локальные модели лица, сегментируя важные части, такие как глаза, рот и нос.

Моделирование выражений

Моделирование выражения осуществляется путем явного отделения представления личности от выражения лица. В зависимости от того, как сочетаются идентичность и выражение, эти методы можно разделить на аддитивные, мультипликативные и нелинейные.

Аддитивная модель определяется как линейная модель, а выражение представляет собой аддитивное смещение относительно идентичности. $$\mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{w})=\mathbf {\bar {c}} +\mathbf {E} ^{s}\mathbf {w} ^{s}+\mathbf {E} ^{e}\mathbf {w} ^{e}$$где ${\textstyle \mathbf {E} ^{s}}$, ${\textstyle \mathbf {E} ^{e}}$ и ${\textstyle \mathbf {w} ^{s}}$, ${\textstyle \mathbf {w} ^{e}}$ – базис матриц и векторы коэффициентов пространства формы и выражения соответственно. В этой модели задана трехмерная форма объекта с нейтральным выражением лица. ${\textstyle \mathbf {c} _{ne}}$ и в конкретном выражении $\mathbf {c} ^{exp}$, мы можем перенести выражение на другой предмет, добавив смещение $\Delta _{\mathbf {c} }=\mathbf {c} ^{exp}-\mathbf {c} ^{ne}$. Можно выполнить два PCA, чтобы изучить два разных пространства формы и выражения.

В мультипликативной модели форма и выражение могут комбинироваться по-разному. Например, используя ${\textstyle d_{e}}$ операторы $\mathbf {T} _{j}:\mathbb {R} ^{3n}\rightarrow \mathbb {R} ^{3n}$ которые преобразуют нейтральное выражение в целевую форму смешивания, которую мы можем написать $$\mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{e})=\sum _{j=1}^{d_{e}}w_{j}^{e}\mathbf {T} _{j}(\mathbf {c} (\mathbf {w} ^{s})+\mathbf {\delta } ^{s})+\mathbf {\delta } _{j}^{e}$$где $\mathbf {\delta } ^{s}$ и ${\textstyle \mathbf {\delta } _{j}^{s}}$ являются векторами, которые нужно исправить в соответствии с целевым выражением.

Нелинейная модель использует нелинейные преобразования для представления выражения.

Моделирование внешности

Идентификатор информации о цвете часто связан с каждой вершиной трехмерной фигуры. Это взаимно однозначное соответствие позволяет нам представлять внешний вид аналогично модели линейной формы. $$\mathbf {d} (\mathbf {w} ^{t})=\mathbf {\bar {d}} +\mathbf {E} ^{t}\mathbf {w} ^{t}$$где $\mathbf {w} ^{t}$ вектор коэффициентов, определенный по базовой матрице $\mathbf {E} ^{t}$. PCA снова можно использовать для изучения внешнего вида пространства.

История

Распознавание лиц можно считать областью, в которой возникли концепции, которые позже привели к формализации морфируемых моделей. Подход «собственное лицо» , используемый при распознавании лиц, представлял лица в векторном пространстве и использовал анализ главных компонентов для определения основных режимов вариаций. Однако у этого метода были ограничения: он был ограничен фиксированными позами и освещением и не имел эффективного представления различий в форме. В результате изменения собственных векторов не отражали точно сдвиги в структурах лица, а вызывали их появление и исчезновение. Чтобы устранить эти ограничения, исследователи добавили собственное разложение двумерных изменений формы лиц. Исходный подход «собственного лица» выравнивал изображения по одной точке, а новые методы устанавливали соответствия по многим точкам. Деформация лица на основе ориентиров была введена Кроу и Кэмероном (1991). а первая статистическая модель формы, Active Shape Model , была предложена Cootes et al. (1995). В этой модели использовалась только форма, но модель активного внешнего вида Cootes et al. (1998) комбинированная форма и внешний вид. Поскольку эти 2D-методы были эффективны только для фиксированных поз и освещения, они были расширены Веттером и Поджио (1997). для обработки более разнообразных настроек. Хотя разделение формы и текстуры было эффективным для представления лица, для обработки вариаций позы и освещения требовалось множество отдельных моделей. С другой стороны, достижения в области компьютерной 3D-графики показали, что моделировать вариации позы и освещения несложно. Сочетание графических методов с моделированием лица привело к первой формулировке 3DMM Бланцем и Веттером (1999). Подход «анализ через синтез» позволил сопоставить трехмерные и двумерные домены и создать новое представление трехмерной формы и внешнего вида. Их работа является первой, которая представила статистическую модель лиц, которая позволила осуществлять 3D-реконструкцию из 2D-изображений и параметрическое пространство лица для контролируемых манипуляций.

В первоначальном определении Бланца и Веттера форма лица представлена ​​в виде вектора $S=(X_{1},Y_{1},Z_{1},...,X_{n},Y_{n},Z_{n})^{T}\in \mathbb {R} ^{3n}$ который содержит трехмерные координаты $n$ вершины. Аналогично текстура представляется в виде вектора $T=(R_{1},G_{1},B_{1},...,R_{n},G_{n},B_{n})^{T}\in \mathbb {R} ^{3n}$ который содержит три цветовых канала RGB, связанных с каждой соответствующей вершиной. За счет полного соответствия образцовых 3D граней появились новые формы. $\mathbf {S} _{models}$ и текстуры $\mathbf {T} _{models}$ можно определить как линейную комбинацию ${\textstyle m}$ примеры лиц: $$\mathbf {S} _{model}=\sum _{i=1}^{m}a_{i}\mathbf {S} _{i}\qquad \mathbf {T} _{model}=\sum _{i=1}^{m}b_{i}\mathbf {T} _{i}\qquad {\text{with}}\;\sum _{i=1}^{m}a_{i}=\sum _{i=1}^{m}b_{i}=1$$Таким образом, новая форма и текстура лица параметризуется формой $\mathbf {a} =(a_{1},a_{2},...,a_{m})^{T}$ и текстурные коэффициенты $\mathbf {b} =(b_{1},b_{2},...,b_{m})^{T}$. Чтобы извлечь статистику из набора данных, они выполнили PCA для создания пространства форм измерения для ${\textstyle d}$ и использовал линейную модель для моделирования формы и внешнего вида. В этом случае новая модель может быть создана в ортогональном базисе с использованием формы и собственного вектора текстуры. ${\textstyle s_{i}}$ и ${\textstyle t_{i}}$, соответственно:

$\mathbf {S} _{model}=\mathbf {\bar {S}} +\sum _{i=1}^{m}a_{i}\mathbf {s} _{i}\qquad \mathbf {T} _{model}=\mathbf {\bar {T}} +\sum _{i=1}^{m}b_{i}\mathbf {t} _{i}\qquad$

где $\mathbf {\bar {S}}$ и ${\textstyle \mathbf {\bar {T}} }$ — это средняя форма и текстура набора данных.

Общедоступные базы данных

В следующей таблице мы перечисляем общедоступные базы данных человеческих лиц, которые можно использовать для 3DFMM.

Общедоступные базы данных человеческих лиц

	Год	Геометрия	Появление	Размер	Скачать	учреждение
Базельская модель лица 2009	2009	форма	на вершину	100 особей с нейтральным выражением лица	Связь	Базельский университет
ЛицоСклад	2014	форма, выражение	-	150 человек в 20 разных выражениях	Связь	Чжэцзянский университет
Крупномасштабная модель лица (LSFM)	2016	форма	-	9 663 человека	Связь	Имперский колледж Лондона
Модель лица Суррея	2016	форма, выражение (множественное разрешение)	на вершину	169 человек	Связь	Университет Суррея
Базельская модель лица 2017	2017	форма, выражение	на вершину	200 человек и 160 сканирований экспрессии	Связь	Базельский университет
Модель головы Ливерпуль-Йорк (LYHM)	2017	форма (полная голова – без волос, без глаз)	на вершину	1212 человек	Связь	Йоркский университет , больница Олдер-Хей
Лица, изученные с помощью артикулированной модели и выражений (FLAME)	2017	форма (полная голова – без волос), выражение, поза головы	текстура	3800 человек за форму, 8000 за позу головы, 21000 за выражение лица	Связь	Университет Южной Калифорнии , Институт интеллектуальных систем Макса Планка
Сверточный сетчатый автоэнкодер (CoMA)	2018	форма (полная голова – без волос), выражение	-	2 человека в 12 крайних проявлениях	Связь	Институт Макса Планка интеллектуальных систем
Морфируемая модель лица Альбедо	2020	-	повершинное диффузное и зеркальное альбедо	73 человека	Связь	Йоркский университет
ЛицоСтих	2022	форма	текстура	128 человек в 21 различном выражении	Связь	Университет Цинхуа

См. также

• Эйгенфейс
• 3D modeling
• Анализ главных компонентов
• Статистический анализ формы

Внешние ссылки

• «3D-морфируемые модели» . Проверено 8 июля 2024 г.
• «Кураторский список программного обеспечения и данных для 3D-морфируемых моделей» . Гитхаб . Проверено 11 июля 2024 г.
• «Учебное пособие по 3D-морфируемым моделям на Симпозиуме по обработке геометрии 2022» . Ютуб . 28 июня 2022 г. Проверено 12 июля 2024 г.
• «Что такое линейная 3D-морфируемая модель лица?» . Ютуб . 5 апреля 2020 г. Проверено 12 июля 2024 г.