Лицевая галлюцинация

Лицевая галлюцинация относится к любой технике сверхразрешения , которая применяется конкретно к лицам. Он включает в себя методы, которые берут зашумленные изображения лица или лица с низким разрешением и преобразуют их в изображения с высоким разрешением, используя знания о типичных чертах лица. Его можно применять в системах распознавания лиц для более быстрой и эффективной идентификации лиц.Из-за потенциального применения в системах распознавания лиц галлюцинации лица стали активной областью исследований.

Различия между галлюцинацией лица и сверхразрешением

изображения Сверхразрешение — это класс методов, которые повышают разрешение изображения с помощью набора изображений с низким разрешением. Основное различие между обоими методами заключается в том, что галлюцинация лица является сверхвысоким разрешением для изображений лица и всегда использует типичные априорные данные лица с сильной связью с концепцией домена лица.

Меры

Изображение считается высоким разрешением, если его размер составляет 128×96 пикселей. ^{[ нужна ссылка ]} Следовательно, цель галлюцинации лица — добиться того, чтобы входное изображение достигло указанного количества пикселей. Наиболее распространенные значения входного изображения обычно составляют 32×24 пикселя или 16×12 пикселей. ^{[ нужна ссылка ]}

Более того, проблема лицевых галлюцинаций заключается в трудности выравнивания лиц. Для обеспечения согласованности между взятой тестовой выборкой и обучающей выборкой требуется множество методов. Даже небольшое неправильное выравнивание может ухудшить метод и результат.

Алгоритм

За последние два десятилетия ^{[ когда? ]}Сообщается, что многие специальные алгоритмы галлюцинаций лица используют эту технику. Хотя существующие методы галлюцинации лица достигли большого успеха, еще есть много возможностей для совершенствования.

Общие алгоритмы обычно выполняют два шага: на первом этапе генерируется глобальное изображение лица, которое сохраняет характеристики лица с использованием максимально апостериорного вероятностного метода (MAP). На втором этапе создается остаточное изображение для компенсации результата первого шага. Кроме того, все алгоритмы основаны на наборе пар обучающих изображений с высоким и низким разрешением, что включает в себя методы сверхразрешения изображений при синтезе изображений лица.

Любой алгоритм галлюцинации лица должен основываться на трёх ограничениях:

Ограничение данных: Выходное изображение должно быть почти таким же, как исходное изображение после сглаживания или понижения разрешения.
Глобальное ограничение: Полученное изображение всегда содержит все общие черты человеческого лица. Черты лица всегда должны быть последовательными. Без этого ограничения выходные данные могут быть слишком шумными.
Местное ограничение: Выходное изображение должно иметь очень специфические черты изображения лица, имеющие сходство с фотореалистичными местными особенностями. Без этого ограничения результирующее изображение могло бы быть слишком гладким.

Методы

Лицевая галлюцинация улучшает черты лица за счет улучшения разрешения изображения с использованием различных методов.

Интерполяция

Самый простой способ повысить разрешение изображения — это прямая интерполяция, увеличивающая интенсивность пикселей входных изображений с помощью таких алгоритмов, как интерполяция ближайшего соседа, билинейная и варианты интерполяции кубическим сплайном. Другой подход к интерполяции — научиться интерполировать набор обучающих выборок с высоким разрешением вместе с соответствующими их версиями с низким разрешением. (стр. 4 пекарь и канадэ)

Однако результаты очень плохие, поскольку в процессе не добавляется никакой новой информации. Именно поэтому в последние годы были предложены новые методы.

Лицевая галлюцинация, основанная на теореме Байеса

Этот метод был предложен Бейкером и Канаде. ^[1] новаторство техники лицевых галлюцинаций.

Алгоритм основан на формулировке байесовского MAP и использует градиентный спуск для оптимизации целевой функции, а также генерирует высокочастотные детали из родительской структуры с помощью обучающих выборок.

Суперразрешение из нескольких представлений с использованием изученных моделей изображений

Капель и Зиссерман ^[2] был первым, кто предложил метод SR локального изображения лица.

Он разделил изображение лица на четыре ключевые области: глаза, нос, рот и щеки. Для каждой области он изучает отдельный базис анализа главных компонентов (PCA) и реконструирует область отдельно. Однако реконструированные изображения лица с помощью этого метода имеют видимые артефакты между разными областями.

Лицевая галлюцинация посредством разреженного кодирования

Этот метод был предложен Дж. Янгом и Х. Тангом. ^[3] и он основан на галлюцинации изображения лица с высоким разрешением путем принятия входного значения с низким разрешением. В этом методе используются черты лица с использованием подхода факторизации неотрицательной матрицы ( NMF ) для изучения локализованного подпространства на основе частей. Это подпространство эффективно для сверхразрешения входящего лица.

Для дальнейшего улучшения детальной структуры лица с помощью метода локальных патчей, основанного на разреженном представлении.

Лицевая галлюцинация путем собственной трансформации

Этот метод был предложен Вангом и Тангом. ^[4] и он использует собственное преобразование . Этот метод рассматривает решение как преобразование между различными стилями изображения и использует анализ главных компонент (PCA), применяемый к изображению лица с низким разрешением. Выбрав количество «собственных лиц», мы можем извлечь объем информации об изображении лица с низким разрешением и удалить шум.

В алгоритме собственного преобразования галлюцинаторное изображение лица синтезируется посредством линейной комбинации обучающих изображений с высоким разрешением, а коэффициенты комбинации получаются из изображений лица с низким разрешением с использованием метода анализа главных компонент. Алгоритм улучшает разрешение изображения, извлекая некоторые высокочастотные детали лица из низкочастотной информации о лице, используя корреляцию между двумя частями. Из-за структурного сходства изображений лиц при мультиразрешительном анализе существует сильная корреляция между высокочастотным и низкочастотным диапазоном. Для изображений лиц с высоким разрешением PCA может сжать эту коррелированную информацию в небольшое количество основных компонентов. Затем, в процессе собственного преобразования, эти основные компоненты можно вывести из основных компонентов лица с низким разрешением путем сопоставления между обучающими парами с высоким и низким разрешением.

Двухэтапный подход

Этот метод был разработан К. Лю и Шумом. ^[5]^[6] и он объединяет глобальную параметрическую и локальную параметрическую модель. Глобальная модель представляет собой линейный параметрический вывод, а локальная модель представляет собой непараметрическую сеть Маркова на основе патчей .

На первом этапе изучите взаимосвязь между изображениями высокого разрешения и их сглаженными и пониженными разрешениями. На втором этапе смоделируйте остаток между исходным высоким разрешением и реконструированным изображением с высоким разрешением после применения изученной линейной модели с помощью непараметрической сети Маркова для захвата высокочастотного содержимого лиц.

Лицевая галлюцинация на основе MCA

Этот алгоритм формулирует галлюцинацию лица как проблему разложения изображения и предлагает анализ морфологических компонентов (MCA). ^[7] основанный метод.

Метод представлен в трехэтапной схеме.Во-первых, входное изображение с низким разрешением подвергается интерполяции. Интерполированное изображение можно представить как суперпозицию глобального изображения высокого разрешения и «нерезкой маски». На втором этапе интерполированное изображение разлагается в глобальное изображение высокого разрешения с помощью MCA для получения глобальной аппроксимации изображения HR из интерполированного изображения. Наконец, информация о деталях лица компенсируется на предполагаемом HT-изображении с использованием соседней реконструкции патчей положения.

Другие методы

Галлюцинация лица с помощью тензорного патча сверхразрешения и связанной компенсации остатков.
Сверхразрешение с разреженным представлением для видеонаблюдения.
Галлюцинирующее лицо по положению патча.
На основе позиции.
Сверхразрешение LPH и реконструкция соседей для компенсации остатков.

Результаты

Все представленные выше методы дают весьма удовлетворительные результаты и оправдывают ожидания, поэтому сложно определить, какой метод наиболее эффективен и какой дает лучший результат.

Однако можно констатировать, что:

Метод Бейкера и Канаде позволяет исказить характерные черты изображения лица.
Результатом метода, разработанного Вангом и Тангом, может стать эффект звона.

Ссылки

^ Бейкер, Саймон; Канаде, Такео. «Галлюцинирующие лица» . Проверено 18 ноября 2014 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Кэпел, Д.; Зиссерман, А. (2001). «Суперразрешение из нескольких представлений с использованием изученных моделей изображений» (PDF) . Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 2. Кауаи, Гавайи. стр. 627–634 . дои : 10.1109/CVPR.2001.991022 . ISBN 978-0-7695-1272-3 . S2CID 14090080 . Проверено 4 марта 2015 г. {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
^ Ян, Цзяньчао; Тан, Хао; Могу ли я; Хуанг, Томас. «Галлюцинация лица посредством разреженного кодирования» (PDF) . Проверено 4 марта 2015 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ Сяоган Ван и Сяоу Тан «Галлюцинирующее лицо в результате собственной трансформации» (PDF) . 2005 . Проверено 17 ноября 2014 г.
^ К. Лю, Х. И. Шум и В. Т. Фриман «Лицо-галлюцинация: теория и практика» . Октябрь 2007 года . Проверено 20 ноября 2014 г.
^ К. Лю, Х. И. Шум и В. Т. Фриман «Лицо-галлюцинация: теория и практика» (PDF) . Октябрь 2007 года . Проверено 20 ноября 2014 г.
^ Ян Лян, Сяохуа Се, Цзянь-Хуан Лай «Галлюцинация лица на основе анализа морфологических компонентов» (PDF) . Октябрь 2012 г. Архивировано из оригинала (PDF) 5 декабря 2014 г. . Проверено 21 ноября 2014 г.

Библиография

Каур, Равнит (июнь 2014 г.). «Различные методы лицевых галлюцинаций» (PDF) . Проверено 16 ноября 2014 г.
Каур, Джаскиран (май 2014 г.). «Лицевая галлюцинация: обзор» (PDF) . Архивировано из оригинала (PDF) 5 декабря 2014 года . Проверено 16 ноября 2014 г.
Чи-Юань Ян; Сифэй Лю; Мин-Сюань Ян. «Эструктурированная галлюцинация лица» (PDF) . Проверено 20 ноября 2014 г.
Се Лю, Хын-Юнг Шум, Чан-ШуйЧжан (2013). «Двухэтапный подход к галлюцинирующим лицам: глобальная параметрическая модель и локальная непараметрическая модель» . Архивировано из оригинала 5 декабря 2014 года . Проверено 17 ноября 2014 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
Вэй Лю1, Дахуа Линь и Сяоу Тан. «Галлюцинирующие лица: суперразрешение TensorPatch и совмещенная компенсация остатков» (PDF) . Проверено 26 ноября 2014 г. {{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )
Чжэнь Цзя; Хунчэн Ван; Цзыю Сюн; Финн, Алан (2011). «Быстрая галлюцинация лица с редким изображением для видеонаблюдения». Первая Азиатская конференция по распознаванию образов . стр. 179–183. дои : 10.1109/ACPR.2011.6166702 . ISBN 978-1-4577-0121-4 . S2CID 9913575 .
Сян Ма; Цзюньпин Чжан; Чунь Ци. «Метод позиционных галлюцинаций лица» (PDF) . Архивировано из оригинала (PDF) 5 декабря 2014 года . Проверено 26 ноября 2014 г.
Юэтин Чжуан; Цзянь Чжан; Фэй Ву (2007). «Галлюцинирующие лица: сверхвысокое разрешение LPH и реконструкция соседей для компенсации остатков» . Архивировано из оригинала 30 ноября 2014 года . Проверено 26 ноября 2014 г.

Внешние ссылки

[Baker-1] Бейкер, Саймон; Канаде, Такео. «Галлюцинирующие лица» . Проверено 18 ноября 2014 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[2] Кэпел, Д.; Зиссерман, А. (2001). «Суперразрешение из нескольких представлений с использованием изученных моделей изображений» (PDF) . Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 2. Кауаи, Гавайи. стр. 627–634 . дои : 10.1109/CVPR.2001.991022 . ISBN 978-0-7695-1272-3 . S2CID 14090080 . Проверено 4 марта 2015 г. {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )

[3] Ян, Цзяньчао; Тан, Хао; Могу ли я; Хуанг, Томас. «Галлюцинация лица посредством разреженного кодирования» (PDF) . Проверено 4 марта 2015 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[4] Сяоган Ван и Сяоу Тан «Галлюцинирующее лицо в результате собственной трансформации» (PDF) . 2005 . Проверено 17 ноября 2014 г.

[5] К. Лю, Х. И. Шум и В. Т. Фриман «Лицо-галлюцинация: теория и практика» . Октябрь 2007 года . Проверено 20 ноября 2014 г.

[6] К. Лю, Х. И. Шум и В. Т. Фриман «Лицо-галлюцинация: теория и практика» (PDF) . Октябрь 2007 года . Проверено 20 ноября 2014 г.

[7] Ян Лян, Сяохуа Се, Цзянь-Хуан Лай «Галлюцинация лица на основе анализа морфологических компонентов» (PDF) . Октябрь 2012 г. Архивировано из оригинала (PDF) 5 декабря 2014 г. . Проверено 21 ноября 2014 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]