Глубокое изображение до

Глубокое предварительное изображение — это тип сверточной нейронной сети, используемый для улучшения данного изображения без каких-либо данных предварительного обучения, кроме самого изображения.Нейронная сеть инициализируется случайным образом и используется, как и раньше, для решения обратных задач, таких как шумоподавление , суперразрешение и рисование . Статистика изображений фиксируется структурой генератора сверточных изображений, а не какими-либо ранее изученными возможностями.

Метод

Фон

Обратные задачи, такие как снижение шума , суперразрешение и перерисовка , можно сформулировать как задачу оптимизации. $x^{*}=min_{x}E(x;x_{0})+R(x)$, где $x$ это изображение, $x_{0}$ искаженное представление этого изображения, $E(x;x_{0})$ — термин данных, зависящий от задачи, а R(x) — регуляризатор . Это создает проблему минимизации энергии.

Глубокие нейронные сети изучают генератор/декодер $x=f_{\theta }(z)$ который отображает случайный вектор кода $z$ к изображению $x$.

Метод повреждения изображения, используемый для создания $x_{0}$ выбирается для конкретного приложения.

Особенности

В этом подходе $R(x)$ априор заменяется неявным априором, захваченным нейронной сетью (где $R(x)=0$ для изображений, которые могут быть созданы глубокими нейронными сетями и $R(x)=+\infty$ в противном случае). Это дает уравнение для минимизатора $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ и результат процесса оптимизации $x^{*}=f_{\theta ^{*}}(z)$.

Минимизатор $\theta ^{*}$ (обычно градиентный спуск ) начинается со случайно инициализированных параметров и спускается к локальному лучшему результату, чтобы получить $x^{*}$ функция восстановления.

Переобучение

Параметр θ можно использовать для восстановления любого изображения, включая его шум. Однако сеть неохотно воспринимает шум, поскольку она имеет высокий импеданс, в то время как полезный сигнал имеет низкий импеданс. Это приводит к тому, что параметр θ приближается к красивому локальному оптимуму , пока количество итераций в процессе оптимизации остается достаточно низким, чтобы не переобучать данные.

Модель глубокой нейронной сети

Обычно модель глубокой нейронной сети для предварительного изображения глубокого изображения использует модель, подобную U-Net, без пропущенных соединений, которые соединяют блоки кодера с блоками декодера. Авторы в своей статье отмечают, что «наши результаты здесь (и в других подобных сравнениях), похоже, предполагают, что наличие более глубокой архитектуры полезно, а наличие пропущенных соединений, которые так хорошо работают для задач распознавания (таких как семантическая сегментация), очень вредно». ."

Приложения

шумоподавление

Принцип шумоподавления заключается в восстановлении изображения. $x$ из шумного наблюдения $x_{0}$, где $x_{0}=x+\epsilon$. Распределение $\epsilon$ иногда известен (например: датчик профилирования и фотонный шум ) и может быть дополнительно включен в модель, хотя этот процесс хорошо работает при слепом шумоподавлении.

Квадратичная энергетическая функция $E(x,x_{0})=||x-x_{0}||^{2}$ используется в качестве термина данных, подставляя его в уравнение для $\theta ^{*}$ дает задачу оптимизации $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$.

Супер-разрешение

Суперразрешение используется для создания версии изображения x с более высоким разрешением. Термин данных установлен на $E(x;x_{0})=||d(x)-x_{0}||^{2}$ где d(·) — оператор понижающей дискретизации , такой как Ланцоша , который уменьшает изображение в коэффициент t.

живопись

Inpainting используется для восстановления недостающей области изображения. $x_{0}$. Эти недостающие пиксели определяются как бинарная маска. $m\in \{0,1\}^{H\times V}$. Термин данных определяется как $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ (где $\odot$ – произведение Адамара ).

Интуиция заключается в том, что потери вычисляются только для известных пикселей изображения, и сеть узнает достаточно об изображении, чтобы заполнить неизвестные части изображения, даже если вычисленные потери не включают эти пиксели. Эта стратегия используется для удаления водяных знаков на изображении, рассматривая водяные знаки как недостающие пиксели изображения.

Реконструкция со вспышкой – без вспышки

Этот подход может быть распространен на несколько изображений. Простой пример, упомянутый автором, — реконструкция изображения для получения естественного света и четкости с помощью пары вспышка-без вспышки. Реконструкция видео возможна, но требует оптимизации для учета пространственных различий.

Реализации

• Эталонная реализация, переписанная на Python 3.6 с использованием библиотеки PyTorch 0.4.0, была выпущена автором под лицензией Apache 2.0 : deep-image-prior
• Реализация на основе TensorFlow, написанная на Python 2 и выпущенная под лицензией CC-SA 3.0 : deep-image-prior-tensorflow
• Реализация на основе Keras , написанная на Python 2 и выпущенная под лицензией GPLv3 : Machine_learning_denoising.

Пример

См. Астрономическую картинку дня (APOD) от 18 февраля 2024 г.

Ссылки

• Ульянов Дмитрий; Ведальди, Андреа; Лемпицкий, Виктор (30 ноября 2017 г.). «Глубокий образ Приор». arXiv : 1711.10925v2 [ cs.CV ].