Передача нейронного стиля

Перенос нейронного стиля, примененный к Моне Лизе :

Звездная ночь

Женщина в шляпе

Большая волна у Канагавы

Передача нейронного стиля ( NST ) относится к классу программных алгоритмов, которые манипулируют цифровыми изображениями или видео, чтобы принять внешний вид или визуальный стиль другого изображения. Алгоритмы NST характеризуются использованием глубоких нейронных сетей для преобразования изображений. Обычно NST используется для создания искусственных произведений искусства из фотографий, например, путем переноса внешнего вида известных картин на фотографии, предоставленные пользователями. Несколько известных мобильных приложений используют для этой цели методы NST, включая DeepArt и Prisma . Этот метод использовался художниками и дизайнерами по всему миру для создания новых произведений искусства на основе существующих стилей.

Алгоритмы передачи более раннего стиля

NST — это пример стилизации изображения , проблемы, изучаемой более двух десятилетий в области нефотореалистичного рендеринга . Первые два алгоритма передачи стилей на основе примеров представляли собой аналогии изображений. и выстегивание изображений. Оба эти метода были основаны на алгоритмах синтеза текстур на основе патчей .

Учитывая обучающую пару изображений — фотографию и изображение, изображающее эту фотографию, — можно изучить преобразование, а затем применить его для создания нового изображения из новой фотографии по аналогии. Если тренировочной фотографии не было, ее нужно было бы создать путем обработки входного изображения; стеганое изображение не требовало этого этапа обработки, хотя оно было продемонстрировано только на одном стиле.

НСТ

NST был впервые опубликован в статье Леона Гатиса и др. «Нейронный алгоритм художественного стиля», первоначально опубликованной на ArXiv 2015. и впоследствии принят рецензируемой конференцией CVPR в 2016 году. В оригинальной статье использовалась архитектура VGG-19. который был предварительно обучен распознаванию объектов с использованием набора данных ImageNet .

В 2017 году Google AI представил метод это позволяет одной глубокой сети передачи сверточных стилей одновременно изучать несколько стилей. Этот алгоритм позволяет интерполяцию стилей в режиме реального времени, даже если это делается на видео носителе.

Формулировка

Процесс НСТ предполагает входное изображение $p$ и пример изображения стиля $a$.

Изображение $p$ передается через CNN, а сетевые активации выбираются на уровне поздней свертки архитектуры VGG-19. Позволять $C(p)$ быть результирующим выходным образцом, называемым «содержимым» входных данных $p$.

Стиль изображения $a$ затем передается через ту же CNN, и сетевые активации выбираются на ранних и средних уровнях CNN. Эти активации закодированы в виде матрицы Грамиана , назовем ее $S(a)$ для обозначения «стиля» $a$.

Цель NST — синтезировать выходное изображение. $x$ который отображает содержание $p$ применяется в стиле $a$, то есть $C(x)=C(p)$ и $S(x)=S(a)$.

Итеративная оптимизация (обычно градиентный спуск ), затем постепенно обновляется. $x$ чтобы минимизировать ошибку функции потерь:

${\mathcal {L(x)}}=|C(x)-C(p)|+k|S(x)-S(a)|$,

где $|.|$ расстояние L2 . Константа $k$ контролирует уровень эффекта стилизации.

Обучение

Изображение $x$ первоначально аппроксимируется добавлением небольшого количества белого шума к входному изображению $p$ и подавать его через CNN. Затем мы последовательно распространяем эту потерю по сети с фиксированными весами CNN, чтобы обновить пиксели $x$. После нескольких тысяч эпох обучения, $x$ (надеюсь) появляется, соответствующий стилю $a$ и содержание $p$.

Алгоритмы обычно реализуются для графических процессоров , поэтому обучение занимает несколько минут.

Расширения

NST также был распространен на видео.

Последующая работа улучшила скорость NST для изображений.

В статье Фей-Фей Ли и др. принял другую регуляризованную метрику потерь и ускоренный метод обучения для получения результатов в реальном времени (на три порядка быстрее, чем Gatys). Их идея заключалась в том, чтобы использовать не потерю пикселей, определенную выше, а скорее «перцепционную потерю», измеряющую различия между слоями более высокого уровня внутри CNN. Они использовали симметричный кодер-декодер CNN. При обучении используется функция потерь, аналогичная базовому методу NST, но также регуляризуется выходной сигнал для обеспечения гладкости с использованием потерь общей вариации (TV). После обучения сеть можно использовать для преобразования изображения в стиль, используемый во время обучения, используя один проход сети с прямой связью. Однако сеть ограничена единственным стилем, в котором она обучена.

В работе Чэнь Дундуна и др. они исследовали объединение информации оптического потока в сети прямой связи , чтобы улучшить временную когерентность вывода.

Совсем недавно преобразовании объектов, были исследованы методы NST, основанные на для быстрой стилизации, которые не привязаны к одному конкретному стилю и обеспечивают управляемое пользователем смешивание стилей, например преобразование отбеливания и окраски (WCT).