Нейронное поле излучения

Нейронное поле излучения ( NeRF ) — это метод, основанный на глубоком обучении , для восстановления трехмерного представления сцены из двухмерных изображений. Модель NeRF позволяет использовать последующие приложения для синтеза новых видов, реконструкции геометрии сцены и получения свойств отражательной способности сцены. Дополнительные свойства сцены, такие как позы камеры, также могут быть изучены совместно. Впервые представленный в 2020 году, с тех пор он привлек значительное внимание благодаря своим потенциальным применениям в компьютерной графике и создании контента.

Алгоритм

Алгоритм NeRF представляет сцену как поле излучения, параметризованное глубокой нейронной сетью (DNN). Сеть прогнозирует объемную плотность и излучаемое излучение в зависимости от вида, учитывая пространственное положение ( x, y, z ) и направление обзора в углах Эйлера ( θ, Φ ) камеры. Путем выборки множества точек вдоль лучей камеры традиционные методы объемного рендеринга могут создать изображение.

Сбор данных

NeRF необходимо переобучать для каждой уникальной сцены. Первый шаг — собрать изображения сцены с разных ракурсов и соответствующей позы камеры. Эти изображения представляют собой стандартные 2D-изображения и не требуют специальной камеры или программного обеспечения. Любая камера способна генерировать наборы данных при условии, что настройки и метод захвата соответствуют требованиям SfM ( Structure from Motion ).

Это требует отслеживания положения и ориентации камеры, часто с помощью комбинации SLAM , GPS или инерционной оценки. Исследователи часто используют синтетические данные для оценки NeRF и связанных с ним методов. Для таких данных изображения ( отрисованные традиционными необучаемыми методами ) и соответствующие положения камеры воспроизводимы и безошибочны.

Обучение

Для каждой предоставленной разреженной точки обзора (изображения и позы камеры) лучи камеры проходят через сцену, генерируя набор трехмерных точек с заданным направлением излучения (в камеру). Для этих точек объемная плотность и излучаемая яркость прогнозируются с помощью многослойного перцептрона (MLP). Затем изображение генерируется посредством классической объемной визуализации. Поскольку этот процесс полностью дифференцируем, ошибку между предсказанным изображением и исходным изображением можно свести к минимуму с помощью градиентного спуска по нескольким точкам обзора, что побуждает MLP разработать последовательную модель сцены.

Вариации и улучшения

Ранние версии NeRF оптимизировались медленно и требовали, чтобы все входные изображения были сняты одной и той же камерой в одинаковых условиях освещения. Они работали лучше всего, когда ограничивались вращением вокруг отдельных объектов, таких как барабанная установка, растения или маленькие игрушки. Со времени выхода оригинальной статьи в 2020 году в алгоритм NeRF было внесено множество улучшений с вариациями для особых случаев использования.

Картирование функций Фурье

В 2020 году, вскоре после выпуска NeRF, добавление функции сопоставления функций Фурье улучшило скорость обучения и точность изображений. Глубокие нейронные сети с трудом изучают высокочастотные функции в низкоразмерных областях; явление, известное как спектральное смещение. Чтобы преодолеть этот недостаток, точки перед подачей в MLP сопоставляются с пространством признаков более высокой размерности.

$\gamma (\mathrm {v} )={\begin{bmatrix}a_{1}\cos(2{\pi }{\mathrm {B} }_{1}^{T}\mathrm {v} )\\a_{1}\sin(2\pi {\mathrm {B} }_{1}^{T}\mathrm {v} )\\\vdots \\a_{m}\cos(2{\pi }{\mathrm {B} }_{m}^{T}\mathrm {v} )\\a_{m}\sin(2{\pi }{\mathrm {B} }_{m}^{T}\mathrm {v} )\end{bmatrix}}$

Где $\mathrm {v}$ это точка входа, $\mathrm {B} _{i}$ – векторы частот, а $a_{i}$ являются коэффициентами.

Это обеспечивает быструю сходимость к высокочастотным функциям, таким как пиксели в детализированном изображении.

Поля нейронного излучения, регулирующие пучки

Одним из ограничений NeRF является требование знания точных поз камеры для обучения модели. Часто методы оценки позы не совсем точны, и даже невозможно узнать позу камеры. Эти недостатки приводят к артефактам и неоптимальной сходимости. Итак, был разработан метод оптимизации позы камеры вместе с самой объемной функцией. Этот метод, получивший название Bundle-Adjusting Neural Radiance Field (BARF), использует динамический фильтр нижних частот для перехода от грубой к точной настройке, сводя к минимуму ошибку за счет поиска геометрического преобразования к желаемому изображению. Это исправляет несовершенные позы камеры и значительно улучшает качество рендеринга NeRF.

Многомасштабное представление

Обычные NeRF с трудом передают детали на всех расстояниях просмотра, создавая размытые изображения вблизи и чрезмерно искаженные изображения с дальних ракурсов. В 2021 году исследователи представили метод улучшения резкости деталей в разных масштабах просмотра, известный как mip-NeRF (происходит от mipmap ). Вместо выборки одного луча на пиксель этот метод подгоняет гауссиану к усеченному конусу, отбрасываемому камерой. Это улучшение эффективно сглаживает изображения во всех масштабах просмотра. mip-NeRF также снижает общую ошибку изображения и обеспечивает более быструю сходимость (примерно вдвое меньше, чем у NeRF на основе лучей).

Изученные инициализации

В 2021 году исследователи применили метаобучение , чтобы присвоить первоначальный вес MLP. Это быстро ускоряет конвергенцию, эффективно давая сети преимущество при градиентном спуске. Метаобучение также позволило MLP изучить базовое представление определенных типов сцен. Например, по набору данных известных туристических достопримечательностей инициализированный NeRF может частично реконструировать сцену по одному изображению.

NeRF в дикой природе

Обычные NeRF уязвимы к небольшим изменениям входных изображений (объектов, освещения), что часто приводит к появлению ореолов и артефактов. В результате NeRF с трудом воспроизводит динамические сцены, такие как шумные городские улицы с изменениями освещения и динамическими объектами. В 2021 году исследователи Google разработали новый метод учета этих вариаций, получивший название NeRF in the Wild (NeRF-W). Этот метод разделяет нейронную сеть (MLP) на три отдельные модели. Основной MLP сохраняется для кодирования статического объемного излучения. Однако он последовательно работает с отдельным MLP для внедрения внешнего вида (изменения освещения, свойств камеры) и MLP для временного внедрения (изменения объектов сцены). Это позволяет NeRF обучаться на различных коллекциях фотографий, например, снятых мобильными телефонами в разное время суток.

Перезажигание

В 2021 году исследователи добавили больше результатов в MLP, лежащий в основе NeRF. Теперь выходные данные включали: объемную плотность, нормаль к поверхности, параметры материала, расстояние до первого пересечения поверхности (в любом направлении) и видимость внешней среды в любом направлении. Включение этих новых параметров позволяет MLP изучать свойства материала, а не чистые значения излучения. Это упрощает более сложный конвейер рендеринга, вычисляющий прямое и глобальное освещение , зеркальные блики и тени. В результате NeRF может визуализировать сцену при любых условиях освещения без необходимости повторного обучения.

Пленокдеревья

Хотя NeRF достигли высокого уровня точности, их дорогостоящее вычислительное время сделало их бесполезными для многих приложений, требующих рендеринга в реальном времени, таких как VR / AR и интерактивный контент. Представленный в 2021 году Plenoctrees (plenoptic Octrees ) позволил выполнять рендеринг предварительно обученных NeRF в реальном времени посредством разделения функции объемного излучения на октодерево. Вместо того, чтобы назначать камере направление излучения, направление обзора берется из входных данных сети, и для каждой области прогнозируется сферическое излучение. Это делает рендеринг более чем в 3000 раз быстрее, чем у обычных NeRF.

Разреженная сетка нейронного излучения

Подобно Plenoctrees, этот метод позволял выполнять рендеринг предварительно обученных NeRF в реальном времени. Чтобы избежать запроса большого MLP для каждой точки, этот метод объединяет NeRF в разреженные сети нейронного излучения (SNeRG). SNeRG — это разреженная сетка вокселей , содержащая непрозрачность и цвет, с изученными векторами признаков для кодирования информации, зависящей от вида. Затем используется облегченный и более эффективный MLP для создания зависимых от вида остатков для изменения цвета и непрозрачности. Чтобы обеспечить такое сжатое запекание, в архитектуру NeRF были внесены небольшие изменения, например, запуск MLP один раз для каждого пикселя, а не для каждой точки вдоль луча. Эти улучшения делают SNeRG чрезвычайно эффективным, превосходя Plenoctrees.

Мгновенные NeRF

В 2022 году исследователи из Nvidia обеспечили обучение NeRF в реальном времени с помощью метода, известного как Instant Neural Graphics Primitives. Инновационное кодирование входных данных сокращает объем вычислений, обеспечивая обучение NeRF в реальном времени, что на несколько порядков лучше предыдущих методов. Ускорение происходит за счет использования пространственных хэш-функций , которые имеют $O(1)$ время доступа и параллельные архитектуры, которые быстро работают на современных графических процессорах .

Связанные методы

Пленоксели

Plenoxel (пленоптический объемный элемент) использует разреженное воксельное представление вместо объемного подхода, как это видно в NeRF. Plenoxel также полностью удаляет MLP, вместо этого напрямую выполняя градиентный спуск по коэффициентам вокселей. Plenoxel может сравниться по точности с обычным NeRF, тратя на порядки меньше времени на обучение. Опубликованный в 2022 году, этот метод опроверг важность MLP, показав, что дифференцируемый конвейер рендеринга является критически важным компонентом.

Гауссово пятно

Гауссово пятно — это новый метод, который может превзойти NeRF по времени и точности рендеринга. Вместо того, чтобы представлять сцену как объемную функцию, он использует разреженное облако трехмерных гауссиан . Сначала генерируется облако точек (через структуру из движения ) и преобразуется в гауссианы начальной ковариации, цвета и непрозрачности. Гауссианы напрямую оптимизируются посредством стохастического градиентного спуска, чтобы соответствовать входному изображению. Это экономит вычисления за счет удаления пустого пространства и отказа от необходимости запрашивать нейронную сеть для каждой точки. Вместо этого просто «выплесните» все гауссианы на экран, и они перекроются, чтобы создать желаемое изображение.

Фотограмметрия

Традиционная фотограмметрия не является нейронной, вместо этого используются надежные геометрические уравнения для получения трехмерных измерений. NeRF, в отличие от фотограмметрических методов, по своей сути не создает трехмерную геометрию с точной размерностью. Хотя их результатов часто бывает достаточно для извлечения точной геометрии (например, с помощью марширования куба). ), процесс нечеткий , как и в большинстве нейронных методов. Это ограничивает NeRF случаями, когда ценится выходное изображение, а не необработанная геометрия сцены. Однако NeRF превосходно работают в ситуациях с неблагоприятным освещением. Например, фотограмметрические методы полностью терпят неудачу при попытке восстановить отражающие или прозрачные объекты в сцене, в то время как NeRF способен определить геометрию.

Приложения

NeRF имеют широкий спектр применений, и их популярность начинает расти по мере того, как они интегрируются в удобные для пользователя приложения.

Создание контента

NeRF обладают огромным потенциалом в создании контента, где фотореалистичные изображения по запросу чрезвычайно ценны. Технология демократизирует пространство, ранее доступное только командам художников по визуальным эффектам с дорогими активами. Поля нейронного излучения теперь позволяют любому, у кого есть камера, создавать захватывающие трехмерные среды. NeRF объединен с генеративным искусственным интеллектом , что позволяет пользователям, не имеющим опыта моделирования, вносить изменения в фотореалистичные 3D-сцены. NeRF потенциально могут использоваться в производстве видео, компьютерной графике и дизайне продуктов.

Интерактивный контент

Фотореализм NeRF делает их привлекательными для приложений, где важно погружение, таких как виртуальная реальность или видеоигры. NeRF можно комбинировать с классическими методами рендеринга для вставки синтетических объектов и создания правдоподобного виртуального опыта.

Медицинская визуализация

NeRF использовались для реконструкции 3D-КТ-сканирований на основе редких или даже единичных рентгеновских снимков. Модель продемонстрировала высокую точность визуализации данных груди и коленей. Если этот метод будет принят, он сможет избавить пациентов от чрезмерных доз ионизирующего излучения, что позволит поставить более безопасную диагностику.

Робототехника и автономность

Уникальная способность NeRF понимать прозрачные и отражающие объекты делает их полезными для роботов, взаимодействующих в таких средах. Использование NeRF позволило роботу-манипулятору точно манипулировать прозрачным бокалом для вина; задача, с которой традиционному компьютерному зрению не справиться.

NeRF также могут генерировать фотореалистичные человеческие лица, что делает их ценными инструментами для взаимодействия человека и компьютера. Традиционно визуализированные лица могут быть странными , а другие нейронные методы слишком медленны для работы в реальном времени.