Компьютерная фотография

Вычислительная фотография относится к методам захвата и обработки цифровых изображений, в которых вместо оптических процессов используются цифровые вычисления. Компьютерная фотография может улучшить возможности камеры или ввести функции, которые вообще были недоступны при съемке на пленку, или снизить стоимость или размер элементов камеры. Примеры вычислительной фотографии включают в себя расчет цифровых панорам в камере , ^{[ 6 ]} изображения с высоким динамическим диапазоном и камеры светового поля . В камерах светового поля используются новые оптические элементы для захвата трехмерной информации о сцене, которую затем можно использовать для создания трехмерных изображений, увеличения глубины резкости и выборочной расфокусировки (или «пост-фокусировки»). Повышенная глубина резкости снижает потребность в механических системах фокусировки . Все эти функции используют методы вычислительной визуализации.

Определение компьютерной фотографии эволюционировало и теперь охватывает ряд предметные области компьютерной графики , компьютерного зрения и прикладных оптика . Эти области приведены ниже и организованы в соответствии с таксономией. предложено Шри К. Наяром ^{[ нужна ссылка ]}. В каждой области есть список методов, и для по каждому методу цитируются одна или две репрезентативные статьи или книги. Намеренно исключен из таксономия — это обработка изображений (см. также цифровая обработка изображений ) методы, применяемые к традиционно захваченным изображения, чтобы создавать более качественные изображения. Примерами таких методов являются масштабирование изображения , сжатие динамического диапазона (т.е. отображение тонов ), управление цветом , завершение изображения (также известное как закрашивание или заполнение отверстий), сжатие изображений , цифровые водяные знаки и художественные эффекты изображения. Также опущены методы, которые производят данные о диапазоне , объемные данные , 3D-модели , 4D-световые поля , 4D, 6D или 8D BRDF или другие представления на основе изображений высокой размерности. Эпсилон-фотография — это раздел компьютерной фотографии.

Влияние на фотографию

Фотографии, сделанные с помощью компьютерной фотографии, могут позволить любителям создавать фотографии, конкурирующие по качеству с профессиональными фотографами, но по состоянию на 2019 г. ^[update] не превосходить использование оборудования профессионального уровня. ^{[ 7 ]}

Вычислительное освещение

Это структурированное управление фотографическим освещением, последующая обработка захваченных изображений, для создания новых изображений. Приложения включают в себя переосвещение на основе изображения, улучшение изображения, устранение размытия изображения , восстановление геометрии/материала и т. д.

В режиме визуализации с расширенным динамическим диапазоном используются изображения одной и той же сцены с разной экспозицией для расширения динамического диапазона. ^{[ 8 ]} Другие примеры включают обработку и объединение по-разному освещенных изображений одного и того же объекта («световое пространство»).

Вычислительная оптика

Это захват оптически закодированных изображений с последующим компьютерным декодированием для создания новых изображений. Визуализация с кодированной апертурой в основном применялась в астрономии или рентгеновской визуализации для повышения качества изображения. Вместо одного точечного отверстия при визуализации применяется точечный рисунок, и деконволюция . для восстановления изображения выполняется ^{[ 9 ]} При визуализации с кодированной экспозицией состояние включения/выключения затвора кодируется для изменения ядра размытия изображения . ^{[ 10 ]} Таким образом, устранение размытия изображения становится вполне обоснованной задачей . Аналогично, в кодированной апертуре на основе линз апертура может быть изменена путем введения широкополосной маски . ^{[ 11 ]} Таким образом, устранение размытия вне фокуса становится вполне обусловленной проблемой. Кодированная апертура также может улучшить качество регистрации светового поля с использованием оптики преобразования Адамара.

Шаблоны кодированной апертуры также можно разработать с использованием цветных фильтров, чтобы применять разные коды на разных длинах волн. ^{[ 12 ]}^{[ 13 ]} Это позволяет увеличить количество света, попадающего на сенсор камеры, по сравнению с бинарными масками.

Вычислительная визуализация

Вычислительная визуализация представляет собой набор методов визуализации, которые сочетают в себе сбор и обработку данных для создания изображения объекта косвенными средствами для получения повышенного разрешения , дополнительной информации, такой как оптическая фаза или трехмерная реконструкция . Информация часто записывается без использования традиционной конфигурации оптического микроскопа или с использованием ограниченных наборов данных.

Вычислительная визуализация позволяет выйти за рамки физических ограничений оптических систем, таких как числовая апертура , ^{[ 14 ]} или даже устраняет необходимость в оптических элементах . ^{[ 15 ]}

Для частей оптического спектра , где элементы визуализации, такие как объективы, сложно изготовить или датчики изображения не могут быть миниатюризированы, компьютерная визуализация представляет собой полезную альтернативу в таких областях, как рентгенография. ^{[ 16 ]} и ТГц излучения .

Общие методы

Среди распространенных методов компьютерной визуализации — безлинзовая визуализация , компьютерная спекл-визуализация, ^{[ 17 ]} Птихография и Фурье-птихография .

Техника вычислительной визуализации часто опирается на методы измерения сжатия или фазового восстановления , при которых восстанавливается угловой спектр объекта. Другие методы относятся к области компьютерной визуализации, такие как цифровая голография , компьютерное зрение и обратные задачи, такие как томография .

Вычислительная обработка

Это обработка неоптически закодированных изображений для создания новых изображений.

Вычислительные датчики

Это детекторы, которые сочетают в себе считывание и обработку, обычно аппаратно, например, датчик двоичного изображения с передискретизацией .

Ранние работы в области компьютерного зрения

Хотя компьютерная фотография в настоящее время является популярным модным словечком в компьютерной графике, многие из ее методы впервые появились в литературе по компьютерному зрению, либо под другими названиями, либо в статьях, посвященных трехмерному анализу форм.

Носимый аппарат компьютерной фотографии 1981 года.

История искусства

Носимая компьютерная фотография зародилась в 1970-х и начале 1980-х годов и превратилась в более поздний вид искусства. Это изображение было использовано на обложке учебника Джона Уайли и сыновей по этому предмету.

Компьютерная фотография как форма искусства практиковалась путем съемки изображений одного и того же объекта с разной экспозицией и их объединения вместе. Это послужило вдохновением для разработки портативного компьютера в 1970-х и начале 1980-х годов. Компьютерная фотография была вдохновлена работами Чарльза Вайкоффа , и поэтому наборы данных вычислительной фотографии (например, изображения одного и того же предмета с разной экспозицией, которые делаются для создания единого составного изображения) иногда называются наборами Вайкоффа в его честь.

Ранние работы в этой области (совместная оценка проекции изображения и значения экспозиции) были предприняты Манном и Кандокчиа.

Чарльз Вайкофф посвятил большую часть своей жизни созданию особых видов трехслойных фотопленок, на которых были запечатлены разные экспозиции одного и того же объекта. Фотография ядерного взрыва, сделанная по фильму Вайкоффа, появилась на обложке журнала Life Magazine и продемонстрировала динамический диапазон от темных внешних областей до внутреннего ядра.

См. также

Ссылки

^ Стив Манн . «Составление нескольких изображений одной и той же сцены», материалы 46-й ежегодной конференции по науке и технологиям обработки изображений, 9–14 мая, Кембридж, Массачусетс, 1993 г.
^ С. Манн, К. Мандерс и Дж. Фунг, « Уравнение ограничения изменения светового пространства (LCCE) с практическим применением для оценки преобразования проективности + усиления между несколькими изображениями одного и того же объекта » Международная конференция IEEE по акустике, речь и обработка сигналов, 6–10 апреля 2003 г., стр III - 481-4 том. 3.
^ совместная оценка параметров как в области, так и в диапазоне функций на одной и той же орбите проективной группы Вайкоффа , Международная конференция IEEE по обработке изображений, Vol. 3, 16–19, стр. 193–196, сентябрь 1996 г.
^ Фрэнк М. Кандосия: Совместная регистрация изображений в области и диапазоне посредством кусочно-линейного сравнительного анализа . Транзакции IEEE по обработке изображений 12 (4): 409-419 (2003).
^ Фрэнк М. Кандосия: Одновременное гомографическое и сравнительное выравнивание нескольких изображений одной и той же сцены с откорректированной экспозицией . Транзакции IEEE по обработке изображений 12(12): 1485-1494 (2003).
^ Стив Манн и Р.В. Пикард. « Виртуальные сильфоны: создание высококачественных фотографий из видео », В материалах Первой международной конференции IEEE по обработке изображений, Остин, Техас, 13–16 ноября 1994 г.
^ «Грань компьютерной фотографии» .
^ О БЫТЬ «НЕЦИФРОВЫМ» С ЦИФРОВЫМИ КАМЕРАМИ: РАСШИРЕНИЕ ДИНАМИЧЕСКОГО ДИАПАЗОНА ПОСРЕДСТВОМ КОМБИНИРОВАНИЯ РАЗЛИЧНО ЭКСПОНИРОВАННЫХ ИЗОБРАЖЕНИЙ, 48-я ежегодная конференция IS&T (Общества науки и технологий в области изображений), Кембридж, Массачусетс, май 1995 г., страницы 422-428
^ Мартинелло, Мануэль. «Визуализация с кодированной апертурой» (PDF) .
^ Раскар, Рамеш; Агравал, Амит; Тамблин, Джек (2006). «Фотография с кодированной экспозицией: устранение размытия движения с помощью трепещущего затвора» . Проверено 29 ноября 2010 г.
^ Вирарагаван, Ашок; Раскар, Рамеш; Агравал, Амит; Мохан, Анкит; Тамблин, Джек (2007). «Пятнистая фотография: камеры с улучшенной маской для гетеродинных световых полей и перефокусировки кодированной диафрагмы» . Проверено 29 ноября 2010 г.
^ Мартинелло, Мануэль; Вайс, Эндрю; Цюань, Шусюэ; Ли, Хэнк; Лим, Чиен; Уу, Тэкун; Ли, Вонхо; Ким, Санг-Сик; Ли, Дэвид (2015). «Фотография с двойной диафрагмой: изображение и глубина с мобильной камеры» (PDF) . Международная конференция по компьютерной фотографии .
^ Чакрабарти, А.; Зиклер, Т. (2012). «Глубина и устранение размытия из-за спектрально изменяющейся глубины резкости» . Европейская конференция IEEE по компьютерному зрению . 7576 : 648–666.
^ Оу и др., «Фурье-птихография с высокой числовой апертурой: принцип, реализация и характеристики» Optics Express 23, 3 (2015)
^ Буминатан и др., «Безлинзовая визуализация: вычислительный ренессанс» (2016)
^ Миякава и др., «Детектор с кодированной апертурой: датчик изображения с разрешением пикселей менее 20 нм» , Optics Express 22, 16 (2014).
^ Кац и др., «Неинвазивная однократная визуализация через слои рассеяния и вокруг углов с помощью спекл-корреляции» , Nature Photonics 8, 784–790 (2014).

Внешние ссылки

Наяр, Шри К. (2007). «Вычислительные камеры» , Конференция по приложениям машинного зрения .
Вычислительная фотография (Раскар Р., Тумблин Дж.) , А. К. Петерс. В печати.
Специальный выпуск «Вычислительная фотография» , IEEE Computer, август 2006 г.
Культура камеры и компьютерная журналистика: захват и обмен визуальным опытом. Архивировано 6 сентября 2015 г. в Wayback Machine , специальный выпуск IEEE CG&A, февраль 2011 г.
Рик Селиски (2010), Компьютерное зрение: алгоритмы и приложения , Springer.
Вычислительная фотография: методы и приложения (под ред. Растислава Лукача), CRC Press, 2010.
Интеллектуальная обработка изображений (информация о книге «Джон Уайли и сыновья»).
Сравнительные уравнения .
GJB-1: Увеличение динамического диапазона цифровой камеры с помощью принципа Вайкоффа
Примеры носимой компьютерной фотографии как вида искусства
Курс Siggraph по компьютерной фотографии

[1] Стив Манн . «Составление нескольких изображений одной и той же сцены», материалы 46-й ежегодной конференции по науке и технологиям обработки изображений, 9–14 мая, Кембридж, Массачусетс, 1993 г.

[2] С. Манн, К. Мандерс и Дж. Фунг, « Уравнение ограничения изменения светового пространства (LCCE) с практическим применением для оценки преобразования проективности + усиления между несколькими изображениями одного и того же объекта » Международная конференция IEEE по акустике, речь и обработка сигналов, 6–10 апреля 2003 г., стр III - 481-4 том. 3.

[3] совместная оценка параметров как в области, так и в диапазоне функций на одной и той же орбите проективной группы Вайкоффа , Международная конференция IEEE по обработке изображений, Vol. 3, 16–19, стр. 193–196, сентябрь 1996 г.

[4] Фрэнк М. Кандосия: Совместная регистрация изображений в области и диапазоне посредством кусочно-линейного сравнительного анализа . Транзакции IEEE по обработке изображений 12 (4): 409-419 (2003).

[5] Фрэнк М. Кандосия: Одновременное гомографическое и сравнительное выравнивание нескольких изображений одной и той же сцены с откорректированной экспозицией . Транзакции IEEE по обработке изображений 12(12): 1485-1494 (2003).

[6] Стив Манн и Р.В. Пикард. « Виртуальные сильфоны: создание высококачественных фотографий из видео », В материалах Первой международной конференции IEEE по обработке изображений, Остин, Техас, 13–16 ноября 1994 г.

[7] «Грань компьютерной фотографии» .

[8] О БЫТЬ «НЕЦИФРОВЫМ» С ЦИФРОВЫМИ КАМЕРАМИ: РАСШИРЕНИЕ ДИНАМИЧЕСКОГО ДИАПАЗОНА ПОСРЕДСТВОМ КОМБИНИРОВАНИЯ РАЗЛИЧНО ЭКСПОНИРОВАННЫХ ИЗОБРАЖЕНИЙ, 48-я ежегодная конференция IS&T (Общества науки и технологий в области изображений), Кембридж, Массачусетс, май 1995 г., страницы 422-428

[9] Мартинелло, Мануэль. «Визуализация с кодированной апертурой» (PDF) .

[10] Раскар, Рамеш; Агравал, Амит; Тамблин, Джек (2006). «Фотография с кодированной экспозицией: устранение размытия движения с помощью трепещущего затвора» . Проверено 29 ноября 2010 г.

[11] Вирарагаван, Ашок; Раскар, Рамеш; Агравал, Амит; Мохан, Анкит; Тамблин, Джек (2007). «Пятнистая фотография: камеры с улучшенной маской для гетеродинных световых полей и перефокусировки кодированной диафрагмы» . Проверено 29 ноября 2010 г.

[12] Мартинелло, Мануэль; Вайс, Эндрю; Цюань, Шусюэ; Ли, Хэнк; Лим, Чиен; Уу, Тэкун; Ли, Вонхо; Ким, Санг-Сик; Ли, Дэвид (2015). «Фотография с двойной диафрагмой: изображение и глубина с мобильной камеры» (PDF) . Международная конференция по компьютерной фотографии .

[13] Чакрабарти, А.; Зиклер, Т. (2012). «Глубина и устранение размытия из-за спектрально изменяющейся глубины резкости» . Европейская конференция IEEE по компьютерному зрению . 7576 : 648–666.

[14] Оу и др., «Фурье-птихография с высокой числовой апертурой: принцип, реализация и характеристики» Optics Express 23, 3 (2015)

[15] Буминатан и др., «Безлинзовая визуализация: вычислительный ренессанс» (2016)

[16] Миякава и др., «Детектор с кодированной апертурой: датчик изображения с разрешением пикселей менее 20 нм» , Optics Express 22, 16 (2014).

[17] Кац и др., «Неинвазивная однократная визуализация через слои рассеяния и вокруг углов с помощью спекл-корреляции» , Nature Photonics 8, 784–790 (2014).

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]