Камера светового поля
Камера светового поля , также известная как пленоптическая камера , представляет собой камеру , которая фиксирует информацию о световом поле , исходящем из сцены; то есть интенсивность света в сцене, а также точное направление, в котором лучи света движутся в пространстве. Это контрастирует с обычными камерами, которые записывают только интенсивность света на различных длинах волн.
В одном типе используется массив микролинз, размещенных перед обычным датчиком изображения для определения интенсивности, цвета и информации о направлении. Еще один тип — многокамерные массивы. Голографическое изображение — это тип изображения светового поля на основе пленки.
История
[ редактировать ]Ранние исследования
[ редактировать ]Первую камеру светового поля предложил Габриэль Липпманн в 1908 году. Свою концепцию он назвал « интегральной фотографией ». Экспериментальные результаты Липпмана включали грубые интегральные фотографии, сделанные с использованием пластикового листа с тиснением регулярного набора микролинз или путем частичного внедрения небольших стеклянных шариков, плотно упакованных в случайном порядке, в поверхность фотоэмульсии .
В 1992 году Адельсон и Ван предложили конструкцию, которая уменьшила проблему соответствия при стереосопоставлении. [1] размещается массив микролинз Для этого в фокальной плоскости основного объектива камеры . Датчик изображения расположен немного позади микролинз. Используя такие изображения, можно проанализировать смещение частей изображения, которые не находятся в фокусе, и извлечь информацию о глубине.
Стандартная пленоптическая камера
[ редактировать ]
«Стандартная пленоптическая камера» — это математическая модель , используемая исследователями для сравнения конструкций. По определению, он имеет микролинзы, расположенные на расстоянии одного фокусного расстояния от плоскости изображения датчика. [2] [3] [4] В 2004 году команда Лаборатории компьютерной графики Стэнфордского университета использовала 16-мегапиксельную камеру, чтобы продемонстрировать, что снимки можно перефокусировать после того, как они были сделаны. В системе использовалась матрица из 90 000 микролинз, обеспечивающая разрешение 90 килопикселей. [2] Исследования показали, что его максимальная базовая линия ограничена размером входного зрачка основной линзы, который мал по сравнению со стереоскопическими установками. [1] [5] Это означает, что «стандартная пленоптическая камера» может быть предназначена для применения на близком расстоянии, поскольку она демонстрирует повышенное разрешение по глубине на расстояниях, которые можно метрически предсказать на основе параметров камеры. [6]
Фокусированная пленоптическая камера
[ редактировать ]Ламсдейн и Георгиев описали конструкцию, в которой массив микролинз может располагаться до или позади фокальной плоскости основной линзы. Эта модификация производит выборку светового поля таким образом, чтобы угловое разрешение было заменено более высоким пространственным разрешением . Благодаря такой конструкции изображения можно перефокусировать с гораздо более высоким пространственным разрешением, чем изображения со стандартной пленоптической камеры. Однако более низкое угловое разрешение может привести к появлению сглаживания артефактов .
Камера с кодированной апертурой
[ редактировать ]использовалась недорогая печатная пленочная маска . В 2007 году была предложена конструкция, в которой вместо матрицы микролинз [7] Такая конструкция уменьшает хроматические аберрации и потерю граничных пикселей, наблюдаемые в матрицах микролинз, и обеспечивает большее пространственное разрешение. Однако конструкция на основе маски уменьшает количество света, попадающего на датчик изображения, снижая яркость.
Функции
[ редактировать ]Особенности включают в себя:
- Переменная глубина резкости и «перефокусировка»: функция Lytro «Распространение фокуса» позволяет регулировать глубину резкости (глубину фокуса) двухмерного представления изображения Lytro после того, как снимок был сделан. [8] Вместо установки фокуса на определенном расстоянии «Распределение фокуса» позволяет большему количеству 2D-изображений оказаться в фокусе. В некоторых случаях это может быть все поле 2D-изображения. Пользователи также могут «перефокусировать» 2D-изображения на определенных расстояниях для получения художественных эффектов. Illum позволяет выбирать диапазон «с возможностью перефокусировки» и «расширяемой фокусировки» с помощью колец оптической фокусировки и масштабирования на объективе. Illum также имеет функцию «брекетинга фокусировки», позволяющую расширить диапазон перефокусировки за счет съемки 3 или 5 последовательных изображений на разной глубине. [9]
- Скорость : поскольку перед съемкой объективу не требуется фокусироваться, камера светового поля может снимать изображения быстрее, чем обычные цифровые фотоаппараты типа «наведи и снимай». [10] Это преимущество, например, при спортивной фотографии, где многие снимки теряются из-за того, что система автофокусировки камеры не может точно отслеживать быстро движущийся объект.
- Чувствительность при слабом освещении. Возможность регулировки фокуса при постобработке позволяет использовать большую диафрагму , чем это возможно на обычных камерах, что позволяет фотографировать в условиях низкой освещенности. [10] [11]
- 3D-изображения : поскольку пленоптическая камера записывает информацию о глубине, 3D-изображения можно создать в программном обеспечении на основе одного захвата пленоптического изображения. В этом случае трехмерные изображения отличаются от исключительно стереоизображений. Стереоизображения также могут быть построены. [12] [13]
Массив металинз
[ редактировать ]В 2022 году NIST анонсировал устройство с фокусным расстоянием от 3 см (1,2 дюйма) до 1,7 км (1,1 мили). размером 39x39 элементов из диоксида титана В устройстве использовалась матрица металинз . либо по правому, либо по левому кругу Каждая металинза поляризована для создания разного фокусного расстояния. Каждая металинза имела прямоугольную форму. Свет направляется отдельно через более короткую и длинную стороны прямоугольника, создавая две фокусные точки на изображении. Различия между металинзами корректировались алгоритмически. [14] [15]
Производители
[ редактировать ]Продукты
[ редактировать ]Компания Lytro была основана выпускником Лаборатории компьютерной графики Стэнфордского университета Реном Нгом для коммерциализации камеры светового поля, которую он разработал, будучи аспирантом. [16] Датчик светового поля Lytro использует массив микролинз, расположенных перед обычным датчиком изображения; воспринимать интенсивность, цвет и информацию о направлении. [17] Затем программное обеспечение использует эти данные для создания отображаемых 2D или 3D изображений. [18] Lytro меняет максимальное 2D-разрешение на определенном расстоянии на улучшенное разрешение на других расстояниях. Пользователи могут конвертировать собственное изображение камеры Lytro в обычный файл 2D-изображения на любом желаемом фокусном расстоянии. Максимальное разрешение Illum 2D — 2450×1634 (4,0 мегапикселя), разрешение светового поля 3D — 40 «мегарей». [19] Он имеет максимальное разрешение 2D 1080 × 1080 пикселей (примерно 1,2 мегапикселя ), [20] Lytro прекратила свою деятельность в марте 2018 года. [21]
С 2010 года Raytrix предлагает несколько моделей пленоптических камер для промышленного и научного применения с полем зрения от 1 мегапикселя. [22] [23]
d'Optron и Rebellion Photonics предлагают пленоптические камеры, специализирующиеся на микроскопии и обнаружении утечек газа соответственно. [ нужна ссылка ]
Прототипы
[ редактировать ]Лаборатория компьютерной графики Стэнфордского университета разработала прототип микроскопа светового поля, используя матрицу микролинз, аналогичную той, которая используется в их камере светового поля. Прототип построен на базе Nikon Eclipse микроскопа проходящего света /широкоугольного флуоресцентного микроскопа и стандартных ПЗС-камер . Захват светового поля осуществляется с помощью модуля, содержащего матрицу микролинз и другие оптические компоненты, расположенные на пути света между объективом и камерой, при этом окончательное многофокусное изображение визуализируется с использованием деконволюции . [24] [25] [26]
В более позднем прототипе была добавлена система освещения светового поля, состоящая из видеопроектора (позволяющего осуществлять вычислительное управление освещением) и второй матрицы микролинз на пути освещения микроскопа. Добавление системы освещения светового поля позволило как использовать дополнительные типы освещения (такие как косое освещение и квазитемное поле ), так и корректировать оптические аберрации . [25]
Камера светового поля Adobe — это прототип 100- мегапиксельной камеры, которая делает трехмерную фотографию сфокусированной сцены с помощью 19 объективов уникальной конфигурации. Каждый объектив делает 5,2-мегапиксельную фотографию сцены. Каждое изображение можно впоследствии сфокусировать любым способом. [27]
CAFADIS — пленоптическая камера, разработанная Университетом Ла-Лагуна (Испания). [28] CAFADIS означает (на испанском языке) камеру фазового расстояния, поскольку ее можно использовать для оценки расстояния и оптического волнового фронта . Из одного снимка он может создавать изображения, сфокусированные на разных расстояниях, карты глубины, изображения «все в фокусе» и стереопары. Подобная оптическая схема может быть использована в адаптивной оптике в астрофизике .
Mitsubishi Electric Research Laboratories (MERL) Камера светового поля [7] основан на принципе оптического гетеродинирования и использует печатную пленку (маску), размещенную вблизи датчика. С помощью этой технологии любую ручную камеру можно превратить в камеру светового поля, просто вставив недорогую пленку поверх сенсора. [29] Дизайн на основе маски позволяет избежать проблемы потери разрешения, поскольку для сфокусированных частей сцены можно создать фотографию с высоким разрешением.
Pelican Imaging имеет тонкие многокамерные матрицы, предназначенные для бытовой электроники. Системы «Пеликана» используют от 4 до 16 близко расположенных микрокамер вместо матрицы микролинзовых датчиков изображения. [30] Nokia инвестировала в Pelican Imaging для производства пленоптической системы камер с 16-линзовой матрицей, которая, как ожидается, будет внедрена в смартфоны Nokia в 2014 году. [31] Pelican перешел к разработке дополнительных камер, которые добавляют возможности определения глубины к основной камере устройства, а не к отдельным камерам-матрицам. [32]
Результатом сотрудничества Бедфордширского университета и ARRI стала изготовленная на заказ пленоптическая камера с лучевой моделью для проверки геометрии светового поля и реальных расстояний до объектов. [4] [5]
В ноябре 2021 года немецкая компания K|Lens [33] первую линзу со световым полем, доступную для любого стандартного крепления объектива анонсировала на Kickstarter . Проект был отменен в январе 2022 года.
Для модификации стандартных цифровых камер требуется немного больше, чем подходящие листы материала для микролинз, поэтому ряд любителей создали камеры, изображения которых можно обрабатывать для получения выборочной глубины резкости или информации о направлении. [34]
Приложения
[ редактировать ]В исследовании 2017 года исследователи заметили, что включение изображений, сфотографированных в светлом поле, в онлайн-модуль по анатомии не привело к лучшим результатам обучения по сравнению с идентичным модулем с традиционными фотографиями расчлененных трупов. [35]
Пленоптические камеры хороши для съемки быстродвижущихся объектов, которые превосходят возможности автофокусировки, а также для съемки объектов, для которых автофокусировка нецелесообразна, например, с помощью камер видеонаблюдения. [36] Запись с камеры наблюдения, основанной на пленоптической технологии, может быть использована для создания точной 3D-модели объекта. [37]
Программное обеспечение
[ редактировать ]Lytro Desktop — это кроссплатформенное приложение для рендеринга фотографий светового поля, снятых камерами Lytro. Он остается закрытым исходным кодом и не поддерживается с момента приобретения Google Lytro. [21] Тем временем было выпущено несколько инструментов с открытым исходным кодом. Можно найти инструмент Matlab для обработки камер типа Lytro. [38] PlenoptiCam — это приложение на основе графического пользовательского интерфейса, учитывающее пленоптические камеры Lytro и специально созданные с кросс-платформенной совместимостью, а исходный код доступен в Интернете. [39]
См. также
[ редактировать ]- Чувствительный к углу пиксель
- Боке
- Сложный глаз
- Фемтофотография
- Интегральная визуализация
- Визуализация света в полете
- Фотофиниш
- Полосовая камера
- Стрип-фотография
Ссылки
[ редактировать ]- ^ Jump up to: а б Адельсон, Э.Х.; Ван, JYA (1992). «Однообъективное стерео с пленоптической камерой». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 14 (2): 99–106. CiteSeerX 10.1.1.53.7845 . дои : 10.1109/34.121783 .
- ^ Jump up to: а б «Фотография светового поля ручной пленоптической камерой» . Graphics.stanford.edu .
- ^ Ламсдейн А., Георгиев Т., Сфокусированная пленоптическая камера , ICCP, апрель 2009 г.
- ^ Jump up to: а б Хане, К.; Аггун, А.; Велисавлевич, В.; Фибиг, С.; Пеш, М. (2016). «Дальность перефокусировки стандартной пленоптической камеры». Оптика Экспресс . 24 (19): 21521–21540. Бибкод : 2016OExpr..2421521H . дои : 10.1364/oe.24.021521 . hdl : 10547/622011 . ПМИД 27661891 .
- ^ Jump up to: а б Хане, К.; Аггун, А.; Велисавлевич, В.; Фибиг, С.; Пеш, М. (2017). «Базовая линия и геометрия триангуляции в стандартной пленоптической камере». Межд. Дж. Компьютер. Вис . 126 : 21–35. arXiv : 2010.04638 . дои : 10.1007/s11263-017-1036-4 . S2CID 255109335 .
- ^ «Оценщик геометрии светового поля» . Архивировано из оригинала 11 сентября 2019 г. Проверено 27 марта 2018 г.
- ^ Jump up to: а б Ашок Вирарагаван, Рамеш Раскар, Амит Агравал, Анкит Мохан и Джек Тамблин. Пятнистая фотография: камеры с улучшенной маской для гетеродинных световых полей и перефокусировки с кодированной апертурой. Транзакции ACM в графике , Vol. 26, выпуск 3, июль 2007 г.
- ^ «В обновлении программного обеспечения Lytro появилась функция Focus Spread» . ДПРЕВЬЮ . Проверено 25 марта 2015 г.
- ^ «Особенности композиции глубины» . Руководство по эксплуатации Лайтро Иллюм . Литро. Архивировано из оригинала 28 сентября 2014 года . Проверено 19 октября 2014 г.
- ^ Jump up to: а б Фрид, Инна. «Познакомьтесь с скрытным стартапом, целью которого является повышение внимания всей индустрии фотоаппаратов» . Все цифровое . Проверено 24 июня 2011 г.
- ^ Герон, Томио (21 июня 2011 г.). «Сначала снимайте, потом фокусируйтесь с новой камерой Lytro» . Форбс . Проверено 19 августа 2011 г.
- ^ Хосе Мануэль Родригес-Рамос (1 апреля 2011 г.). «3D-изображение и измерение волнового фронта с помощью пленоптического объектива» . ШПИОН .
- ^ «Пленоптические линзы сигнализируют о будущем?» . ТВБ Европа. 23 сентября 2011 г. Архивировано из оригинала 18 декабря 2012 г.
{{cite web}}: CS1 maint: bot: исходный статус URL неизвестен ( ссылка ) - ^ Блейн, Лоз (29 апреля 2022 г.). «Рекордная камера сохраняет в фокусе все, что находится на расстоянии от 3 см до 1,7 км» . Новый Атлас . Проверено 30 апреля 2022 г.
- ^ Фань, Цинбинь; Сюй, Вэйчжу; Ху, Сюэмэй; Чжу, Вэньци; Юэ, Тао; Чжан, Ченг; Ян, Фэн; Чен, Лу; Лезек, Анри Ж.; Лу, Яньцин; Агравал, Амит (19 апреля 2022 г.). «Нейронная нанофотонная камера светового поля, вдохновленная трилобитами, с чрезвычайной глубиной резкости» . Природные коммуникации . 13 (1): 2130. doi : 10.1038/s41467-022-29568-y . ISSN 2041-1723 . ПМК 9019092 . ПМИД 35440101 .
- ^ «Сайт Литро» . Архивировано из оригинала 4 ноября 2011 г. Проверено 30 октября 2011 г.
- ^ Колдьюи, Девин (23 июля 2011 г.). «Сомнения по поводу камеры Lytro «Сфокусируйся позже»» . ТехКранч . Проверено 19 августа 2011 г.
- ^ Ларс Рем, DP Review. «CES 2012: Фотопрогулка Lytro». 13 января 2012 г. Проверено 20 апреля 2012 г.
- ^ «Камера светового поля Lytro Illum 40 Megaray» . Обзор цифровой фотографии . Проверено 19 октября 2014 г.
- ^ Голдман, Джошуа (26 октября 2011 г.). «Камера Lytro: 5 вещей, которые нужно знать перед покупкой» . Редактор CNET . CNET . Проверено 21 ноября 2018 г.
- ^ Jump up to: а б «Google покупает Lytro примерно за 40 миллионов долларов» . techcrunch.com . 21 марта 2018 г.
- ^ «Одна камера с 40 000 объективов помогает предотвратить размытие изображений» . 18 марта 2019 г.
- ^ «Первая пленоптическая камера на рынке | PetaPixel» . petapixel.com . 23 сентября 2010 г.
- ^ Левой, М; Нг, Р; Адамс, А; Футер, М; Горовиц, М. (2006). «Светополевая микроскопия» . Транзакции ACM с графикой . 25 (3): 924–93. дои : 10.1145/1141911.1141976 .
- ^ Jump up to: а б Левой, М; Чжан, З; Макдауэлл, я (2009). «Запись и управление 4D световым полем в микроскопе» . Журнал микроскопии . 235 (2): 144–162. CiteSeerX 10.1.1.163.269 . дои : 10.1111/j.1365-2818.2009.03195.x . ПМИД 19659909 . S2CID 13194109 .
- ^ «Стэнфордский проект микроскопа светового поля» . www.graphics.stanford.edu .
- ^ Китс, Джонатон; Холланд, Крис; Маклеод, Гэри. «Как это работает от PopSci — 100-мегапиксельная камера» . PopSci.com . Популярная наука. Архивировано из оригинала (Adobe Flash) 17 января 2008 г. Проверено 26 июля 2009 г.
- ^ «КАФАДИС – Университет Ла-Лагуна» . Архивировано из оригинала 26 ноября 2019 года.
- ^ Амит Агравал (31 декабря 2013 г.). «Lytro против камеры светового поля на основе маски» . Архивировано из оригинала 31 декабря 2013 г.
- ^ «Pelicanimaging.com» . www77.pelicanimaging.com . Архивировано из оригинала 20 октября 2020 г. Проверено 24 августа 2021 г.
- ^ «16-линзовая камера Pelican Imaging появится на смартфонах в следующем году» . 2 мая 2013 г.
- ^ Койфман, Владимир (25 июля 2015 г.). «Увольнения в компании Pelican Imaging?» . Мир датчиков изображения . Архивировано из оригинала 26 ноября 2019 года . Проверено 17 ноября 2015 г.
- ^ «Компания КЛенс» .
- ^ «Камера светового поля» . cameramaker.se .
- ^ Паско, Майкл А.; Ли, Лиза MJ (сентябрь 2017 г.). «Включение фотографий светового поля в онлайн-ресурс по анатомии не влияет на успеваемость учащихся на викторине или на восприятие удобства использования». Педагог медицинских наук . 27 (3): 465–474. дои : 10.1007/s40670-017-0410-8 . ISSN 2156-8650 . S2CID 148803076 .
- ^ «Проектирование полидиоптрической камеры - VideoGeometry :: Домашняя страница Яна Неймана» . сайты.google.com . Архивировано из оригинала 9 октября 2022 г. Проверено 12 июля 2021 г.
- ^ Стрелов, Энн (3 ноября 2005 г.). «Ученые-компьютерщики создают «камеру светового поля», которая устраняет нечеткие фотографии» . Стэнфордский университет . Архивировано из оригинала 23 июля 2010 года . Проверено 14 апреля 2008 г.
- ^ «LightFieldToolbox» .
- ^ «Программное обеспечение ПленоптиКам» . Гитхаб .
Внешние ссылки
[ редактировать ]- Статья Рена Нг из Стэнфорда (сейчас в Lytro)
- Скажите «Сайонара» размытым фотографиям . Проводной.
- Фотография среза Фурье
- Видео о микроскопии светового поля, сделанное Стэнфордской лабораторией компьютерной графики.
- IEEE Spectrum Статья , май 2012 г. Фотография светового поля совершает революцию в области визуализации , с примерами изображений и схемами работы, получено 11 мая 2012 г.
- www.plenoptic.info Веб-сайт с анимационным описанием пленоптической камеры.
Фотография |
|---|
