Jump to content

Микроскопия светового поля

светового поля Микроскопия ( LFM ) — это метод трехмерной (3D) микроскопической визуализации без сканирования, основанный на теории светового поля . Этот метод позволяет получать изображения больших объемов за доли секунды (~ 10 Гц) (от [~ 0,1 до 1 мм]). 3 ) с пространственным разрешением ~1 мкм в условиях слабого рассеяния и полупрозрачности, что никогда не достигалось другими методами. Как и при традиционном рендеринге светового поля , ЛСМ-изображение состоит из двух этапов: захват и обработка светового поля. В большинстве установок микролинз для захвата светового поля используется массив . Что касается обработки, то она может быть основана на двух видах представления распространения света: лучевой оптики картине [1] и картина волновой оптики . [2] Лаборатория компьютерной графики Стэнфордского университета опубликовала свой первый прототип LFM в 2006 году. [1] и с тех пор работает на переднем крае.

Генерация светового поля

[ редактировать ]
Лучевая параметризация микроскопии светового поля. (A) Параметризация светового поля без релейной линзы. Плоскость объекта сопрягается с плоскостью матрицы микролинз через объектив , а плоскость объектива сопрягается с плоскостью датчика через микролинзы: промежуточное изображение двух точек находится на плоскости матрицы микролинз, причем одна микролинза соответствует одной точке; каждое фрагмент изображения за соответствующей микролинзой включает в себя изображение объектива. (B) Параметризация светового поля с помощью релейной системы. Сопряжение между точками фокальной плоскости и миролинзами сохраняется; однако фрагмент изображения за каждой микролинзой включает в себя только часть объектива. В обеих системах луч параметризуется как комбинация 2D-координаты микролинзы, через которую проходит луч, и 2D-координаты пикселя фрагмента изображения, на которое он падает.

Световое поле — это совокупность всех лучей, проходящих через некоторое свободное пространство, где каждый луч можно параметризовать четырьмя переменными. [3] Во многих случаях две двумерные координаты, обозначаемые как & – для параметризации применяются две параллельные плоскости, с которыми пересекаются лучи. Соответственно, интенсивность 4D светового поля можно описать как скалярную функцию: , где это расстояние между двумя плоскостями.

LFM может быть построен на основе традиционной установки широкопольного флуоресцентного микроскопа и стандартной камеры CCD или sCMOS . [1] Световое поле создается путем размещения матрицы микролинз в плоскости промежуточного изображения объектива ( или задней фокальной плоскости дополнительной релейной линзы) и дополнительно захватывается путем размещения датчика камеры в задней фокальной плоскости микролинз. В результате координаты микролинз сопряжены с находящимися в плоскости предмета (если добавляются дополнительные линзы-реле, то в передней фокальной плоскости объектива) ; координаты пикселей за каждой микролинзой сопряжены с теми, что находятся на объективном плане . Для единообразия и удобства будем называть плоскость исходная плоскость фокусировки в этой статье. Соответственно, — фокусное расстояние микролинз (т. е. расстояние между плоскостью матрицы микролинз и плоскостью датчика).

Кроме того, апертуры и фокусное расстояние каждой линзы, а также размеры матрицы и матрицы микролинз должны быть правильно выбраны, чтобы гарантировать отсутствие перекрытия и пустых областей между соседними фрагментами изображения за соответствующими микролинзами.

Реализация из изображения лучевой оптики

[ редактировать ]

В этом разделе в основном представлена ​​работа Левоя и др ., 2006. [1]

Перспективные виды с разных ракурсов

[ редактировать ]

Благодаря сопряженным отношениям, упомянутым выше, любой определенный пиксель за определенной микролинзой соответствует лучу, проходящему через точку в направлении . Таким образом, извлекая пиксель из всех фрагментов изображений и их сшивки получается перспективный вид под определенным углом: . В этом сценарии пространственное разрешение определяется количеством микролинз; Угловое разрешение определяется количеством пикселей за каждой микролинзой.

Томографические изображения на основе синтетической рефокусировки

[ редактировать ]

Шаг 1. Цифровая перефокусировка

[ редактировать ]
Цифровая перефокусировка светового поля . Предположим, что исходное изображение было сфокусировано на плоскости, которая сопрягается с плоскостью матрицы микролинз, поэтому изображение должно быть синтезировано путем суммирования пикселей за каждой микролинзой для формирования цифровой фокусировки на этой плоскости. Теперь мы хотим перефокусироваться на другую плоскость, сопряженная плоскость которой находится на расстоянии α f от плоскости датчика, путем рендеринга лучей, определенных между плоскостью массива микролинз и плоскостью датчика. Чтобы получить интенсивность каждой точки на плоскости рефокусировки, мы суммируем лучи, чьи обратные выносные линии заканчиваются в этой точке. Этот рисунок демонстрирует одномерную синтетическую перефокусировку, при этом другое измерение может быть независимо перефокусировано тем же математическим способом. Этот рисунок представляет собой модификацию рисунка 1 из Ren Ng 2005. [4]

Синтетическая фокусировка использует захваченное световое поле для расчета фокусировки фотографии в любом произвольном участке. Просто суммируя все пиксели в каждом фрагменте изображения за микролинзой (что эквивалентно сбору всего излучения, исходящего под разными углами и падающего на одно и то же положение), изображение фокусируется точно на плоскости, которая сопрягается с плоскостью массива микролинз:

,

где - угол между лучом и нормалью плоскости датчика, а если начало системы координат каждого фрагмента изображения расположено на главной оптической оси соответствующей микролинзы. Теперь можно определить новую функцию, поглощающую эффективный коэффициент проекции. в интенсивность светового поля и получим фактическую коллекцию яркости каждого пикселя: .

Чтобы сфокусироваться на какой-либо другой плоскости, кроме передней фокальной плоскости объектива, скажем, на плоскости, сопряженная плоскость которой от плоскости датчика, сопряженную плоскость можно переместить из к и перепараметризовать его световое поле обратно в исходное в :

.

Таким образом, перефокусированную фотографию можно рассчитать по следующей формуле:

.

Следовательно, создается фокальный стек, воспроизводящий мгновенное трехмерное изображение пространства объекта. Кроме того, синтетически возможны также наклонные или даже изогнутые фокальные плоскости. [5] Кроме того, любое реконструированное 2D-изображение, сфокусированное на произвольной глубине, соответствует 2D-срезу 4D-светового поля в области Фурье , где сложность алгоритма может быть уменьшена с к . [4]

Шаг 2: Измерение функции рассеяния точки

[ редактировать ]

Однако из-за дифракции и дефокусировки фокальный стек отличается от фактического распределения интенсивности вокселей , что действительно желательно. Вместо, представляет собой сверток и функция распространения точки (PSF):


Таким образом, необходимо измерить трехмерную форму PSF, чтобы вычесть его эффект и получить чистую интенсивность вокселей. Это измерение можно легко выполнить, поместив флуоресцентную бусину в центр исходной плоскости фокусировки и записав ее световое поле, на основе чего трехмерная форма PSF определяется путем синтетической фокусировки на различной глубине. Учитывая, что PSF получается с той же настройкой LFM и процедурой цифровой перефокусировки, что и фокальный стек, это измерение правильно отражает угловой диапазон лучей, захватываемых объективом (включая любое снижение интенсивности); следовательно, этот синтетический PSF фактически лишен шума и аберраций. Форму PSF можно считать одинаковой везде в пределах желаемого поля зрения (FOV); следовательно, можно избежать множественных измерений.

Шаг 3: 3D-деконволюция

[ редактировать ]

В области Фурье фактическая интенсивность вокселей имеет очень простую связь с фокальным стеком и PSF:

,

где — оператор преобразования Фурье . Однако решить приведенное выше уравнение напрямую может оказаться невозможным, учитывая тот факт, что апертура имеет ограниченный размер, что приводит к ограничению полосы пропускания PSF (т. е. его преобразование Фурье имеет нули). Вместо этого здесь гораздо более практичен итерационный алгоритм, называемый ограниченной итеративной деконволюцией в пространственной области: [6]

  1. ;
  2. .

Эта идея основана на ограниченном градиентном спуске: оценка улучшается итеративно путем расчета разницы между фактическим фокусным стеком и предполагаемый фокальный стек и исправление с текущей разницей ( ограничено, чтобы быть неотрицательным).

Фотография среза Фурье

[ редактировать ]

Формула можно переписать, приняв концепцию теоремы о проекциях и срезах Фурье. [7] Потому что фотограф-оператор можно рассматривать как сдвиг с последующей проекцией, результат должен быть пропорционален расширенному 2D-срезу 4D-преобразования Фурье светового поля. Точнее, перефокусированное изображение можно создать из 4D-спектра Фурье светового поля путем извлечения 2D-среза, применения обратного 2D-преобразования и масштабирования. Перед доказательством сначала введем несколько операторов:

  1. Интегральный оператор проецирования:
  2. Оператор нарезки:
  3. Изменение основы фотографии : Let обозначим оператор замены базиса 4-мерной функции так, что , с .
  4. Оператор преобразования Фурье : Пусть обозначают N-мерный оператор преобразования Фурье.

Используя эти определения, мы можем переписать .

Согласно обобщенной теореме о срезах Фурье, [7] у нас есть

,

и, следовательно, оператор фотографии имеет вид

.

Согласно формуле, мы знаем, что фотография — это обратное двумерное преобразование Фурье расширенного двумерного среза в четырехмерном преобразовании Фурье светового поля.

Дискретная фотография среза Фурье

[ редактировать ]

Если все, что у нас есть, — это образцы светового поля, вместо упомянутой выше теоремы о срезах Фурье для непрерывного сигнала мы принимаем дискретную теорему о срезах Фурье, которая является обобщением дискретного преобразования Радона, для вычисления перефокусированного изображения. [8]

Предположим, что световое поле является периодическим с периодами и определен на гиперкубе . Также предположим, что существуют известные образцы светового поля , где и , соответственно. Тогда мы можем определить используя тригонометрическую интерполяцию с этими точками выборки:

,

где

.

Обратите внимание, что постоянные коэффициенты опущены для простоты.

Чтобы вычислить его перефокусированную фотографию, мы заменим бесконечный интеграл в формуле с суммированием, границы которого равны и . То есть,

.

Тогда, согласно теореме о дискретном срезе Фурье, мы можем представить фотографию с помощью среза Фурье:

Реализация из картины волновой оптики

[ редактировать ]

на основе лучевой оптики Хотя пленоптическая камера продемонстрировала хорошие характеристики в макроскопическом мире, дифракция накладывает ограничения на реконструкцию ЛЧМ, если придерживаться терминологии лучевой оптики. Следовательно, может быть гораздо удобнее перейти на волновую оптику. (В этом разделе в основном представлены работы Broxton et al ., 2013. [2] )

Дискретизация пространства

[ редактировать ]

Заинтересованное поле зрения сегментировано на вокселы, каждый с меткой . Таким образом, все поле зрения можно дискретно представить вектором с размером . Аналогично, вектор представляет собой плоскость датчика, где каждый элемент обозначает один пиксель датчика. При условии некогерентного распространения между различными вокселами передача светового поля из пространства объекта к датчику может быть линейно связана матрица измерений, в которую включена информация PSF:


В сценарии лучевой оптики фокальный стек создается посредством синтетической фокусировки лучей, а затем применяется деконволюция с помощью синтезированного PSF, чтобы уменьшить размытие, вызванное волновой природой света. С другой стороны, в картине волновой оптики матрица измерений – описывающая передачу светового поля – рассчитывается непосредственно на основе распространения волн. В отличие от переходных оптических микроскопов, форма PSF которых инвариантна (например, шаблон Эйри ) относительно положения излучателя, излучатель в каждом вокселе генерирует уникальный рисунок на датчике LFM. Другими словами, каждый столбец в является отчетливым. В следующих разделах будет подробно рассмотрен расчет всей матрицы измерений.

Оптическая импульсная характеристика

[ редактировать ]

Оптический импульсный отклик - напряженность электрического поля в двумерном положении в плоскости датчика, когда изотропный точечный источник единичной амплитуды помещен в некоторую трехмерную позицию в поле зрения. Распространение электрического поля состоит из трех этапов: перемещение от точечного источника к плоскости исходного изображения (т. е. плоскости матрицы микролинз), прохождение через решетку микролинз и распространение на плоскость датчика.

Шаг 1: Распространение через цель

[ редактировать ]

Для объектива с круглой апертурой волновой фронт в плоскости исходного изображения инициируется эмиттером в можно вычислить с помощью скалярной теории Дебая: [9]

,

где – фокусное расстояние объектива; это его увеличение. это длина волны. - половина угла числовой апертуры ( – показатель преломления образца). – функция аподизации микроскопа ( для целей с поправкой по Аббе-синусу). нулевого порядка – функция Бесселя первого рода. и – нормированные радиальная и осевая оптические координаты соответственно:

,

где это волновое число.

Шаг 2. Фокусировка с помощью массива микролинз.

[ редактировать ]

Каждую микролинзу можно рассматривать как фазовую маску:

,

где фокусное расстояние микролинз и вектор, указывающий из центра микролинзы в точку на микролинзе. Стоит отметить, что не равно нулю только тогда, когда находится в эффективной зоне пропускания микролинзы.

Таким образом, функцию пропускания всей матрицы микролинз можно представить как свернуто с помощью функции 2D-гребенки:

,

где — это шаг (скажем, размер) микролинз.

Шаг 3: Распространение сигнала в ближнем поле до датчика

[ редактировать ]

Распространение волнового фронта на расстояние расстояние от плоскости исходного изображения до плоскости датчика можно вычислить с помощью интеграла дифракции Френеля :

,

где — волновой фронт, непосредственно проходящий через собственную плоскость изображения.

Следовательно, всю оптическую импульсную характеристику можно выразить через свертку:

.

Вычисление матрицы измерений

[ редактировать ]

Приобретя оптический импульсный отклик, любой элемент в матрице измерений можно рассчитать как:

,

где это область для пикселя и это объем вокселя . Весовой фильтр добавляется, чтобы соответствовать тому факту, что PSF вносит больший вклад в центр воксела, чем по краям. Интеграл линейной суперпозиции основан на предположении, что флуорофоры в каждом бесконечно малом объеме испытывают некогерентный, стохастический процесс излучения, учитывая их быстрые, случайные колебания.

Решение обратной задачи

[ редактировать ]

Шумный характер измерений

[ редактировать ]

Опять же, из-за ограниченной полосы пропускания, фотонного дробового шума и огромного размера матрицы невозможно напрямую решить обратную задачу: . Вместо этого стохастическая связь между дискретным световым полем и полем обзора больше напоминает:

,

где — фоновая флуоресценция, измеренная перед визуализацией; это шум Пуассона. Поэтому, теперь становится случайным вектором со значениями, распределенными по Possion в единицах фотоэлектронов e .

Оценка максимального правдоподобия

[ редактировать ]

Основан на идее максимизации правдоподобия измеряемого светового поля. с учетом определенного угла обзора и фон , итерационная схема Ричардсона-Люси обеспечивает здесь эффективный алгоритм 3D-деконволюции:

.

где оператор остается диагональными аргументами матрицы и устанавливает ее недиагональные элементы в ноль.

Приложения

[ редактировать ]

Светополевая микроскопия для функциональной нейронной визуализации

[ редактировать ]

Начиная с первоначальной работы в Стэнфордском университете по применению микроскопии светового поля для визуализации кальция у личинок рыбок данио ( Danio Rerio ), [10] в ряде статей теперь применяется микроскопия светового поля для функциональной нейронной визуализации, включая измерение динамической активности нейронов во всем мозге C. elegans . [11] визуализация всего мозга у личинок рыбок данио, [11] [12] визуализация датчиков активности кальция и напряжения в мозге плодовых мух ( дрозофилы ) с частотой до 200 Гц, [13] и быстрая визуализация объемов размером 1 x 1 x 0,75 мм в гиппокампе мышей, перемещающихся в виртуальной среде. [14] Эта область применения представляет собой быстро развивающуюся область на стыке вычислительной оптики и нейробиологии. [15]

См. также

[ редактировать ]
  1. ^ Jump up to: а б с д Левой, Марк; Нг, Рен; Адамс, Эндрю; Футер, Мэтью; Горовиц, Марк (2006). «Светопольная микроскопия». ACM SIGGRAPH 2006 Статьи по SIGGRAPH '06 . стр. 924–934. дои : 10.1145/1179352.1141976 . ISBN  978-1595933645 . S2CID   867959 .
  2. ^ Jump up to: а б Брокстон, Майкл; Гросеник, Логан; Ян, Сэмюэл; Коэн, Ной; Андалман, Аарон; Дейсерот, Карл; Левой, Марк (21 октября 2013 г.). «Теория волновой оптики и трехмерная деконволюция для микроскопа светового поля» . Оптика Экспресс . 21 (21): 25418–25439. Бибкод : 2013OExpr..2125418B . дои : 10.1364/OE.21.025418 . ISSN   1094-4087 . ПМЦ   3867103 . ПМИД   24150383 .
  3. ^ Левой, Марк; Ханрахан, Пэт (1996). «Рендеринг светового поля». Материалы 23-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . СИГГРАФ '96. стр. 31–42. дои : 10.1145/237170.237199 . ISBN  978-0897917469 . S2CID   1363510 .
  4. ^ Jump up to: а б Нг, Рен (2005). «Фурье-фотография». Доклады ACM SIGGRAPH 2005 . СИГРАФ '05. стр. 735–744. CiteSeerX   10.1.1.461.4454 . дои : 10.1145/1186822.1073256 . ISBN  9781450378253 . S2CID   1806641 .
  5. ^ Вайш, В.; Гарг, Г.; Талвала, Э.; Антунес, Э.; Уилберн, Б.; Горовиц, М.; Левой, М. (июнь 2005 г.). «Фокусировка с синтетической апертурой с использованием факторизации сдвиговой деформации преобразования просмотра». 2005 Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов (CVPR'05) — Семинары . Том. 3. п. 129. дои : 10.1109/CVPR.2005.537 . ISBN  978-0-7695-2372-9 . S2CID   12143675 .
  6. ^ Сведлоу, Джейсон Р.; Седат, Джон В.; Агард, Дэвид А. (1996). Янссон, Питер А. (ред.). Деконволюция изображений и спектров (2-е изд.). Орландо, Флорида, США: Academic Press, Inc., стр. 284–309. ISBN  978-0123802224 .
  7. ^ Jump up to: а б Нг, Р. (2005). Фотография среза Фурье. В статьях ACM SIGGRAPH 2005 г. (стр. 735–744).
  8. ^ Нава, Ф.П., Маричал-Эрнандес, Дж.Г., и Родригес-Рамос, Дж.М. (2008, август). Дискретное преобразование фокального стека. В 2008 г. 16-я Европейская конференция по обработке сигналов (стр. 1-5). IEEE.
  9. ^ Гу, Мин (2000). Передовая теория оптического изображения . Серия Спрингера по оптическим наукам. Том. 75. Bibcode : 2000aoit.conf.....G . дои : 10.1007/978-3-540-48471-4 . ISBN  978-3-662-14272-1 .
  10. ^ Гросеник, Логан; Андерсон, Тодд; Смит, Стивен (28 июня 2009 г.). «Выбор упругого источника для визуализации нейрональных ансамблей in vivo». 2009 Международный симпозиум IEEE по биомедицинской визуализации: от нано к макро . стр. 1263–1266. дои : 10.1109/ISBI.2009.5193292 . ISBN  978-1-4244-3931-7 . S2CID   1914757 .
  11. ^ Jump up to: а б Преведель, Роберт; Юн, Ён Гю; Хоффманн, Максимилиан; Пак, Никита; Вецштейн, Гордон; Като, Саул; Шредель, Тина; Раскар, Рамеш; Циммер, Мануэль (18 мая 2014 г.). «Одновременное 3D-изображение активности нейронов всего животного с использованием микроскопии светового поля» . Природные методы . 11 (7): 727–730. дои : 10.1109/ISBI.2009.5193292 . ПМК   4100252 . ПМИД   24836920 .
  12. ^ Конг, Лин; Ван, Цзегуань; Чай, Юмин; Ханг, Вэй; Шан, Чуньфэн; Ян, Вэньбинь; Бай, Лу; Ду, Цзюлин; Ван, Кай (20 сентября 2017 г.). «Быстрая визуализация нейронной активности всего мозга свободно ведущих себя личинок рыбки данио (Danio rerio)» . электронная жизнь . 6 . дои : 10.7554/eLife.28158 . ПМК   5644961 . ПМИД   28930070 .
  13. ^ Эймон, Софи; Кацуки, Такео; Гросеник, Логан; Брокстон, Майкл; Дейсерот, Карл; Сейновский, Терренс; Гринспен, Ральф (2 сентября 2017 г.). «Быстрая визуализация почти всего мозга взрослой дрозофилы во время реакции на стимулы и поведение» . ПЛОС Биология . 17 (2): e2006732. bioRxiv   10.1101/033803 . дои : 10.1371/journal.pbio.2006732 . ПМК   6395010 . ПМИД   30768592 .
  14. ^ Гросеник, Логан; Брокстон, Майкл; Ким, Кристина; Листон, Конор; Пул, Бен; Ян, Сэмюэл; Андалман, Аарон; Шарфф, Эдвард; Коэн, Ной; Йижар, Офер; Рамакришнан, Чару; Гангули, Сурья; Суппес, Патрик; Левой, Марк; Дейсерот, Карл (01 мая 2017 г.). «Идентификация динамики клеточной активности в больших объемах тканей в мозге млекопитающих» . bioRxiv   10.1101/132688 . дои : 10.1101/132688 . {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
  15. ^ «Светопольная микроскопия в нейровизуализации» .
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 508dcd88d47fc76f73d5e24949d450ac__1701404100
URL1:https://arc.ask3.ru/arc/aa/50/ac/508dcd88d47fc76f73d5e24949d450ac.html
Заголовок, (Title) документа по адресу, URL1:
Light field microscopy - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)