Микроскопия светового поля
Эта статья нуждается в дополнительных цитатах для проверки . ( декабрь 2017 г. ) |
светового поля Микроскопия ( LFM ) — это метод трехмерной (3D) микроскопической визуализации без сканирования, основанный на теории светового поля . Этот метод позволяет получать изображения больших объемов за доли секунды (~ 10 Гц) (от [~ 0,1 до 1 мм]). 3 ) с пространственным разрешением ~1 мкм в условиях слабого рассеяния и полупрозрачности, что никогда не достигалось другими методами. Как и при традиционном рендеринге светового поля , ЛСМ-изображение состоит из двух этапов: захват и обработка светового поля. В большинстве установок микролинз для захвата светового поля используется массив . Что касается обработки, то она может быть основана на двух видах представления распространения света: лучевой оптики картине [1] и картина волновой оптики . [2] Лаборатория компьютерной графики Стэнфордского университета опубликовала свой первый прототип LFM в 2006 году. [1] и с тех пор работает на переднем крае.
Генерация светового поля
[ редактировать ]Световое поле — это совокупность всех лучей, проходящих через некоторое свободное пространство, где каждый луч можно параметризовать четырьмя переменными. [3] Во многих случаях две двумерные координаты, обозначаемые как & – для параметризации применяются две параллельные плоскости, с которыми пересекаются лучи. Соответственно, интенсивность 4D светового поля можно описать как скалярную функцию: , где это расстояние между двумя плоскостями.
LFM может быть построен на основе традиционной установки широкопольного флуоресцентного микроскопа и стандартной камеры CCD или sCMOS . [1] Световое поле создается путем размещения матрицы микролинз в плоскости промежуточного изображения объектива ( или задней фокальной плоскости дополнительной релейной линзы) и дополнительно захватывается путем размещения датчика камеры в задней фокальной плоскости микролинз. В результате координаты микролинз сопряжены с находящимися в плоскости предмета (если добавляются дополнительные линзы-реле, то в передней фокальной плоскости объектива) ; координаты пикселей за каждой микролинзой сопряжены с теми, что находятся на объективном плане . Для единообразия и удобства будем называть плоскость исходная плоскость фокусировки в этой статье. Соответственно, — фокусное расстояние микролинз (т. е. расстояние между плоскостью матрицы микролинз и плоскостью датчика).
Кроме того, апертуры и фокусное расстояние каждой линзы, а также размеры матрицы и матрицы микролинз должны быть правильно выбраны, чтобы гарантировать отсутствие перекрытия и пустых областей между соседними фрагментами изображения за соответствующими микролинзами.
Реализация из изображения лучевой оптики
[ редактировать ]В этом разделе в основном представлена работа Левоя и др ., 2006. [1]
Перспективные виды с разных ракурсов
[ редактировать ]Благодаря сопряженным отношениям, упомянутым выше, любой определенный пиксель за определенной микролинзой соответствует лучу, проходящему через точку в направлении . Таким образом, извлекая пиксель из всех фрагментов изображений и их сшивки получается перспективный вид под определенным углом: . В этом сценарии пространственное разрешение определяется количеством микролинз; Угловое разрешение определяется количеством пикселей за каждой микролинзой.
Томографические изображения на основе синтетической рефокусировки
[ редактировать ]Шаг 1. Цифровая перефокусировка
[ редактировать ]Синтетическая фокусировка использует захваченное световое поле для расчета фокусировки фотографии в любом произвольном участке. Просто суммируя все пиксели в каждом фрагменте изображения за микролинзой (что эквивалентно сбору всего излучения, исходящего под разными углами и падающего на одно и то же положение), изображение фокусируется точно на плоскости, которая сопрягается с плоскостью массива микролинз:
,
где - угол между лучом и нормалью плоскости датчика, а если начало системы координат каждого фрагмента изображения расположено на главной оптической оси соответствующей микролинзы. Теперь можно определить новую функцию, поглощающую эффективный коэффициент проекции. в интенсивность светового поля и получим фактическую коллекцию яркости каждого пикселя: .
Чтобы сфокусироваться на какой-либо другой плоскости, кроме передней фокальной плоскости объектива, скажем, на плоскости, сопряженная плоскость которой от плоскости датчика, сопряженную плоскость можно переместить из к и перепараметризовать его световое поле обратно в исходное в :
.
Таким образом, перефокусированную фотографию можно рассчитать по следующей формуле:
.
Следовательно, создается фокальный стек, воспроизводящий мгновенное трехмерное изображение пространства объекта. Кроме того, синтетически возможны также наклонные или даже изогнутые фокальные плоскости. [5] Кроме того, любое реконструированное 2D-изображение, сфокусированное на произвольной глубине, соответствует 2D-срезу 4D-светового поля в области Фурье , где сложность алгоритма может быть уменьшена с к . [4]
Шаг 2: Измерение функции рассеяния точки
[ редактировать ]Однако из-за дифракции и дефокусировки фокальный стек отличается от фактического распределения интенсивности вокселей , что действительно желательно. Вместо, представляет собой сверток и функция распространения точки (PSF):
Таким образом, необходимо измерить трехмерную форму PSF, чтобы вычесть его эффект и получить чистую интенсивность вокселей. Это измерение можно легко выполнить, поместив флуоресцентную бусину в центр исходной плоскости фокусировки и записав ее световое поле, на основе чего трехмерная форма PSF определяется путем синтетической фокусировки на различной глубине. Учитывая, что PSF получается с той же настройкой LFM и процедурой цифровой перефокусировки, что и фокальный стек, это измерение правильно отражает угловой диапазон лучей, захватываемых объективом (включая любое снижение интенсивности); следовательно, этот синтетический PSF фактически лишен шума и аберраций. Форму PSF можно считать одинаковой везде в пределах желаемого поля зрения (FOV); следовательно, можно избежать множественных измерений.
Шаг 3: 3D-деконволюция
[ редактировать ]В области Фурье фактическая интенсивность вокселей имеет очень простую связь с фокальным стеком и PSF:
,
где — оператор преобразования Фурье . Однако решить приведенное выше уравнение напрямую может оказаться невозможным, учитывая тот факт, что апертура имеет ограниченный размер, что приводит к ограничению полосы пропускания PSF (т. е. его преобразование Фурье имеет нули). Вместо этого здесь гораздо более практичен итерационный алгоритм, называемый ограниченной итеративной деконволюцией в пространственной области: [6]
- ;
- .
Эта идея основана на ограниченном градиентном спуске: оценка улучшается итеративно путем расчета разницы между фактическим фокусным стеком и предполагаемый фокальный стек и исправление с текущей разницей ( ограничено, чтобы быть неотрицательным).
Фотография среза Фурье
[ редактировать ]Формула можно переписать, приняв концепцию теоремы о проекциях и срезах Фурье. [7] Потому что фотограф-оператор можно рассматривать как сдвиг с последующей проекцией, результат должен быть пропорционален расширенному 2D-срезу 4D-преобразования Фурье светового поля. Точнее, перефокусированное изображение можно создать из 4D-спектра Фурье светового поля путем извлечения 2D-среза, применения обратного 2D-преобразования и масштабирования. Перед доказательством сначала введем несколько операторов:
- Интегральный оператор проецирования:
- Оператор нарезки:
- Изменение основы фотографии : Let обозначим оператор замены базиса 4-мерной функции так, что , с .
- Оператор преобразования Фурье : Пусть обозначают N-мерный оператор преобразования Фурье.
Используя эти определения, мы можем переписать .
Согласно обобщенной теореме о срезах Фурье, [7] у нас есть
,
и, следовательно, оператор фотографии имеет вид
.
Согласно формуле, мы знаем, что фотография — это обратное двумерное преобразование Фурье расширенного двумерного среза в четырехмерном преобразовании Фурье светового поля.
Дискретная фотография среза Фурье
[ редактировать ]Если все, что у нас есть, — это образцы светового поля, вместо упомянутой выше теоремы о срезах Фурье для непрерывного сигнала мы принимаем дискретную теорему о срезах Фурье, которая является обобщением дискретного преобразования Радона, для вычисления перефокусированного изображения. [8]
Предположим, что световое поле является периодическим с периодами и определен на гиперкубе . Также предположим, что существуют известные образцы светового поля , где и , соответственно. Тогда мы можем определить используя тригонометрическую интерполяцию с этими точками выборки:
,
где
.
Обратите внимание, что постоянные коэффициенты опущены для простоты.
Чтобы вычислить его перефокусированную фотографию, мы заменим бесконечный интеграл в формуле с суммированием, границы которого равны и . То есть,
.
Тогда, согласно теореме о дискретном срезе Фурье, мы можем представить фотографию с помощью среза Фурье:
Реализация из картины волновой оптики
[ редактировать ]на основе лучевой оптики Хотя пленоптическая камера продемонстрировала хорошие характеристики в макроскопическом мире, дифракция накладывает ограничения на реконструкцию ЛЧМ, если придерживаться терминологии лучевой оптики. Следовательно, может быть гораздо удобнее перейти на волновую оптику. (В этом разделе в основном представлены работы Broxton et al ., 2013. [2] )
Дискретизация пространства
[ редактировать ]Заинтересованное поле зрения сегментировано на вокселы, каждый с меткой . Таким образом, все поле зрения можно дискретно представить вектором с размером . Аналогично, вектор представляет собой плоскость датчика, где каждый элемент обозначает один пиксель датчика. При условии некогерентного распространения между различными вокселами передача светового поля из пространства объекта к датчику может быть линейно связана матрица измерений, в которую включена информация PSF:
В сценарии лучевой оптики фокальный стек создается посредством синтетической фокусировки лучей, а затем применяется деконволюция с помощью синтезированного PSF, чтобы уменьшить размытие, вызванное волновой природой света. С другой стороны, в картине волновой оптики матрица измерений – описывающая передачу светового поля – рассчитывается непосредственно на основе распространения волн. В отличие от переходных оптических микроскопов, форма PSF которых инвариантна (например, шаблон Эйри ) относительно положения излучателя, излучатель в каждом вокселе генерирует уникальный рисунок на датчике LFM. Другими словами, каждый столбец в является отчетливым. В следующих разделах будет подробно рассмотрен расчет всей матрицы измерений.
Оптическая импульсная характеристика
[ редактировать ]Оптический импульсный отклик - напряженность электрического поля в двумерном положении в плоскости датчика, когда изотропный точечный источник единичной амплитуды помещен в некоторую трехмерную позицию в поле зрения. Распространение электрического поля состоит из трех этапов: перемещение от точечного источника к плоскости исходного изображения (т. е. плоскости матрицы микролинз), прохождение через решетку микролинз и распространение на плоскость датчика.
Шаг 1: Распространение через цель
[ редактировать ]Для объектива с круглой апертурой волновой фронт в плоскости исходного изображения инициируется эмиттером в можно вычислить с помощью скалярной теории Дебая: [9]
,
где – фокусное расстояние объектива; это его увеличение. это длина волны. - половина угла числовой апертуры ( – показатель преломления образца). – функция аподизации микроскопа ( для целей с поправкой по Аббе-синусу). нулевого порядка – функция Бесселя первого рода. и – нормированные радиальная и осевая оптические координаты соответственно:
,
где это волновое число.
Шаг 2. Фокусировка с помощью массива микролинз.
[ редактировать ]Каждую микролинзу можно рассматривать как фазовую маску:
,
где фокусное расстояние микролинз и вектор, указывающий из центра микролинзы в точку на микролинзе. Стоит отметить, что не равно нулю только тогда, когда находится в эффективной зоне пропускания микролинзы.
Таким образом, функцию пропускания всей матрицы микролинз можно представить как свернуто с помощью функции 2D-гребенки:
,
где — это шаг (скажем, размер) микролинз.
Шаг 3: Распространение сигнала в ближнем поле до датчика
[ редактировать ]Распространение волнового фронта на расстояние расстояние от плоскости исходного изображения до плоскости датчика можно вычислить с помощью интеграла дифракции Френеля :
,
где — волновой фронт, непосредственно проходящий через собственную плоскость изображения.
Следовательно, всю оптическую импульсную характеристику можно выразить через свертку:
.
Вычисление матрицы измерений
[ редактировать ]Приобретя оптический импульсный отклик, любой элемент в матрице измерений можно рассчитать как:
,
где это область для пикселя и это объем вокселя . Весовой фильтр добавляется, чтобы соответствовать тому факту, что PSF вносит больший вклад в центр воксела, чем по краям. Интеграл линейной суперпозиции основан на предположении, что флуорофоры в каждом бесконечно малом объеме испытывают некогерентный, стохастический процесс излучения, учитывая их быстрые, случайные колебания.
Решение обратной задачи
[ редактировать ]Шумный характер измерений
[ редактировать ]Опять же, из-за ограниченной полосы пропускания, фотонного дробового шума и огромного размера матрицы невозможно напрямую решить обратную задачу: . Вместо этого стохастическая связь между дискретным световым полем и полем обзора больше напоминает:
,
где — фоновая флуоресценция, измеренная перед визуализацией; это шум Пуассона. Поэтому, теперь становится случайным вектором со значениями, распределенными по Possion в единицах фотоэлектронов e − .
Оценка максимального правдоподобия
[ редактировать ]Основан на идее максимизации правдоподобия измеряемого светового поля. с учетом определенного угла обзора и фон , итерационная схема Ричардсона-Люси обеспечивает здесь эффективный алгоритм 3D-деконволюции:
.
где оператор остается диагональными аргументами матрицы и устанавливает ее недиагональные элементы в ноль.
Приложения
[ редактировать ]Светополевая микроскопия для функциональной нейронной визуализации
[ редактировать ]Начиная с первоначальной работы в Стэнфордском университете по применению микроскопии светового поля для визуализации кальция у личинок рыбок данио ( Danio Rerio ), [10] в ряде статей теперь применяется микроскопия светового поля для функциональной нейронной визуализации, включая измерение динамической активности нейронов во всем мозге C. elegans . [11] визуализация всего мозга у личинок рыбок данио, [11] [12] визуализация датчиков активности кальция и напряжения в мозге плодовых мух ( дрозофилы ) с частотой до 200 Гц, [13] и быстрая визуализация объемов размером 1 x 1 x 0,75 мм в гиппокампе мышей, перемещающихся в виртуальной среде. [14] Эта область применения представляет собой быстро развивающуюся область на стыке вычислительной оптики и нейробиологии. [15]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: а б с д Левой, Марк; Нг, Рен; Адамс, Эндрю; Футер, Мэтью; Горовиц, Марк (2006). «Светопольная микроскопия». ACM SIGGRAPH 2006 Статьи по SIGGRAPH '06 . стр. 924–934. дои : 10.1145/1179352.1141976 . ISBN 978-1595933645 . S2CID 867959 .
- ^ Jump up to: а б Брокстон, Майкл; Гросеник, Логан; Ян, Сэмюэл; Коэн, Ной; Андалман, Аарон; Дейсерот, Карл; Левой, Марк (21 октября 2013 г.). «Теория волновой оптики и трехмерная деконволюция для микроскопа светового поля» . Оптика Экспресс . 21 (21): 25418–25439. Бибкод : 2013OExpr..2125418B . дои : 10.1364/OE.21.025418 . ISSN 1094-4087 . ПМЦ 3867103 . ПМИД 24150383 .
- ^ Левой, Марк; Ханрахан, Пэт (1996). «Рендеринг светового поля». Материалы 23-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . СИГГРАФ '96. стр. 31–42. дои : 10.1145/237170.237199 . ISBN 978-0897917469 . S2CID 1363510 .
- ^ Jump up to: а б Нг, Рен (2005). «Фурье-фотография». Доклады ACM SIGGRAPH 2005 . СИГРАФ '05. стр. 735–744. CiteSeerX 10.1.1.461.4454 . дои : 10.1145/1186822.1073256 . ISBN 9781450378253 . S2CID 1806641 .
- ^ Вайш, В.; Гарг, Г.; Талвала, Э.; Антунес, Э.; Уилберн, Б.; Горовиц, М.; Левой, М. (июнь 2005 г.). «Фокусировка с синтетической апертурой с использованием факторизации сдвиговой деформации преобразования просмотра». 2005 Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов (CVPR'05) — Семинары . Том. 3. п. 129. дои : 10.1109/CVPR.2005.537 . ISBN 978-0-7695-2372-9 . S2CID 12143675 .
- ^ Сведлоу, Джейсон Р.; Седат, Джон В.; Агард, Дэвид А. (1996). Янссон, Питер А. (ред.). Деконволюция изображений и спектров (2-е изд.). Орландо, Флорида, США: Academic Press, Inc., стр. 284–309. ISBN 978-0123802224 .
- ^ Jump up to: а б Нг, Р. (2005). Фотография среза Фурье. В статьях ACM SIGGRAPH 2005 г. (стр. 735–744).
- ^ Гу, Мин (2000). Передовая теория оптического изображения . Серия Спрингера по оптическим наукам. Том. 75. Bibcode : 2000aoit.conf.....G . дои : 10.1007/978-3-540-48471-4 . ISBN 978-3-662-14272-1 .
- ^ Гросеник, Логан; Андерсон, Тодд; Смит, Стивен (28 июня 2009 г.). «Выбор упругого источника для визуализации нейрональных ансамблей in vivo». 2009 Международный симпозиум IEEE по биомедицинской визуализации: от нано к макро . стр. 1263–1266. дои : 10.1109/ISBI.2009.5193292 . ISBN 978-1-4244-3931-7 . S2CID 1914757 .
- ^ Jump up to: а б Преведель, Роберт; Юн, Ён Гю; Хоффманн, Максимилиан; Пак, Никита; Вецштейн, Гордон; Като, Саул; Шредель, Тина; Раскар, Рамеш; Циммер, Мануэль (18 мая 2014 г.). «Одновременное 3D-изображение активности нейронов всего животного с использованием микроскопии светового поля» . Природные методы . 11 (7): 727–730. дои : 10.1109/ISBI.2009.5193292 . ПМК 4100252 . ПМИД 24836920 .
- ^ Конг, Лин; Ван, Цзегуань; Чай, Юмин; Ханг, Вэй; Шан, Чуньфэн; Ян, Вэньбинь; Бай, Лу; Ду, Цзюлин; Ван, Кай (20 сентября 2017 г.). «Быстрая визуализация нейронной активности всего мозга свободно ведущих себя личинок рыбки данио (Danio rerio)» . электронная жизнь . 6 . дои : 10.7554/eLife.28158 . ПМК 5644961 . ПМИД 28930070 .
- ^ Эймон, Софи; Кацуки, Такео; Гросеник, Логан; Брокстон, Майкл; Дейсерот, Карл; Сейновский, Терренс; Гринспен, Ральф (2 сентября 2017 г.). «Быстрая визуализация почти всего мозга взрослой дрозофилы во время реакции на стимулы и поведение» . ПЛОС Биология . 17 (2): e2006732. bioRxiv 10.1101/033803 . дои : 10.1371/journal.pbio.2006732 . ПМК 6395010 . ПМИД 30768592 .
- ^ Гросеник, Логан; Брокстон, Майкл; Ким, Кристина; Листон, Конор; Пул, Бен; Ян, Сэмюэл; Андалман, Аарон; Шарфф, Эдвард; Коэн, Ной; Йижар, Офер; Рамакришнан, Чару; Гангули, Сурья; Суппес, Патрик; Левой, Марк; Дейсерот, Карл (01 мая 2017 г.). «Идентификация динамики клеточной активности в больших объемах тканей в мозге млекопитающих» . bioRxiv 10.1101/132688 . дои : 10.1101/132688 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ «Светопольная микроскопия в нейровизуализации» .