Последовательная усиленная микроскопия с временным кодированием
 | Эта статья содержит контент, написанный как реклама . ( декабрь 2016 г. ) |
Микроскопия с растяжением во времени , также известная как последовательная усиленная визуализация/микроскопия с временным кодированием или растянутая усиленная визуализация/микроскопия с временным кодированием ( STEAM ), представляет собой быстрый метод оптической визуализации в реальном времени, который обеспечивает частоту кадров в МГц, выдержку ~ 100 пс, и оптическое усиление изображения ~30 дБ (× 1000). Основанная на технологии Photonic Time Stretch, STEAM удерживает мировые рекорды по скорости затвора и частоте кадров при непрерывной визуализации в реальном времени. STEAM использует Photonic Time Stretch с внутренним рамановским усилением для реализации оптического усиления изображения, чтобы обойти фундаментальный компромисс между чувствительностью и скоростью, который затрагивает практически все оптические системы формирования изображений и датчиков. В этом методе используется однопиксельный фотодетектор , что устраняет необходимость в детекторной матрице и ограничениях по времени считывания. Чтобы избежать этой проблемы и использовать оптическое усиление изображения для повышения чувствительности при высокой скорости получения изображений, выдержка STEAM как минимум в 1000 раз быстрее, чем у современных устройств. ПЗС-матрица [1] и КМОП [2] камеры. Ее частота кадров в 1000 раз выше, чем у самых быстрых камер CCD , и в 10–100 раз быстрее, чем у самых быстрых камер CMOS .
История
[ редактировать ]Микроскопия растяжения во времени и ее применение в микрофлюидике для классификации биологических клеток были изобретены в Калифорнийском университете в Лос-Анджелесе. [3] [4] [5] [6] [7] [8] [9] [10] Он сочетает в себе концепцию спектрально-кодированного освещения с фотонным растяжением времени, сверхбыстрой технологией сбора данных в реальном времени, разработанной ранее в той же лаборатории для создания фемтосекундного однократного дигитайзера в реальном времени. [11] и одиночный импульс стимулировал рамановский спектрометр. [12] Первая демонстрация была одномерной версией. [3] а позже и двумерная версия. [4] Позже был создан виброметр с быстрой визуализацией путем расширения системы до интерферометрической конфигурации. [13] Затем технология была расширена до количественной фазовой визуализации с растяжением во времени ( TS-QPI ) для классификации клеток крови без меток и в сочетании с искусственным интеллектом (ИИ) для классификации раковых клеток в крови с точностью более 96%. [14] Система измерила 16 биофизических параметров клеток одновременно за один раз и выполнила гиперпространственную классификацию с использованием глубокой нейронной сети (DNN). Результаты сравнивались с другими алгоритмами классификации машинного обучения, такими как логистическая регрессия и наивный Байес, с высочайшей точностью, полученной при глубоком обучении. Позже это было расширено до «глубокой цитометрии». [15] в котором вычислительно интенсивные задачи обработки изображений и извлечения признаков перед глубоким обучением были исключены за счет прямой подачи сканированных строк с растяжением во времени, каждый из которых представляет собой лазерный импульс, в глубокую сверточную нейронную сеть. Эта прямая классификация необработанных данных, растянутых по времени, сократила время вывода на порядки до 700 микросекунд на процессоре с ускорением на графическом процессоре. При скорости потока 1 м/с клетки перемещаются менее чем на миллиметр. Следовательно, этого сверхкороткого времени вывода достаточно для сортировки клеток.
Фон
[ редактировать ]Технология быстрой оптической визуализации в реальном времени незаменима для изучения динамических явлений, таких как ударные волны , лазерный синтез , химическая динамика в живых клетках, нейронная активность, лазерная хирургия , микрофлюидика и МЭМС . Обычные методы обычных ПЗС- и КМОП- камер недостаточны для съемки быстрых динамических процессов с высокой чувствительностью и скоростью; существуют технологические ограничения — считывание данных с массива датчиков требует времени , и существует фундаментальный компромисс между чувствительностью и скоростью: при высокой частоте кадров в каждом кадре собирается меньше фотонов, и эта проблема затрагивает почти все оптические изображения. системы.
Стрик -камера , используемая для диагностики при лазерном синтезе, плазменном излучении и горении, работает только в пакетном режиме (предоставляя всего несколько кадров) и требует синхронизации камеры с событием, которое необходимо зафиксировать. Поэтому он не способен фиксировать случайные или кратковременные события в биологических системах. С другой стороны, стробоскопы играют дополняющую роль: они могут фиксировать динамику быстрых событий, но только если событие повторяется, например вращение, вибрация и колебание. Они не способны фиксировать неповторяющиеся случайные события, которые происходят только один раз или происходят не через регулярные промежутки времени.
Принцип работы
[ редактировать ]Основной принцип включает в себя два этапа, каждый из которых выполняется оптически. На первом этапе спектр широкополосного оптического импульса преобразуется пространственным диспергатором в радугу, освещающую цель. Здесь радужный импульс состоит из множества субимпульсов разного цвета (частоты), что указывает на то, что разные частотные составляющие (цвета) радужного импульса падают на разные пространственные координаты объекта. Поэтому пространственная информация (изображение) объекта кодируется в спектр результирующего отраженного или прошедшего радужного импульса. Отраженный или переданный импульс радуги, закодированный в изображении, возвращается в тот же пространственный рассеиватель или поступает в другой пространственный рассеиватель, чтобы объединить цвета радуги обратно в один импульс. Здесь выдержка или время экспозиции STEAM соответствует временной ширине радужного импульса. На втором этапе спектр преобразуется в последовательный временной сигнал, растянутый во времени с помощью дисперсионного преобразования Фурье. замедлить его так, чтобы его можно было оцифровать в режиме реального времени. Растяжение времени происходит внутри дисперсионного волокна, которое накачивается для создания внутреннего рамановского усиления. Здесь изображение оптически усиливается за счет вынужденного комбинационного рассеяния света для преодоления уровня теплового шума детектора. Усиленный поток последовательных изображений, растянутых по времени, детектируется однопиксельным фотодетектором, и изображение восстанавливается в цифровом виде. Последующие импульсы захватывают повторяющиеся кадры, поэтому частота повторения лазерных импульсов соответствует частоте кадров STEAM. Второй известен как аналого-цифровой преобразователь с растяжением по времени , иначе известный как область записи с растяжением по времени (TiSER).
Усиленное дисперсионное преобразование Фурье
[ редактировать ]Одновременное растяжение и усиление также известно как усиленное дисперсионное преобразование Фурье с растяжением по времени (TS-DFT). [16] [17] Технология усиленного растяжения во времени была разработана ранее для демонстрации аналого-цифрового преобразования с фемтосекундной частотой дискретизации в реальном времени. [11] и продемонстрировать стимулированную рамановскую спектроскопию в одном кадре со скоростью миллионов кадров в секунду. [12] Усиленное временное растяжение — это процесс, в котором спектр оптического импульса преобразуется посредством большой дисперсии групповой скорости в замедленную временную форму волны и одновременно усиливается процессом вынужденного комбинационного рассеяния света . Следовательно, оптический спектр может быть захвачен однопиксельным фотодетектором и оцифрован в режиме реального времени. Импульсы повторяются для повторяющихся измерений оптического спектра. Усиленный DFT с растяжением во времени состоит из дисперсионного волокна, накачиваемого лазерами, и мультиплексоров с разделением по длине волны, которые соединяют лазеры с дисперсионным волокном и из него. Усиленное дисперсионное преобразование Фурье изначально было разработано для создания сверхширокополосных аналого-цифровых преобразователей , а также использовалось для высокопроизводительной спектроскопии в реальном времени . Разрешение имидж-сканера STEAM в основном определяется дифракционным пределом, частотой дискретизации внутреннего дигитайзера и пространственными диспергаторами. [18]
Количественная фазовая визуализация с растяжением во времени
[ редактировать ]
Количественная фазовая визуализация с растяжением во времени ( TS-QPI ) — это метод визуализации, основанный на технологии растяжения во времени для одновременного измерения пространственных профилей фазы и интенсивности. [19] [20] [21] [22] Разработанный в Калифорнийском университете в Лос-Анджелесе, он привел к созданию микроскопа с искусственным интеллектом, растянутого во времени. [19]
Растянутая по времени визуализация
[ редактировать ]При визуализации с растяжением по времени пространственная информация об объекте кодируется в спектре лазерных импульсов длительностью в субнаносекунды . Каждый импульс, представляющий один кадр камеры , затем растягивается во времени, чтобы его можно было оцифровать в реальном времени с помощью электронного аналого-цифрового преобразователя (АЦП). Сверхбыстрое импульсное освещение останавливает движение высокоскоростных клеток или частиц в потоке, обеспечивая получение изображений без размытия. Чувствительность обнаружения усложняется из-за малого количества фотонов, собираемых за сверхкороткое время затвора (длительность оптического импульса), и падения пиковой оптической мощности в результате растяжения времени. [23] Эти проблемы решаются при построении изображений с растяжением во времени путем внедрения рамановского усилителя в дисперсионное устройство с низким коэффициентом шума, который выполняет растяжение во времени. Более того, преобразование деформированного растяжения можно использовать при построении изображений с растяжением во времени для достижения оптического сжатия изображения и неоднородного пространственного разрешения по полю зрения.
В когерентной версии камеры растяжения во времени изображение сочетается со спектральной интерферометрией для измерения количественной фазы. [24] [25] и изображения интенсивности в реальном времени и с высокой пропускной способностью. Интегрированная с микрофлюидным каналом система когерентной визуализации с растяжением во времени измеряет как количественный оптический фазовый сдвиг, так и потерю отдельных клеток в качестве высокоскоростного проточного цитометра для визуализации, фиксируя миллионы линейных изображений в секунду со скоростью потока до нескольких метров в секунду. , достигая пропускной способности до сотен тысяч ячеек в секунду. Количественную фазовую визуализацию с растяжением по времени можно сочетать с машинным обучением для достижения очень точной классификации клеток без меток.
Приложения
[ редактировать ]Этот метод полезен для широкого спектра научных, промышленных и биомедицинских приложений, требующих высоких выдержек и частоты кадров. Одномерную версию можно использовать для измерения смещения. [ нужна ссылка ] считывание штрих-кода, [ нужна ссылка ] и скрининг крови; [26] двумерная версия для наблюдения, диагностики и оценки ударных волн, микрожидкостного потока в реальном времени, [27] нейронная активность, МЭМС, [28] и динамика лазерной абляции. [ нужна ссылка ] Трехмерная версия полезна для определения дальности, [ нужна ссылка ] размерная метрология, [ нужна ссылка ] поверхностная виброметрия и велосиметрия. [29]
Сжатие изображения в оптической области
[ редактировать ]
| Эта статья содержит контент, написанный как реклама . ( Март 2018 г. ) |
Большие данные не только открывают возможности, но и создают проблемы для биомедицинских и научных инструментов, поскольку устройства сбора и обработки перегружены потоком данных. Необходимость сжатия огромных объемов данных в режиме реального времени подогрела интерес к неоднородным растягивающим преобразованиям — операциям, которые изменяют форму данных в соответствии с их разреженностью.
Недавно исследователи из Калифорнийского университета в Лос-Анджелесе продемонстрировали сжатие изображений, выполняемое в оптической области и в реальном времени. [30] Используя нелинейную дисперсию групповой задержки и визуализацию с растяжением по времени, они смогли оптически деформировать изображение так, что богатые информацией части отбираются с более высокой плотностью выборки, чем разреженные области. Это было достигнуто за счет реструктуризации изображения перед оптико-электрическим преобразованием с последующим использованием единого электронного пробоотборника. Реконструкция неравномерно растянутого изображения показывает, что разрешение выше там, где информации много, и ниже там, где информации гораздо меньше и она относительно не важна. Богатая информацией область в центре хорошо сохраняется при сохранении тех же частот дискретизации по сравнению с однородным случаем без понижающей дискретизации. Сжатие изображения было продемонстрировано со скоростью 36 миллионов кадров в секунду в реальном времени.
См. также
[ редактировать ]- Устройство с зарядовой связью
- Спектроскопия с временным разрешением
- Дисперсионное преобразование Фурье с растяжением во времени
- Аналого-цифровой преобразователь с растяжением времени
Ссылки
[ редактировать ]- ^ Дж. Р. Джейнесик (2001). Научные устройства с зарядовой связью . СПАЙ Пресс. ISBN 9780819436986 .
- ^ Х. Циммерманн (2000). Интегрированная кремниевая оптоэлектроника . Спрингер. ISBN 978-3540666622 .
- ^ Jump up to: а б К. Года; К.К. Циа и Б. Джалали (2008). «Усиленное дисперсионное преобразование Фурье для сверхбыстрого измерения смещения и считывания штрих-кодов». Письма по прикладной физике . 93 (13): 131109. arXiv : 0807.4967 . Бибкод : 2008АпФЛ..93м1109Г . дои : 10.1063/1.2992064 . S2CID 34751462 .
- ^ Jump up to: а б К. Года; К.К. Циа и Б. Джалали (2009). «Последовательное усиленное изображение с временным кодированием для наблюдения в реальном времени быстрых динамических явлений». Природа . 458 (7242): 1145–9. Бибкод : 2009Natur.458.1145G . дои : 10.1038/nature07980 . ПМИД 19407796 . S2CID 4415762 .
- ^ Патент США 8654441 , Джалали Бахрам и Мотафаккер-Фард Али, «Усиленная микроскопия с дифференциальным интерференционным контрастом и последовательным временным кодированием», выдан 18 февраля 2014 г., передан Регентам Калифорнийского университета.
- ^ патент США 8870060 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Аппарат и метод для дисперсионного преобразования Фурье», выпущено 28 октября 2014 г., передано Регентам Калифорнийского университета.
- ^ патент США 9835840 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Методы получения усиленных оптических изображений с использованием двумерной спектральной кисти», выпущено 30 января 2015 г., передано Регентам Калифорнийского университета.
- ^ патент США 8987649 , Джалали Бахрам; Года Кейсуке и Циа Кевин Кин-Ман, «Методы получения усиленных оптических изображений с использованием двумерной спектральной кисти», выпущено 24 марта 2015 г., передано Регентам Калифорнийского университета.
- ^ Патент США 9903804 , Джалали Бахрам и Махджубфар Ата, «Высокопроизводительный скрининг клеток в режиме реального времени без меток в потоке», выдан 27 февраля 2018 г., передан Регентам Калифорнийского университета.
- ^ патент США 10593039 , Джалали Бахрам; Махджубфар Ата и Чен Лифан, «Глубокое обучение в области классификации клеток без меток и извлечения частиц с помощью машинного зрения», выпущено 17 марта 2020 г., передано Регентам Калифорнийского университета.
- ^ Jump up to: а б Чоу, Дж.; Бойраз, О.; Солли, Д.; Джалали, Б. (2007). «Фемтосекундный однокадровый дигитайзер реального времени» . Письма по прикладной физике . 91 (16): 161105–1–161105–3. Бибкод : 2007ApPhL..91p1105C . doi : 10.1063/1.2799741 – через Researchgate.net.
- ^ Jump up to: а б Солли, ДР; Бойраз, О.; Джалали, Б. (2008). «Усиленное преобразование длины волны во времени для спектроскопии в реальном времени». Природная фотоника . 2 (1): 48–51. Бибкод : 2008NaPho...2...48S . дои : 10.1038/nphoton.2007.253 . S2CID 8991606 .
- ^ А. Махджубфар; К. Года; А. Аязи; А. Фард; С.Х. Ким и Б. Джалали (2011). «Высокоскоростной виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике . 98 (10): 101107. Бибкод : 2011ApPhL..98j1107M . дои : 10.1063/1.3563707 .
- ^ Чен, CL; Махджубфар, А.; Хвост.; Блаби, И.; Хуанг, А.; Ниязи, К.; Джалали, Б. (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Бибкод : 2016NatSR...621471C . дои : 10.1038/srep21471 . ПМЦ 4791545 . ПМИД 26975219 .
- ^ Ли, Юэцинь; Махджубфар, Ата; Чен, Клэр Лифан; Ниязи, Кайван Реза; Пей, Ли и Джалали, Бахрам (2019). «Глубокая цитометрия: глубокое обучение с выводами в реальном времени при сортировке клеток и проточной цитометрии» . Научные отчеты . 9 (1): 1–12. arXiv : 1904.09233 . Бибкод : 2019NatSR...911088L . дои : 10.1038/s41598-019-47193-6 . ПМК 6668572 . ПМИД 31366998 .
- ^ К. Года; Д. Р. Солли; К.К. Циа и Б. Джалали (2009). «Теория усиленного дисперсионного преобразования Фурье». Физический обзор А. 80 (4): 043821. Бибкод : 2009PhRvA..80d3821G . дои : 10.1103/PhysRevA.80.043821 . hdl : 10722/91330 .
- ^ К. Года и Б. Джалали (2010). «Шум-коэффициент усиленного дисперсионного преобразования Фурье». Физический обзор А. 82 (3): 033827. Бибкод : 2010PhRvA..82c3827G . дои : 10.1103/PhysRevA.82.033827 . S2CID 8243947 .
- ^ Циа К.К., Года К., Кейпвелл Д., Джалали Б. (2010). «Производительность серийного усиленного микроскопа с временным кодированием». Оптика Экспресс . 18 (10): 10016–28. Бибкод : 2010OExpr..1810016T . дои : 10.1364/oe.18.010016 . hdl : 10722/91333 . ПМИД 20588855 . S2CID 8077381 .
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Jump up to: а б Чен, Клэр Лифан; Махджубфар, Ата; Тай, Ли-Чиа; Блаби, Ян К.; Хуанг, Аллен; Ниязи, Кайван Реза; Джалали, Бахрам (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Бибкод : 2016NatSR...621471C . дои : 10.1038/srep21471 . ПМЦ 4791545 . ПМИД 26975219 . опубликовано под лицензией CC BY 4.0
- ^ Мишо, Сара (5 апреля 2016 г.). «Использование больших данных для визуализации клеток» . Новости оптики и фотоники . Оптическое общество . Проверено 8 июля 2016 г.
- ^ «Фотонная микроскопия с растяжением во времени в сочетании с искусственным интеллектом обнаруживает раковые клетки в крови» . Мед Гаджет . 15 апреля 2016 года . Проверено 8 июля 2016 г.
- ^ Чен, Клэр Лифан; Махджубфар, Ата; Джалали, Бахрам (23 апреля 2015 г.). «Оптическое сжатие данных при визуализации с растяжением во времени» . ПЛОС ОДИН . 10 (4): e0125106. Бибкод : 2015PLoSO..1025106C . дои : 10.1371/journal.pone.0125106 . ПМК 4408077 . ПМИД 25906244 .
- ^ Махджубфар, Ата; Чуркин Дмитрий В.; Барланд, Стефан; Бродерик, Нил; Турицын Сергей К.; Джалали, Бахрам (2017). «Растяжение времени и его применение». Природная фотоника . 11 (6): 341–351. Бибкод : 2017NaPho..11..341M . дои : 10.1038/nphoton.2017.76 . S2CID 53511029 .
- ^ Г. Попеску, «Количественная фазовая визуализация клеток и тканей», McGraw Hill Professional (2011).
- ^ Лау, Энди КС; Вонг, Теренс Т.В.; Хо, Кеннет К.Ю.; Тан, Мэтью Т.Х.; Чан, Энтони CS; Вэй, Сяомин; Лам, Эдмунд Ю.; Шум, Хо Чунг; Вонг, Кеннет К.Ю.; Циа, Кевин К. (2014). «Интерферометрическая микроскопия с растяжением во времени для… количественной визуализации клеток и тканей» (PDF) . Журнал биомедицинской оптики . 19 (7). Бесплатная загрузка PDF-файла: 076001. Бибкод : 2014JBO....19g6001L . дои : 10.1117/1.JBO.19.7.076001 . HDL : 10722/200609 . ПМИД 24983913 . S2CID 24535924 .
- ^ Чен К., Махджубфар А., Тай Л., Блаби И., Хуан А., Ниязи К., Джалали Б. (2016). «Глубокое обучение в классификации клеток без меток» . Научные отчеты . 6 : 21471. Бибкод : 2016NatSR...621471C . дои : 10.1038/srep21471 . ПМЦ 4791545 . ПМИД 26975219 .
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Д. Ди Карло (2009). «Инерционная микрофлюидика». Лаборатория на чипе . 9 (21): 3038–46. дои : 10.1039/b912547g . ПМИД 19823716 .
- ^ ТР Сюй (2008). МЭМС и микросистемы: проектирование, производство и наноинжиниринг . Уайли. ISBN 978-0470083017 .
- ^ Махджубфар А., Года К., Аязи А., Фард А., Ким С., Джалали Б. (2011). «Высокоскоростной виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике . 98 (10): 101107. Бибкод : 2011ApPhL..98j1107M . дои : 10.1063/1.3563707 .
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ С.Л. Чен; Махджубфар; Б. Джалали (2015). «Оптическое сжатие данных при визуализации с растяжением во времени» . ПЛОС ОДИН . 10 (4): 1371. Бибкод : 2015PLoSO..1025106C . дои : 10.1371/journal.pone.0125106 . ПМК 4408077 . ПМИД 25906244 .