Вычислительная визуализация
Вычислительная визуализация — это процесс косвенного формирования изображений на основе измерений с использованием алгоритмов, требующих значительного объема вычислений. В отличие от традиционной визуализации, системы компьютерной визуализации предполагают тесную интеграцию сенсорной системы и вычислений для формирования интересующих изображений. Повсеместная доступность быстрых вычислительных платформ (таких как многоядерные процессоры и графические процессоры ), достижения в области алгоритмов и современного сенсорного оборудования приводят к созданию систем визуализации со значительно расширенными возможностями. Системы компьютерной визуализации охватывают широкий спектр приложений, включая компьютерную микроскопию , [1] томографическая визуализация , МРТ , ультразвуковая визуализация , компьютерная фотография , радар с синтезированной апертурой (SAR), сейсмическая визуализация и т. д. Интеграция зондирования и вычислений в системах вычислительной визуализации позволяет получить доступ к информации, которая в противном случае была бы невозможна. Например:
- Одно рентгеновское изображение не показывает точное местоположение перелома, но компьютерная томография , которая работает путем объединения нескольких рентгеновских изображений, может определить точное местоположение одного из них в 3D.
- Обычное изображение с камеры не может отображать углы. Однако, разработав установку, которая включает отправку быстрых импульсов света, запись полученного сигнала и использование алгоритма, исследователи продемонстрировали первые шаги в создании такой системы. [2]
Системы вычислительной визуализации также позволяют разработчикам систем преодолеть некоторые аппаратные ограничения оптики и датчиков (разрешение, шум и т. д.), преодолевая проблемы в вычислительной области. Некоторые примеры таких систем включают когерентную дифракционную визуализацию , визуализацию с кодированной апертурой и изображение сверхразрешения .
Вычислительная обработка изображений отличается от обработки изображений в том смысле, что основной целью первой является реконструкция распознаваемых человеком изображений на основе измеренных данных с помощью алгоритмов, а второй – обработка уже распознаваемых изображений (которые могут быть недостаточными по качеству) для улучшения качества изображения. качества или получить из них некоторую информацию.
История [ править ]
Системы вычислительной визуализации охватывают широкий спектр приложений. Хотя такие приложения, как SAR , компьютерная томография , сейсмическая инверсия, хорошо известны, они претерпели значительные улучшения (более быстрое воздействие с более высоким разрешением и меньшими дозами облучения). [3] ), обусловленный достижениями в алгоритмах обработки сигналов и изображений (включая методы сжатия изображений ) и более быстрыми вычислительными платформами. Фотография превратилась из чисто химической обработки в возможность захвата и вычислительного объединения нескольких цифровых изображений ( вычислительная фотография ). [4] сделать такие методы, как HDR и панорамное изображение, доступными для большинства пользователей мобильных телефонов. В компьютерной визуализации также появились методы, которые изменяют источник света, падающий на объект, используя известные структуры/шаблоны, а затем восстанавливают изображение на основе полученного изображения (например: визуализация с кодированной апертурой , микроскопия сверхвысокого разрешения , фурье-птихография ). Достижения в разработке мощных параллельных вычислительных платформ сыграли жизненно важную роль в достижении прогресса в области компьютерной визуализации.
Техники [ править ]
апертурой Визуализация с кодированной
Визуализация обычно осуществляется на оптических длинах волн с помощью линз и зеркал. Однако для рентгеновских и гамма-лучей линзы и зеркала непрактичны, поэтому вместо них часто используются модулирующие апертуры. Камера-обскура является самой простой формой такого модуляционного формирователя изображений, но ее недостатком является низкая пропускная способность, поскольку ее маленькая апертура пропускает мало излучения. Поскольку через точечное отверстие проходит лишь небольшая часть света, что приводит к низкому соотношению сигнал/шум, получение изображений через точечные отверстия требует неприемлемо длительной выдержки. Эту проблему можно в некоторой степени преодолеть, увеличив отверстие, что, к сожалению, приводит к снижению разрешения. Камеры-обскуры имеют несколько преимуществ перед объективами — они имеют бесконечную глубину резкости и не страдают хроматической аберрацией, которую в рефракционной системе можно устранить только с помощью многоэлементного объектива. Наименьшая деталь, которую можно разрешить с помощью точечного отверстия, примерно того же размера, что и само точечное отверстие. Чем больше отверстие, тем более размытым становится изображение. Использование нескольких маленьких точечных отверстий может показаться способом обойти эту проблему, но это приводит к запутанному монтажу перекрывающихся изображений. Тем не менее, если расположение отверстий тщательно выбрано, можно восстановить исходное изображение с разрешением, равным разрешению одного отверстия.
В последние годы была проделана большая работа по использованию шаблонов отверстий из прозрачных и непрозрачных областей, составляющих так называемую кодированную апертуру. Мотивацией использования методов визуализации с кодированной апертурой является повышение эффективности сбора фотонов при сохранении высокого углового разрешения одиночной точечной дыры. Визуализация с кодированной апертурой (CAI) представляет собой двухэтапный процесс визуализации. Кодированное изображение получается путем свертки объекта с функцией рассеяния точки интенсивности (PSF) кодированной апертуры. Как только кодированное изображение сформировано, его необходимо декодировать, чтобы получить изображение. Это декодирование может быть выполнено тремя способами, а именно корреляцией, дифракцией Френеля или деконволюцией. Оценка исходного изображения достигается путем свертки кодированного изображения с исходной кодированной апертурой. В общем, восстановленное изображение будет представлять собой свертку объекта с автокорреляцией кодированной апертуры и будет содержать артефакты, если только его автокорреляция не является дельта-функцией.
Некоторые примеры кодированных апертур включают, среди прочего, зонную пластину Френеля (FZP), случайные матрицы (RA), неизбыточные матрицы (NRA), равномерно избыточные матрицы (URA), модифицированные равномерно избыточные матрицы (MURA). Зонные пластины Френеля, названные в честь Огюстена-Жана Френеля, вообще не могут считаться кодированными апертурами, поскольку они состоят из набора радиально-симметричных колец, известных как зоны Френеля, которые чередуются между непрозрачными и прозрачными. Они используют дифракцию вместо преломления или отражения, чтобы сфокусировать свет. Свет, попадающий на ФЗП, будет дифрагировать вокруг непрозрачных зон, поэтому при возникновении конструктивной интерференции будет создаваться изображение. Непрозрачные и прозрачные зоны могут быть расположены так, чтобы изображение происходило в разных фокусах.
В ранних работах над кодированными апертурами точечные отверстия были случайным образом распределены по маске и помещены перед источником для анализа. Однако случайные закономерности создают трудности с реконструкцией изображения из-за неравномерности распределения точечных отверстий. Собственный шум появляется в результате присутствия малых членов в преобразовании Фурье случайных двоичных массивов большого размера. Эта проблема была решена путем разработки равномерно избыточных массивов (URA). Если распределение прозрачных и непрозрачных элементов апертуры можно представить в виде двоичного массива кодирования A, а массива декодирования — в виде G, то A и G можно выбрать так, чтобы восстановленное изображение (корреляция A и G с добавлением некоторый шумовой сигнал N) аппроксимирует дельта-функцию. Экспериментально было показано, что URA обеспечивают значительные улучшения отношения сигнал/шум по сравнению со случайно распределенными массивами, однако алгоритм, используемый для построения URA, ограничивает форму апертуры прямоугольником. Поэтому модифицированный равномерно избыточный массив (MURA) был представлен вместе с изменением алгоритма кодирования URA, что позволяет создавать новые массивы в линейной, шестиугольной и квадратной конфигурациях. Метод проектирования URA был изменен таким образом, чтобы новые массивы основывались на квадратичных остатках, а не на псевдошумовых (PN) последовательностях.
спектральная визуализация Компрессионная
Обычные методы спектральной визуализации обычно сканируют соседние зоны нижележащей спектральной сцены, а затем объединяют результаты для построения куба спектральных данных. Напротив, сжатая спектральная визуализация (CSI), которая естественным образом воплощает в себе принципы сжатого зондирования (CS), предполагает получение пространственно-спектральной информации в двумерных наборах мультиплексированных проекций. Замечательным преимуществом компрессионной спектральной визуализации является то, что весь куб данных считывается с помощью всего лишь нескольких измерений, а в некоторых случаях всего лишь с помощью одного снимка FPA, так что весь набор данных может быть получен в течение одного периода интеграции детектора.
В общем, системы компрессионной спектральной визуализации используют различные оптические явления, такие как пространственное, спектральное или пространственно-спектральное кодирование и дисперсия, для получения компрессионных измерений. Существенным преимуществом CSI является то, что можно разрабатывать протоколы измерения, которые собирают важную информацию из разреженных сигналов с меньшим количеством измерений. Поскольку количество захваченных проекций меньше количества вокселей в кубе спектральных данных, процесс реконструкции выполняется с помощью алгоритмов численной оптимизации. На этом этапе ключевую роль играет вычислительная визуализация, поскольку мощь вычислительных алгоритмов и математики используется для восстановления базового куба данных.
В литературе CSI можно встретить различные стратегии достижения закодированных прогнозов. [5] [6] [7] Спектральный формирователь моментальных снимков с кодированной апертурой (CASSI) был первым спектральным формирователем изображений, разработанным с использованием преимуществ теории компрессионного зондирования. [8] CASSI использует апертуры с двоичным кодированием, которые создают шаблон передачи в каждом столбце, так что эти шаблоны ортогональны по отношению ко всем другим столбцам. Пространственно-спектральная проекция на матрице детекторов модулируется бинарной маской таким образом, что на каждую длину волны куба данных влияет сдвинутый код модуляции. Более поздние системы CSI включают CASSI, использующую апертуры с цветной кодировкой (C-CASSI) вместо черно-белых масок; компактная версия цветного CASSI, называемая цветным компрессионным спектральным формирователем изображений (SCCSI), и разновидность последнего, в которой используется черно-белая кодированная апертура в сверточной плоскости, известная как гиперспектральный формирователь изображений с пространственно-спектральным кодированием (SSCSI). ). Общие характеристики систем CSI такого типа включают использование дисперсионного элемента для разделения спектральной информации и кодирующего элемента для кодирования входящих данных.
Алгоритмы [ править ]
Хотя компьютерная обработка изображений охватывает широкий спектр приложений, алгоритмы, используемые в системах вычислительной визуализации, часто связаны с решением математической обратной задачи . Алгоритмы обычно делятся на методы прямой инверсии, которые часто являются «быстрыми», и методы итеративной реконструкции , которые требуют больших вычислительных затрат, но способны моделировать более сложные физические процессы. Типичные шаги по разработке алгоритмов для систем вычислительной визуализации:
- Формулирование взаимосвязи между измерениями и величиной, подлежащей оценке. Этот процесс требует математической модели того, как измерения связаны с неизвестным. Например: При визуализации с высоким динамическим диапазоном измерения представляют собой последовательность известных экспозиций подлежащей области, подлежащей изображению. При рентгеновской компьютерной томографии измерения представляют собой рентгеновские изображения пациента, полученные из нескольких известных положений источника рентгеновского излучения и камеры-детектора с хорошо установленной взаимосвязью распространения рентгеновских лучей.
- Выбор метрики для «инвертирования» измерений и восстановления интересующей величины. Это может быть простая метрика, такая как разница по методу наименьших квадратов между измерениями и моделью, или более сложная метрика, основанная на точном моделировании статистики шума детектора и модели интересующего объекта. Этот выбор может быть связан с выбором статистической оценки восстанавливаемой величины.
- Разработка быстрых и надежных алгоритмов, вычисляющих решение шага 2. В этих алгоритмах часто используются методы математической оптимизации и сопоставления таких методов с быстрыми вычислительными платформами для создания практических систем.
Ссылки [ править ]
- ^ CITRIS (08 марта 2017 г.), Компьютерная микроскопия , получено 4 сентября 2017 г.
- ^ Марч, Г. (20 марта 2012 г.). «Как заглянуть за угол». Новости природы . дои : 10.1038/nature.2012.10258 . S2CID 171886549 .
- ^ Джу, Юн Хе; Ли, Гивон; Ли, Джи Вон; Хон, Сын Бэк; Су, Ён Джу; Чон, Ён Джу (8 августа 2017 г.). «Скрининговая КТ легких с ультранизкими дозами с итеративной реконструкцией на основе модели: оценка качества изображения и выраженности поражений». Акта Радиологика . 59 (5): 553–559. дои : 10.1177/0284185117726099 . ПМИД 28786301 . S2CID 4428506 .
- ^ «Пленарный доклад (Пейман Миланфар)» (PDF) .
- ^ Хаген, Натан (13 июня 2012 г.). «Преимущество моментального снимка: обзор улучшения сбора света для параллельных многомерных измерительных систем» (PDF) . Оптическая инженерия . 51 (11): 111702. Бибкод : 2012OptEn..51k1702H . дои : 10.1117/1.OE.51.11.111702 . ПМЦ 3393130 . ПМИД 22791926 .
- ^ Хаген, Натан; Куденов, Майкл В. (23 сентября 2013 г.). «Обзор технологий спектральной визуализации моментальных снимков» (PDF) . Оптическая инженерия . 52 (9): 090901. Бибкод : 2013OptEn..52i0901H . дои : 10.1117/1.OE.52.9.090901 .
- ^ Арсе, Гонсало Р.; Руэда, Гувер; Корреа, Клаудия В.; Рамирес, Ана; Аргуэльо, Генри (15 февраля 2017 г.). Мультиспектральные камеры со сжатием снимков . Энциклопедия электротехники и электроники Wiley. стр. 1–22. дои : 10.1002/047134608X.W8345 . ISBN 9780471346081 .
- ^ Вагадарикар, Ашвин; Джон, Рену; Уиллетт, Ребекка ; Брэди, Дэвид (8 февраля 2008 г.). «Конструкция с одним диспергатором для получения спектральных изображений моментальных снимков с кодированной апертурой». Прикладная оптика . 47 (10): Б44-51. Бибкод : 2008ApOpt..47B..44W . дои : 10.1364/AO.47.000B44 . ПМИД 18382550 .
Дальнейшее чтение [ править ]
Достижения в области исследований компьютерных изображений представлены на нескольких площадках, включая публикации SIGGRAPH и IEEE Transactions on Computational Imaging .