Изображение сверхвысокого разрешения

Визуализация сверхвысокого разрешения ( SR ) — это класс методов, которые улучшают (увеличивают) разрешение системы визуализации . В оптической СИ геометрической СИ преодолевается дифракционный предел систем, а в повышается цифровых датчиков изображения разрешение .

В некоторых приложениях радиолокационной и гидролокационной визуализации (например, магнитно-резонансная томография (МРТ), компьютерная томография высокого разрешения ) подпространственном методы, основанные на разложении (например, MUSIC ) и сжатого зондирования алгоритмы на основе (например, SAMV ) используются для достижения SR по стандартному периодограммы алгоритму .

Методы визуализации сверхвысокого разрешения используются при общей обработке изображений и в микроскопии сверхвысокого разрешения .

Основные понятия

Поскольку некоторые идеи, связанные со сверхразрешением, поднимают фундаментальные проблемы, с самого начала необходимо изучить соответствующие физические и теоретические принципы информации:

• Предел дифракции : Детали физического объекта, которые оптический инструмент может воспроизвести на изображении, имеют пределы, определяемые законами физики, независимо от того, сформулированы ли они уравнениями дифракции в волновой теории света. или, что эквивалентно, принцип неопределенности для фотонов в квантовой механике . Передача информации никогда не может быть увеличена за пределы этой границы, но пакеты за ее пределами могут быть умело заменены (или мультиплексированы) с пакетами внутри нее. Дифракционный предел не столько «нарушают», сколько «оббегают». Новые процедуры исследования электромагнитных возмущений на молекулярном уровне (в так называемом ближнем поле) остаются полностью согласующимися с уравнениями Максвелла .
  • Пространственно-частотная область: краткое выражение дифракционного предела дается в пространственно-частотной области. В оптике Фурье распределение света выражается как суперпозиция ряда решетчатых световых структур в диапазоне ширины полосы, технически пространственных частот . Обычно считается, что теория дифракции устанавливает верхний предел, граничную пространственную частоту, за пределами которой элементы рисунка не могут быть перенесены в оптическое изображение, т.е. не разрешаются. Но на самом деле теория дифракции устанавливает ширину полосы пропускания, а не фиксированный верхний предел. Никакие законы физики не нарушаются, когда полоса пространственных частот за пределами предельной пространственной частоты заменяется на полосу внутри нее: это уже давно реализовано в темнопольной микроскопии . Правила теории информации также не нарушаются при наложении нескольких полос. для их распутывания на полученном изображении необходимы предположения об инвариантности объекта при многократной экспозиции, т. е. замена одного вида неопределенности другим.
• Информация : Когда термин «суперразрешение» используется в методах определения деталей объекта на основе статистической обработки изображения в пределах стандартного разрешения, например, при усреднении нескольких экспозиций, он предполагает обмен одним видом информации (извлечение сигнала из шума) для другой (предположение, что цель осталась неизменной).
• Разрешение и локализация: истинное разрешение предполагает определение того, является ли цель, например звезда или спектральная линия, одинарной или двойной, что обычно требует разделения пиков на изображении. Когда известно, что цель одиночная, ее местоположение можно определить с более высокой точностью, чем ширина изображения, путем нахождения центроида (центра тяжести) распределения света на ее изображении. слово «ультраразрешение». Для этого процесса было предложено но он не прижился, и процедуру высокоточной локализации обычно называют сверхразрешением.

Технические достижения по повышению производительности устройств формирования изображений и считывания, которые теперь классифицируются как сверхразрешающие, используются в полной мере, но всегда остаются в пределах, налагаемых законами физики и теории информации.

Техники

Оптическое или дифракционное сверхразрешение

Замена полос пространственных частот. Хотя полоса пропускания, допускаемая дифракцией, фиксирована, ее можно расположить в любом месте спектра пространственных частот. темнопольное освещение Примером может служить в микроскопии. См. также синтез апертуры .

Техника сверхвысокого разрешения «структурированного освещения» связана с муаровыми узорами . Мишень — полоса тонких полос (верхний ряд) — находится за пределами дифракционного предела. При искусственном наложении полосы несколько более грубых разрешимых полос (второй ряд) в комбинации (третий ряд) появляются муаровые компоненты, находящиеся в пределах дифракционного предела и, следовательно, содержащиеся в изображении (нижний ряд), что позволяет предположить наличие тонких полос. выводятся, даже если они сами не представлены на изображении.

Мультиплексирование полос пространственных частот

Изображение формируется с использованием нормальной полосы пропускания оптического устройства. Затем на цель накладывается некоторая известная световая структура, например набор световых полос, которые даже не обязательно должны находиться в полосе пропускания. Изображение теперь содержит компоненты, возникающие в результате комбинации цели и наложенной световой структуры, например, муаровые полосы , и несет информацию о деталях цели, чего нет при простом неструктурированном освещении. Однако для выявления «сверхразрешенных» компонентов необходимо распутать их. Пример см. в структурированном освещении (рисунок слева).

Использование нескольких параметров в рамках традиционного дифракционного предела

Если цель не имеет особых свойств поляризации или длины волны, для кодирования деталей цели можно использовать два состояния поляризации или непересекающиеся области длин волн: одно в полосе пространственных частот внутри предела отсечки, а другое за его пределами. Оба будут использовать обычную передачу в полосе пропускания, но затем отдельно декодируются для восстановления целевой структуры с расширенным разрешением.

Зондирование электромагнитных помех ближнего поля

Обычное обсуждение сверхразрешения включало обычное изображение объекта с помощью оптической системы. Но современные технологии позволяют исследовать электромагнитные помехи на молекулярных расстояниях от источника. который имеет превосходные свойства разрешения, см. также затухающие волны и разработку новой суперлинзы .

Суперразрешение геометрической формы или обработки изображений

По сравнению с одиночным изображением, испорченным шумом во время его получения или передачи (слева), соотношение сигнал/шум улучшается за счет подходящей комбинации нескольких отдельно полученных изображений (справа). Этого можно достичь только в рамках внутренней разрешающей способности процесса визуализации для выявления таких деталей.

Шумоподавление изображения при мультиэкспозиции

Когда изображение ухудшается из-за шума, в среднем по многим экспозициям может быть больше деталей, даже в пределах дифракционного предела. См. пример справа.

Удаление размытия по одному кадру

Основная статья: Удаление размытия

Известные дефекты в конкретной ситуации с изображением, такие как расфокусировка или аберрации , иногда можно полностью или частично устранить с помощью подходящей пространственно-частотной фильтрации даже одного изображения. Все такие процедуры остаются в пределах полосы пропускания, установленной дифракцией, а не расширяют ее.

Обе функции простираются на 3 пикселя, но в разных размерах, что позволяет локализовать их с точностью, превышающей размер пикселя.

Локализация субпиксельного изображения

Местоположение одного источника можно определить, вычислив «центр тяжести» ( центроид ) распределения света, распространяющегося на несколько соседних пикселей (см. рисунок слева). При условии достаточного освещения этого можно достичь с произвольной точностью, намного превышающей ширину пикселя детекторного устройства и предел разрешения для принятия решения о том, является ли источник одиночным или двойным. Этот метод, который требует предположения, что весь свет исходит от одного источника, лежит в основе того, что стало известно как микроскопия сверхвысокого разрешения , например, микроскопия стохастической оптической реконструкции (STORM), где флуоресцентные зонды, прикрепленные к молекулам, определяют наномасштабное расстояние. информация. Это также механизм, лежащий в основе остроты зрения .

Байесовская индукция за пределами традиционного дифракционного предела

Основная статья: Байесовский вывод

Некоторые особенности объекта, хотя и находятся за пределами дифракционного предела, могут быть известны как связанные с другими особенностями объекта, которые находятся в пределах и, следовательно, содержатся в изображении. Затем на основе имеющихся данных изображения можно сделать выводы о наличии целого объекта, используя статистические методы. Классическим примером является предложение Торальдо ди Франсиа. судить о том, является ли изображение изображением одинарной или двойной звезды, путем определения того, превышает ли его ширина разброс от одиночной звезды. Этого можно достичь при расстояниях значительно ниже классических границ разрешения и требует предварительного ограничения выбором «одинарный или двойной?»

Этот подход может принять форму экстраполяции изображения в частотной области, предполагая, что объект является аналитической функцией и что мы можем точно знать значения функции в некотором интервале . Этот метод сильно ограничен постоянным шумом в системах цифровой визуализации, но он может работать для радиолокации , астрономии , микроскопии или магнитно-резонансной томографии . Совсем недавно был разработан быстрый алгоритм суперразрешения одного изображения, основанный на решении в закрытой форме для $\ell _{2}-\ell _{2}$ Были предложены и продемонстрированы проблемы, позволяющие значительно ускорить большинство существующих байесовских методов сверхразрешения.

Псевдонимы

геометрической реконструкции SR Алгоритмы возможны тогда и только тогда, когда входные изображения с низким разрешением были недостаточно дискретизированы и, следовательно, содержат псевдонимы . Из-за этого наложения высокочастотный контент желаемого восстановленного изображения внедряется в низкочастотный контент каждого из наблюдаемых изображений. При наличии достаточного количества изображений наблюдения и если набор наблюдений различается по фазе (т. е. если изображения сцены сдвинуты на субпиксельную величину), то фазовая информация может использоваться для разделения совмещенных высокочастотных сигналов. контент из истинного низкочастотного контента, а изображение с полным разрешением может быть точно восстановлено.

На практике этот частотный подход не используется для реконструкции, но даже в случае пространственных подходов (например, слияние-сложение). ), наличие алиасинга по-прежнему является необходимым условием СР-реконструкции.

Технические реализации

Существует множество как однокадровых, так и многокадровых вариантов SR. Многокадровый SR использует субпиксельные сдвиги между несколькими изображениями с низким разрешением одной и той же сцены. Он создает изображение с улучшенным разрешением, объединяя информацию из всех изображений с низким разрешением, а созданные изображения с более высоким разрешением лучше описывают сцену. Методы однокадрового СР пытаются увеличить изображение, не создавая размытия. Эти методы используют другие части изображений с низким разрешением или другие несвязанные изображения, чтобы угадать, как должно выглядеть изображение с высоким разрешением. Алгоритмы также можно разделить по их области применения: частотная или пространственная область . Первоначально методы сверхвысокого разрешения хорошо работали только с изображениями в оттенках серого. но исследователи нашли способы адаптировать их к изображениям цветной камеры. Недавно также было показано использование сверхвысокого разрешения для 3D-данных.

Исследовать

Есть многообещающие исследования по использованию глубоких сверточных сетей для достижения сверхразрешения. В частности, была продемонстрирована работа, показывающая преобразование с ее помощью 20-кратного микроскопического изображения пыльцевых зерен в 1500-кратное изображение сканирующего электронного микроскопа . Хотя этот метод может увеличить информативность изображения, нет никакой гарантии, что масштабированные функции существуют в исходном изображении, и глубокие сверточные апскейлеры не следует использовать в аналитических приложениях с неоднозначными входными данными. Эти методы могут вызывать галлюцинации особенностей изображения, что может сделать их небезопасными для медицинского использования.

См. также

• Оптическое разрешение
• Передискретизация
• Видео сверхвысокого разрешения
• Одночастичная траектория
• Суперосцилляция

Ссылки

Другая сопутствующая работа

• Кертис, Крейг Х.; Милстер, Том Д. (октябрь 1992 г.). «Анализ сверхразрешения в магнитооптических устройствах хранения данных». Прикладная оптика . 31 (29): 6272–6279. Бибкод : 1992ApOpt..31.6272M . дои : 10.1364/AO.31.006272 . ПМИД   20733840 .
• Залевский З.; Мендлович, Д. (2003). Оптическое сверхразрешение . Спрингер. ISBN  978-0-387-00591-1 .
• Кэрон, JN (сентябрь 2004 г.). «Быстрая суперсэмплинг многокадровых последовательностей с использованием слепой деконволюции». Оптические письма . 29 (17): 1986–1988. Бибкод : 2004OptL...29.1986C . дои : 10.1364/OL.29.001986 . ПМИД   15455755 .
• Клемент, GT; Хуттунен, Дж.; Хининен, К. (2005). «Ультразвуковая визуализация сверхвысокого разрешения с использованием обратной проекции реконструкции». Журнал Акустического общества Америки . 118 (6): 3953–3960. Бибкод : 2005ASAJ..118.3953C . дои : 10.1121/1.2109167 . ПМИД   16419839 .
• Гейслер, В.С.; Перри, Дж. С. (2011). «Статистика для оптимального прогнозирования точек на естественных изображениях» . Журнал видения . 11 (12): 14. дои : 10.1167/11.12.14 . ПМК   5144165 . ПМИД   22011382 .
• Чунг, В.; Фрей, Би Джей; Йойич, Н. (20–25 июня 2005 г.). Видео-воплощения (PDF) . Конференция по компьютерному зрению и распознаванию образов (CVPR). Том. 1. С. 42–49. дои : 10.1109/CVPR.2005.366 .
• Бертеро, М.; Боккаччи, П. (октябрь 2003 г.). «Суперразрешение в компьютерной визуализации». Микрон . 34 (6–7): 265–273. дои : 10.1016/s0968-4328(03)00051-9 . ПМИД   12932769 .
• Борман, С.; Стивенсон, Р. (1998). «Повышение пространственного разрешения последовательностей изображений с низким разрешением - комплексный обзор с направлениями будущих исследований» (Технический отчет) . Университет Нотр-Дам.
• Борман, С.; Стивенсон, Р. (1998). Суперразрешение из последовательностей изображений — обзор (PDF) . Симпозиум Среднего Запада по схемам и системам.
• Парк, Южная Каролина; Парк, МК; Канг, М.Г. (май 2003 г.). «Реконструкция изображения сверхвысокого разрешения: технический обзор». Журнал обработки сигналов IEEE . 20 (3): 21–36. Бибкод : 2003ISPM...20...21P . дои : 10.1109/MSP.2003.1203207 . S2CID   12320918 .
• Фарсиу, С.; Робинсон, Д.; Элад, М.; Миланфар, П. (август 2004 г.). «Достижения и проблемы сверхразрешения». Международный журнал систем и технологий визуализации . 14 (2): 47–57. дои : 10.1002/ima.20007 . S2CID   12351561 .
• Элад, М.; Хель-Ор, Ю. (август 2001 г.). «Алгоритм быстрой реконструкции сверхвысокого разрешения для чистого поступательного движения и общего пространственно-инвариантного размытия». Транзакции IEEE при обработке изображений . 10 (8): 1187–1193. Бибкод : 2001ITIP...10.1187E . CiteSeerX   10.1.1.11.2502 . дои : 10.1109/83.935034 . ПМИД   18255535 .
• Ирани, М.; Пелег, С. (июнь 1990 г.). Суперразрешение из последовательностей изображений (PDF) . Международная конференция по распознаванию образов. Том. 2. С. 115–120.
• Сроубек, Ф.; Кристобаль, Г.; Флассер, Дж. (2007). «Единый подход к сверхразрешению и многоканальной слепой деконволюции». Транзакции IEEE при обработке изображений . 16 (9): 2322–2332. Бибкод : 2007ITIP...16.2322S . дои : 10.1109/TIP.2007.903256 . ПМИД   17784605 . S2CID   6367149 .
• Калабуиг, Алехандро; Мико, Висенте; Гарсия, Хавьер; Залевский, Зеев; Феррейра, Карлос (март 2011 г.). «Одноэкспозиционная интерферометрическая микроскопия со сверхвысоким разрешением методом красно-зелено-синего мультиплексирования». Оптические письма . 36 (6): 885–887. Бибкод : 2011OptL...36..885C . дои : 10.1364/OL.36.000885 . ПМИД   21403717 .
• Чан, Вай-Сан; Лам, Эдмунд; Нг, Майкл К.; Мак, Джузеппе Ю. (сентябрь 2007 г.). «Реконструкция сверхвысокого разрешения в вычислительной системе визуализации сложного глаза». Многомерные системы и обработка сигналов . 18 (2–3): 83–101. дои : 10.1007/s11045-007-0022-3 . S2CID   16452552 .
• Нг, Майкл К.; Шен, Хуанфэн; Лам, Эдмунд Ю.; Чжан, Лянпей (2007). «Алгоритм реконструкции сверхразрешения для цифрового видео на основе полной вариационной регуляризации» . Журнал EURASIP о достижениях в области обработки сигналов . 2007 : 074585. Бибкод : 2007EJASP2007..104N . дои : 10.1155/2007/74585 . hdl : 10722/73871 .
• Гласнер, Д.; Багон, С.; Ирани, М. (октябрь 2009 г.). Суперразрешение одного изображения (PDF) . Международная конференция по компьютерному зрению (ICCV). ; «пример и результаты» .
• Бен-Эзра, М.; Линь, Чжоучен; Уилберн, Б.; Чжан, Вэй (июль 2011 г.). «Пиксели Пенроуза для сверхвысокого разрешения» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 33 (7): 1370–1383. CiteSeerX   10.1.1.174.8804 . дои : 10.1109/TPAMI.2010.213 . ПМИД   21135446 . S2CID   184868 .
• Берлинер, Л.; Буффа, А. (2011). «Визуализация переменной дозы сверхвысокого разрешения в цифровой рентгенографии: качество и снижение дозы с помощью рентгеноскопического плоскопанельного детектора». Int J Comput Assist Radiol Surg . 6 (5): 663–673. дои : 10.1007/s11548-011-0545-9 . ПМИД   21298404 .
• Тимофте, Р.; Де Смет, В.; Ван Гул, Л. (ноябрь 2014 г.). A+: Скорректированная регрессия привязанного соседства для быстрого сверхвысокого разрешения (PDF) . 12-я Азиатская конференция по компьютерному зрению (ACCV). ; «коды и данные» .
• Хуанг, Ж.-Б; Сингх, А.; Ахуджа, Н. (июнь 2015 г.). Суперразрешение одиночного изображения на основе преобразованных собственных образцов . Конференция IEEE по компьютерному зрению и распознаванию образов . ; «страница проекта» .
• КРИСТЕНСЕН-ДЖЕФФРИС, Т.; КУТЮР, О.; ДЕЙТОН, Пенсильвания; ЭЛЬДАР, ЮК; ХИНИНЕН, К.; КИССЛИНГ, Ф.; О'РЕЙЛИ, М.; ПИНТОН, ГФ; ШМИТЦ, Г.; ТАН, М.-Х.; ТАНТЕР, М.; ВАН СЛОУН, RJG (2020). «Ультразвуковая визуализация сверхвысокого разрешения» . УЗИ Мед. Биол . 46 (4): 865–891. doi : 10.1016/j.ultrasmedbio.2019.11.013 . ПМЦ   8388823 . ПМИД   31973952 .