Фовеативная визуализация
Фовеативная визуализация — это метод цифровой обработки изображений , при котором разрешение изображения или количество деталей варьируется по изображению в соответствии с одной или несколькими «точками фиксации». соответствует центру глаза сетчатки Точка фиксации указывает на область изображения с самым высоким разрешением и , ямке .
Местоположение точки фиксации можно указать разными способами.Например, при просмотре изображения на мониторе компьютера можно указать фиксацию с помощью манипулятора , например компьютерной мыши. Айтрекеры , которые точно измеряют положение и движение глаза, также часто используются для определения точек фиксации в экспериментах по восприятию. [1] [2] Когда отображением манипулируют с помощью айтрекера, это называется отображением, зависящим от взгляда . [3] Фиксации также могут определяться автоматически с использованием компьютерных алгоритмов . [4] [5]
Некоторые распространенные применения фовеатной визуализации включают аппаратное обеспечение датчиков визуализации. [6] и сжатие изображений. [7] Описания этих и других приложений см. в списке ниже. Миниатюрные фовеатные системы визуализации могут быть реализованы путем 3D-печати многолинзовых объективов с высоким разрешением непосредственно на CMOS- чипе (комплементарный металл-оксид-полупроводник). [8]
Фовеатную визуализацию также часто называют пространственной визуализацией или визуализацией, зависящей от взгляда .
Приложения
[ редактировать ]
Сжатие
[ редактировать ]Контрастная чувствительность резко падает по мере движения от центра сетчатки к периферии. [9] [10] При сжатии изображений с потерями можно воспользоваться этим фактом для компактного кодирования изображений.Если известна приблизительная точка взгляда зрителя, можно уменьшить количество информации, содержащейся в изображении, по мере увеличения расстояния от точки взгляда. Поскольку падение разрешения глаза резкое, потенциальное уменьшение отображаемой информации может быть существенным. Кроме того, фовеационное кодирование может быть применено к изображению до применения других типов сжатия изображения и, следовательно, может привести к мультипликативному уменьшению.
Фовеатные датчики
[ редактировать ]Фовеатные датчики — это аппаратные устройства с различным разрешением, которые позволяют собирать данные изображения с более высоким разрешением, сконцентрированным в точке фиксации. Преимущество использования аппаратного обеспечения фовеатного датчика заключается в том, что сбор и кодирование изображений могут происходить намного быстрее, чем в системе, которая выполняет постобработку изображения с высоким разрешением в программном обеспечении. [11]
Моделирование
[ редактировать ]Фовеативная визуализация использовалась для моделирования полей зрения с произвольным пространственным разрешением. Например, можно представить видео, содержащее размытую область, изображающую скотому . Используя айтрекер и удерживая размытую область фиксированной относительно взгляда зрителя, зритель получит визуальное ощущение, подобное тому, которое испытывает человек с настоящей скотомой.
Видеоигры
[ редактировать ]Фовеатный рендеринг — это метод, в котором используется айтрекер , интегрированный с гарнитурой виртуальной реальности, для уменьшения рабочей нагрузки рендеринга за счет значительного снижения качества изображения в периферийном зрении (за пределами зоны наблюдения из фовеа ). [12]
На выставке 2016 CES компания SensoMotoric Instruments (SMI) продемонстрировала новую систему слежения за взглядом с частотой 250 Гц и работающее решение для фовеатного рендеринга. Это стало результатом партнерства с производителем датчиков камер Omnivision , который предоставил аппаратное обеспечение камеры для новой системы. [13]
Гарнитура смешанной реальности Apple Vision Pro поддерживает динамический фовеатный рендеринг, обеспечиваемый операционной системой VisionOS . [14] [15]
Оценка качества
[ редактировать ]Фовеативная визуализация может быть полезна для оценки субъективного качества изображения. [16] Традиционные измерения качества изображения, такие как пиковое соотношение сигнал/шум , обычно выполняются на изображениях с фиксированным разрешением и не принимают во внимание некоторые аспекты зрительной системы человека, такие как изменение пространственного разрешения на сетчатке. Таким образом, фовеатный индекс качества может более точно определять качество изображения, воспринимаемое людьми.
Получение базы данных изображений
[ редактировать ]В базах данных, содержащих изображения очень высокого разрешения, таких как базы данных спутниковых изображений , может оказаться желательным интерактивный поиск изображений, чтобы сократить время поиска. Фовеативная визуализация позволяет сканировать изображения с низким разрешением и получать только те части с высоким разрешением, которые необходимы. Иногда это называют прогрессивной передачей.
Примеры изображений
[ редактировать ]- Различные фовеатные изображения
Изображение с фовеатированным каналом яркости
Фовеатное изображение с фиксацией, выбранной с использованием алгоритма минимизации энтропии
- Фовеативная визуализация как метод компрессии
Сжатие 18:1. Фовеатное изображение с точкой фиксации на надгробии.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Макконки Г.В. и Рейнер К. (1975) Продолжительность эффективного стимула во время фиксации при чтении, Восприятие и психофизика, 17, 578–86.
- ^ Лошки, LC и Вулвертон, GS (2007). Насколько поздно можно обновить дисплеи с разным разрешением, зависящие от взгляда, без обнаружения? Транзакции ACM по мультимедийным вычислениям, коммуникациям и приложениям, 3 (4): 25, 1-10.
- ^ Духовски А.Т., Курния Н. и Мерфи Х. 2004. Дисплеи, зависящие от взгляда: обзор. Киберпсихол. Поведение. 7, 6, 621–634.
- ^ З. Ван, Л. Лу и А. К. Бовик, «Масштабируемое видеокодирование Foveation с автоматическим выбором фиксации», IEEE Trans. по обработке изображений, Том: 12, №: 2, февраль 2003 г.
- ^ Р.Г. Радж, В.С. Гейслер, Р.А. Фрейзор, А.К. Бовик, «Статистика контрастности для ямчатых зрительных систем: выбор фиксации путем минимизации энтропии контраста» Журнал Оптического общества Америки.
- ^ Дж. А. Болуда, Ф. Пардо, Т. Кайзер, Дж. Дж. Перес и Дж. Пелечано. Новая фовеативная космическая камера для робототехники. В IEEE, Международная конференция по электронным схемам и системам, ICCS'96, Родос, Греция, октябрь 1996 г.
- ^ Гейслер, В.С. и Перри, Дж.С. (1998) Система с несколькими разрешениями в режиме реального времени для видеосвязи с низкой пропускной способностью. В: Б. Роговитц и Т. Паппас (ред.), Человеческое зрение и электронная визуализация, SPIE Proceedings, 3299, 294-305.
- ^ Тиле, Саймон; Арценбахер, Катрин; Гиссибль, Тимо; Гиссен, Харальд; Херкоммер, Алоис М. (3 февраля 2017 г.). «Орлиный глаз, напечатанный на 3D-принтере: система сложных микролинз для визуализации фовеации» . Достижения науки . 3 (2): e1602655. Бибкод : 2017SciA....3E2655T . дои : 10.1126/sciadv.1602655 . ISSN 2375-2548 . ПМК 5310822 . ПМИД 28246646 .
- ^ Ванделл, Брайан А. (1995) Основы видения. ISBN 0-87893-853-2 . стр. 236
- ^ Баргут-Штайн, Лорен. О различиях между маскированием периферического и фовеального паттерна. Дисс. Калифорнийский университет, Беркли, 1999 г.
- ^ Марк Болдук, Мартин Д. Левин. Фовеатный датчик реального времени с перекрывающимися рецептивными полями. Июнь 1997 г., Визуализация в реальном времени, том 3, выпуск 3.
- ^ Пэрриш, Кевин (22 июля 2016 г.). «Nvidia планирует доказать, что новый метод улучшает качество изображения в виртуальной реальности» . Цифровые тенденции . Проверено 2 февраля 2017 г.
- ^ Мейсон, Уилл (15 января 2016 г.). «Системы отслеживания движений глаз SMI с частотой 250 Гц и фовеативная визуализация реальны, а их стоимость может вас удивить» . ЗагрузитеVR . Проверено 2 февраля 2017 г.
- ^ «Обзор VisionOS» . Разработчик Apple . Проверено 9 февраля 2024 г.
- ^ «📌Доступна официальная поддержка для VisionOS» . Обсуждения единства . 22 января 2024 г. Проверено 9 февраля 2024 г.
- ^ З. Ван, А. К. Бовик, Л. Лу и Дж. Кулохерис, «Индекс качества вейвлет-изображения с ямками», 46-е ежегодное собрание SPIE, Proc. SPIE, Применение цифровой обработки изображений XXIV, вып. 4472, июль-август. 2001.