Фовеатный рендеринг
Фовеатный рендеринг — это метод рендеринга , в котором используется айтрекер , интегрированный с гарнитурой виртуальной реальности, для снижения рабочей нагрузки рендеринга за счет значительного снижения качества изображения в периферийном зрении (за пределами зоны наблюдения из фовеа ). [1] [2]
Менее сложный вариант, называемый рендерингом с фиксированной фовеацией, не использует отслеживание глаз и вместо этого предполагает фиксированную точку фокуса. [3] [4]
История [ править ]
Исследования фовеатного рендеринга начались как минимум в 1991 году. [5]
На выставке Tech Crunch Disrupt SF 2014 компания Fove представила гарнитуру с функцией фовеатного рендеринга. [6] За этим последовал успешный кикстартер в мае 2015 года. [7]
На CES 2016 выставке компания SensoMotoric Instruments (SMI) продемонстрировала новую систему отслеживания глаз с частотой 250 Гц и работающее решение для фовеатного рендеринга. Это стало результатом партнерства с производителем датчиков камер Omnivision , который предоставил аппаратное обеспечение камеры для новой системы. [8] [9]
В июле 2016 года Nvidia продемонстрировала на SIGGRAPH новый метод фовеатного рендеринга, который, как утверждается, невидим для пользователей. [1] [10]
В феврале 2017 года Qualcomm анонсировала свой комплект разработки виртуальной реальности Snapdragon 835 (VRDK), который включает поддержку фовеатного рендеринга под названием Adreno Foveation. [11] [12]
7 января на выставке CES 2019 компания HTC анонсировала новую гарнитуру виртуальной реальности под названием Vive Pro Eye с функцией отслеживания глаз и поддержкой фовеатного рендеринга. [13] [14]
В декабре 2019 года Facebook от Oculus Quest SDK предоставил разработчикам доступ к динамическому рендерингу с фиксированной фовеацией, позволяя изменять уровень детализации на лету через API. [15]
4 января 2022 года Sony объявила, что их продолжение PlayStation VR будет включать в себя отслеживание глаз и фовеативный рендеринг. [16]
5 июня 2023 года Apple объявила, что гарнитура расширенной реальности Apple Vision Pro включает в себя динамический фовеатный рендеринг. [17]
Используйте [ править ]
По словам главного ученого Майкла Абраша из Oculus , использование фовеатного рендеринга в сочетании с разреженным рендерингом и реконструкцией изображений с глубоким обучением потенциально может потребовать для рендеринга на порядок меньше пикселей по сравнению с полным изображением. [18] Позднее эти результаты были продемонстрированы и опубликованы. [19]
Впервые была продемонстрирована фовеатная визуализация с отслеживанием глаз [20] в продукте в гарнитуре Sony PlayStation VR 2.
См. также [ править ]
- Фовеативная визуализация
- Фовеа
- Парадигма взгляда на случай непредвиденных обстоятельств
- Цифровая обработка изображений
Ссылки [ править ]
- ↑ Перейти обратно: Перейти обратно: а б Пэрриш, Кевин (22 июля 2016 г.). «Nvidia планирует доказать, что новый метод улучшает качество изображения в виртуальной реальности» . Цифровые тенденции . Проверено 2 февраля 2017 г.
- ^ «Понимание фовеатного рендеринга» . Сенсикс . 11 апреля 2016 г. Архивировано из оригинала 1 декабря 2017 г. Проверено 4 февраля 2017 г.
- ^ Карботт, Кевин (30 марта 2018 г.). «Что такое фиксированный фовеатный рендеринг и почему это важно?» . Аппаратное обеспечение Тома . Проверено 9 сентября 2019 г.
- ^ Орланд, Кайл (21 марта 2016 г.). «Как Valve удалось сносно запустить виртуальную реальность на видеокарте четырехлетней давности» . Арс Техника . Проверено 9 сентября 2019 г.
- ^ Ван, Лили; Ши, Сюэхуай; Лю, Йи (2023). «Фовеатный рендеринг: современное исследование». Вычислительные визуальные медиа . 9 (2): 195–228. arXiv : 2211.07969 . дои : 10.1007/s41095-022-0306-4 . S2CID 253523241 .
- ^ «FOVE использует айтрекинг, чтобы сделать виртуальную реальность более захватывающей» . ТехКранч . 10 сентября 2014 года . Проверено 6 февраля 2019 г.
- ^ «FOVE: первая в мире гарнитура виртуальной реальности с отслеживанием движений глаз» . Кикстартер . Проверено 6 февраля 2019 г.
- ^ Мейсон, Уилл (15 января 2016 г.). «Системы отслеживания движений глаз SMI с частотой 250 Гц и фовеативная визуализация реальны, а их стоимость может вас удивить» . ЗагрузитеVR . Проверено 2 февраля 2017 г.
- ^ Мейсон, Уилл (15 января 2016 г.). «Системы отслеживания движений глаз SMI с частотой 250 Гц и фовеативная визуализация реальны, а их стоимость может вас удивить» . ЗагрузитеVR . Проверено 18 июня 2020 г.
- ^ «NVIDIA сотрудничает с SMI в области инновационной техники рендеринга, улучшающей VR» . Нвидиа . 21 января 2016 г. Проверено 2 февраля 2017 г.
- ^ «Qualcomm представляет комплект для разработки виртуальной реальности Snapdragon 835» . Квалкомм . 23 февраля 2017 г. Проверено 1 июня 2021 г.
- ^ «Фовеация в игровых движках» . vr.tobii.com . Проверено 1 июня 2021 г.
- ^ Статт, Ник (07 января 2019 г.). «HTC анонсирует новую гарнитуру виртуальной реальности Vive Pro Eye со встроенным отслеживанием движений глаз» . Грань . Проверено 14 января 2019 г.
- ^ Мэн, Сяосюй; Ду, Руофей; Цвикер, Матиас; Варшни, Амитабх (01 июля 2018 г.), «Kernel Foveated Rendering» , Труды ACM по компьютерной графике и интерактивным методам , 1 : 1–20, doi : 10.1145/3203199 , S2CID 4899582 , получено 01 июля 2018 г.
- ^ «Oculus Quest получает динамический рендеринг с фиксированной фовеацией» . ВенчурБит . 22 декабря 2019 г. Проверено 21 января 2020 г.
- ^ «Контроллер PlayStation VR2 и PlayStation VR2 Sense: новое поколение VR-игр на PS5» . 4 января 2022 г.
- ^ «Откройте для себя VisionOS» . 7 июня 2023 г.
- ^ Oculus (26 сентября 2018 г.), Oculus Connect 5 | Keynote Day 01 , получено 30 сентября 2018 г.
- ^ Капланян Антон (15 мая 2020 г.). «DeepFovea: AR/VR-рендеринг, вдохновленный человеческим зрением» . Ютуб . Проверено 15 мая 2020 г.
- ^ «Фовеатный рендеринг PSVR 2 обеспечивает в 3,6 раза более высокую производительность — Unity» . ЗагрузитеVR . 27 апреля 2022 г. Проверено 27 апреля 2022 г.