Эгоцентрическое видение
Эгоцентрическое зрение или зрение от первого лица — это подобласть компьютерного зрения , которая влечет за собой анализ изображений и видео, снятых носимой камерой , которую обычно носят на голове или на груди и которая естественным образом приближается к полю зрения владельца камеры. Следовательно, визуальные данные фиксируют ту часть сцены, на которой пользователь фокусируется для выполнения поставленной задачи, и предлагают ценную перспективу для понимания действий пользователя и их контекста в натуралистической обстановке. [1]
Носимая камера, смотрящая вперед, часто дополняется камерой, смотрящей внутрь глаза пользователя и способной измерять взгляд пользователя, что полезно для выявления внимания и лучшего понимания происходящего. активность и намерения пользователя.
История [ править ]
Идея использования носимой камеры для сбора визуальных данных от первого лица возникла еще в 70-х годах, когда Стив Манн изобрел «цифровые очки» — устройство, при ношении которого сам человеческий глаз фактически становится одновременно и электронная камера и телевизионный дисплей. [2]
Впоследствии носимые камеры стали использоваться в медицинских целях в контексте гуманистического интеллекта. [3] и носимый искусственный интеллект. [4] Эгоцентрическое видение лучше всего осуществлять с точки зрения глаз, но его также можно осуществлять с помощью камеры, надеваемой на шею, когда очки будут мешать. [5] Этот вариант ношения на шее был популяризирован благодаря Microsoft SenseCam в 2006 году для экспериментальных исследований в области здравоохранения. [6] Интерес сообщества специалистов по компьютерному зрению к эгоцентрической парадигме возник медленно, начиная с 2010-х годов, и быстро растет в последние годы. [7] чему способствуют как впечатляющие достижения в области носимых технологий , так и увеличение числа потенциальных приложений.
Прототип системы обзора от первого лица, описанный Канаде и Хебертом. [8] в 2012 году состоит из трех основных компонентов: компонента локализации, способного оценить окружение, компонента распознавания, способного идентифицировать объект и людей, и компонента распознавания активности , способного предоставить информацию о текущей активности пользователя. Вместе эти три компонента обеспечивают полную ситуационную осведомленность пользователя, что, в свою очередь, может использоваться для оказания помощи пользователю или лицу, осуществляющему уход. Следуя этой идее, первые вычислительные методы эгоцентрического анализа были сосредоточены на распознавании активности рук. [9] и анализ социального взаимодействия. [10] Кроме того, учитывая неограниченный характер видео и огромный объем генерируемых данных, временная сегментация [11] и обобщение [12] были одними из первых решенных проблем. После почти десяти лет эгоцентрического видения (2007–2017 гг.) эта область все еще подвергается диверсификации. Новые темы исследований включают в себя:
- Оценка социальной значимости [13]
- Мультиагентные системы эгоцентрического видения
- Методы и приложения для сохранения конфиденциальности
- Анализ активности на основе внимания [14]
- Анализ социального взаимодействия [10]
- Анализ позы рук [15]
- Графические пользовательские интерфейсы Ego (EUI) [16]
- Понимание социальной динамики и внимания [17]
- Пересмотр роботизированного зрения и машинного зрения как эгоцентрического восприятия [18]
- Прогнозирование деятельности [19]
Технические проблемы [ править ]
Современные носимые камеры представляют собой небольшие и легкие цифровые записывающие устройства, которые могут автоматически, без вмешательства пользователя, получать изображения и видео с различным разрешением и частотой кадров, а также с точки зрения вида от первого лица. Таким образом, носимые камеры естественным образом предназначены для сбора визуальной информации о наших повседневных взаимодействиях, поскольку они предлагают интимный взгляд на поле зрения пользователя камеры.
В зависимости от частоты кадров принято различать фотокамеры (также называемые камерами регистрации жизни) и видеокамеры.
- Первые (например, Narrative Clip и Microsoft SenseCam ) обычно носят на груди и характеризуются очень низкой частотой кадров (до 2 кадров в минуту), что позволяет захватывать изображения в течение длительного периода времени без необходимости подзарядки камеры. аккумулятор. Следовательно, они предлагают значительный потенциал для получения знаний, например, о моделях поведения, привычках или образе жизни пользователя. Однако из-за низкой частоты кадров и свободного движения камеры смежные во времени изображения обычно демонстрируют резкие изменения внешнего вида, поэтому характеристики движения не могут быть надежно оценены.
- Последние (например, Google Glass , GoPro ) обычно крепятся на голове и снимают обычное видео (около 35 кадров в секунду), что позволяет фиксировать мелкие временные детали взаимодействия. Следовательно, они предлагают потенциал для углубленного анализа повседневной или специальной деятельности. Однако, поскольку камера движется вместе с головой пользователя, становится сложнее оценить общее движение пользователя, а в случае резких движений изображения могут оказаться размытыми.
В обоих случаях, поскольку камера используется в натуралистической обстановке, визуальные данные сильно различаются с точки зрения условий освещения и внешнего вида объекта. Более того, владелец камеры не виден на изображении, и то, что он/она делает, следует судить по информации в поле зрения камеры, что подразумевает наличие важной информации о пользователе, такой как, например, оценка позы или выражения лица. , не доступен.
Приложения [ править ]
Сборник исследований, опубликованный в специальном тематическом выпуске Американского журнала профилактической медицины. [6] продемонстрировал потенциал журналов жизни, снятых с помощью носимых камер, с разных точек зрения. В частности, было показано, что использование журналов жизни в качестве инструмента для понимания и отслеживания образа жизни позволит предотвратить неинфекционные заболевания, связанные с нездоровыми тенденциями и рискованными профилями (такими как ожирение, депрессия и т. д.). Кроме того, используемые в качестве инструмента когнитивной тренировки повторной памяти, журналы жизни позволят предотвратить снижение когнитивных и функциональных способностей у пожилых людей.
Совсем недавно эгоцентрические камеры стали использоваться для изучения когнитивных способностей человека и животных, социального взаимодействия человека и человека, взаимодействия человека и робота, человеческого опыта в решении сложных задач. Другие приложения включают навигационные/вспомогательные технологии для слепых, [20] мониторинг и поддержка промышленных рабочих процессов, [21] [22] и дополненной реальности . интерфейсы [5]
См. также [ править ]
Ссылки [ править ]
- ^ Введение в 3-й семинар по эгоцентрическому видению (от первого лица), Стив Манн, Крис М. Китани, Ён Джэ Ли, М.С. Рю и Алиреза Фатхи, Семинары конференции IEEE по компьютерному зрению и распознаванию образов 2160-7508/14, 2014, ИЭЭЭ два : 10.1109/CVPRW.2014.1338272014
- ^ Манн, С. (1998). Гуманистические вычисления: «WearComp» как новая платформа и приложение для интеллектуальной обработки сигналов. Труды IEEE, 86(11), 2123-2151.
- ^ Хайкин, Саймон С. и Барт Коско. Интеллектуальная обработка сигналов. Wiley-IEEE Press, 2001.
- ^ «Носимый искусственный интеллект», Стив Манн, Ли-Те Ченг, Джон Робинсон, Каору Суми, Тоёаки Нисида, Соитиро Мацусита, Омер Фарук Озер, Огуз Озун, К. Онсел Тюзель, Волкан Аталай, А. Энис Четин, Джошуа Анхальт, Асим Смайлагич, Дэниел П. Севиорек, Франсин Гемперле, Дэниел Салбер, Вебер, Джим Бек, Джим Дженнингс и Дэвид А. Росс, IEEE Intelligent Systems 16 (3), 2001, страницы с 0 (обложка) по 53.
- ^ Перейти обратно: а б Манн, С. (октябрь 2000 г.). «Телеуказатель: полностью автономная носимая визуальная дополненная реальность без помощи рук и без какой-либо инфраструктурной зависимости» . Дайджест статей. Четвертый международный симпозиум по портативным компьютерам . стр. 177–178. дои : 10.1109/ISWC.2000.888489 . ISBN 0-7695-0795-6 . S2CID 6036868 .
- ^ Перейти обратно: а б Доэрти, А.Р., Ходжес, С.Э., Кинг, А.С., Смитон, А.Ф., Берри, Э., Мулен, СиДжей, ... и Фостер, К. (2013). Носимые камеры в здравоохранении. Американский журнал профилактической медицины, 44 (3), 320–323.
- ^ Боланос М., Димикколи М. и Радева П. (2017). На пути к рассказыванию историй на основе визуального журналирования жизни: обзор. Транзакции IEEE в человеко-машинных системах, 47(1), 77-90.
- ^ Канаде, Такео; Эбер, Марсьяль (август 2012 г.). «Видение от первого лица» . Труды IEEE . 100 (8): 2442–2453. дои : 10.1109/JPROC.2012.2200554 . ISSN 1558-2256 . S2CID 33060600 .
- ^ Фатхи А., Фархади А. и Рег Дж. М. (ноябрь 2011 г.). Понимание эгоцентрической деятельности. В «Компьютерном зрении» (ICCV), Международная конференция IEEE 2011 г. (стр. 407–414). IEEE.
- ^ Перейти обратно: а б Фатхи А., Ходжинс Дж. К. и Рег Дж. М. (июнь 2012 г.). Социальные взаимодействия: вид от первого лица. В книге «Компьютерное зрение и распознавание образов (CVPR), конференция IEEE 2012 г. (стр. 1226–1233). IEEE.
- ^ Полег Ю., Арора К. и Пелег С. (2014). Временная сегментация эгоцентрических видеороликов. В материалах конференции IEEE по компьютерному зрению и распознаванию образов (стр. 2537-2544).
- ^ Ли, Ю.Дж., Гош, Дж., и Грауман, К. (июнь 2012 г.). Обнаружение важных людей и объектов для эгоцентрического обобщения видео. В книге «Компьютерное зрение и распознавание образов» (CVPR), конференция IEEE 2012 г. (стр. 1346–1353). IEEE.
- ^ Парк, Х.С., Джайн, Э., и Шейх, Ю. (2012). Социальная значимость в 3D благодаря наголовным камерам. В «Достижениях в области нейронных систем обработки информации» (стр. 422–430).
- ^ Су, Юй-Чуань; Грауман, Кристен (2016). «Обнаружение вовлеченности в эгоцентричное видео» . В Лейбе, Бастиан; Матас, Иржи; Себе, Нику; Веллинг, Макс (ред.). Компьютерное зрение – ECCV 2016 . Конспекты лекций по информатике. Том. 9909. Чам: Springer International Publishing. стр. 454–471. arXiv : 1604.00906 . дои : 10.1007/978-3-319-46454-1_28 . ISBN 978-3-319-46454-1 . S2CID 1599840 .
- ^ Рожез, Г., Супанчич, Дж. С., и Раманан, Д. (2015). Распознавание поз от первого лица с использованием эгоцентрических рабочих пространств. В материалах конференции IEEE по компьютерному зрению и распознаванию образов (стр. 4325-4333).
- ^ Манн, С., Янзен, Р., Ай, Т., Ясреби, С.Н., Кавва, Дж., и Али, Массачусетс (2014, май). Топоскульптинг: вычислительная светопись и носимая компьютерная фотография для абакографических пользовательских интерфейсов. В области электротехники и вычислительной техники (CCECE), 27-я канадская конференция IEEE, 2014 г. (стр. 1–10). IEEE.
- ^ Беттадапура В., Эсса И. и Пантофару К. (январь 2015 г.). Эгоцентрическая локализация поля зрения с использованием устройств обзора от первого лица. В «Приложениях компьютерного зрения» (WACV), Зимняя конференция IEEE 2015 г. (стр. 626–633). IEEE
- ^ Цзи, Пэн; Сун, Айгуо; Сюн, Пэнвэнь; Йи, Пинг; Сюй, Сяонун; Ли, Хуэйцзюнь (01 сентября 2017 г.). «Система управления положением рук для разведывательных роботов на основе эгоцентрического зрения» . Журнал интеллектуальных и робототехнических систем . 87 (3): 583–599. дои : 10.1007/s10846-016-0440-2 . ISSN 1573-0409 . S2CID 254648250 .
- ^ Бухари, Сайед Захир; Китани, Крис М. (2017). «Долгосрочное прогнозирование деятельности с использованием зрения от первого лица» . В Лае, Шан-Хонг; Лепети, Винсент; Нисино, Ко; Сато, Йоичи (ред.). Компьютерное зрение – ACCV 2016 . Конспекты лекций по информатике. Том. 10115. Чам: Springer International Publishing. стр. 346–360. дои : 10.1007/978-3-319-54193-8_22 . ISBN 978-3-319-54193-8 .
- ^ Яги Т., Мангалам К., Йонетани Р. и Сато Ю. (2017). Локализация будущего человека в видео от первого лица. Препринт arXiv arXiv : 1711.11217 .
- ^ Лиласавассук, Тисид; Дамен, Дима; Майоль-Куэвас, Вальтерио (16 марта 2017 г.). «Автоматизированный захват и предоставление вспомогательных указаний по выполнению задач с помощью компьютера-очки» . Материалы 8-й Международной конференции по дополненному человеку . АХ '17. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 1–9. дои : 10.1145/3041164.3041185 . hdl : 1983/ed89a4ab-f375-40b7-bdf4-b3f97925a0fe . ISBN 978-1-4503-4835-5 . S2CID 10231349 .
- ^ Эдмундс, С.Р., Розга, А., Ли, Ю., Карп, Э.А., Ибанез, Л.В., Рег, Дж.М., и Стоун, В.Л. (2017). Краткий отчет: Использование камеры с углом обзора для измерения взгляда глаз у маленьких детей с расстройством аутистического спектра во время натуралистических социальных взаимодействий: пилотное исследование. [ мертвая ссылка ] Журнал аутизма и нарушений развития, 47 (3), 898-904.