Модальность (взаимодействие человека и компьютера)

В контексте взаимодействия человека и компьютера модальность — это классификация единого независимого канала ввода/вывода между компьютером и человеком. Такие каналы могут различаться в зависимости от сенсорной природы (например, зрительных и слуховых), ^{[ 1 ]} или другие существенные различия в обработке (например, текст и изображение). ^{[ 2 ]} Система называется унимодальной, если в ней реализована только одна модальность, и мультимодальной, если в ней реализовано более одной модальности. ^{[ 1 ]} Когда для некоторых задач или аспектов задачи доступно несколько модальностей, говорят, что система имеет перекрывающиеся модальности. Если для задачи доступно несколько модальностей, говорят, что система имеет избыточные модальности. Несколько модальностей можно использовать в сочетании, чтобы обеспечить дополнительные методы, которые могут быть избыточными, но передают информацию более эффективно. ^{[ 3 ]} Модальности обычно можно определить в двух формах: модальности компьютер-человек и человек-компьютер.

Компьютерно-человеческие модальности

Компьютеры используют широкий спектр технологий для связи и отправки информации людям:

Общие условия
- Видение - компьютерная графика, обычно через экран.
- Audition – различные аудиовыходы
- Тактильность – вибрации или другое движение.
Необычные методы
- Густация (вкус)
- Обоняние (запах)
- Термоцепция (тепло)
- Ноцицепция (боль)
- Равновесие (баланс)

Любое человеческое чувство можно использовать как компьютер для человеческой модальности. Однако наиболее часто используются методы видения и слуха , поскольку они способны передавать информацию с более высокой скоростью, чем другие методы, от 250 до 300. ^{[ 4 ]} и от 150 до 160 ^{[ 5 ]} слов в минуту соответственно. Хотя тактация обычно не реализуется как компьютерно-человеческая модальность, она может достигать в среднем 125 слов в минуту. ^{[ 6 ]} благодаря использованию обновляемого дисплея Брайля . Другие, более распространенные формы тактильности — это вибрация смартфона и игрового контроллера.

Человеко-компьютерные методы

Компьютеры могут быть оснащены различными типами устройств ввода и датчиков, позволяющими им получать информацию от людей. Обычные устройства ввода часто взаимозаменяемы, если они имеют стандартизированный метод связи с компьютером и допускают практические настройки для пользователя. Определенные методы могут обеспечить более богатое взаимодействие в зависимости от контекста, а наличие вариантов реализации позволяет создавать более надежные системы. ^{[ 7 ]}

Простые условия
Сложные условия

С ростом популярности смартфонов широкая публика становится более комфортно использовать более сложные методы. Движение и ориентация обычно используются в картографических приложениях для смартфонов. Распознавание речи широко используется в приложениях Virtual Assistant. Компьютерное зрение теперь широко распространено в приложениях для камер, которые используются для сканирования документов и QR-кодов.

Использование нескольких модальностей

Наличие нескольких модальностей в системе дает больше возможностей пользователям и может способствовать повышению надежности системы. Наличие большего количества также обеспечивает большую доступность для пользователей, которые более эффективно работают с определенными модальностями. Несколько модальностей могут использоваться в качестве резервных, когда определенные формы связи невозможны. Это особенно верно в случае дублирующих модальностей, когда для передачи одной и той же информации используются две или более модальностей. Определенные комбинации модальностей могут способствовать выражению взаимодействия компьютер-человек или человек-компьютер, поскольку каждая из модальностей может быть более эффективной при выражении одной формы или аспекта информации, чем другие.

Существует шесть типов сотрудничества между модальностями, и они помогают определить, как комбинация или слияние модальностей работают вместе для более эффективной передачи информации. ^{[ 8 ]}

Эквивалентность: информация представлена разными способами и может интерпретироваться как одна и та же информация.
Специализация: когда определенный вид информации всегда обрабатывается одним и тем же способом.
Избыточность: одна и та же информация обрабатывается несколькими способами.
Комплементарность: несколько модальностей берут отдельную информацию и объединяют ее.
Передача: модальность производит информацию, которую потребляет другая модальность.
Параллелизм: несколько модальностей принимают отдельную информацию, которая не объединяется.

Комплементарно-избыточные системы — это системы, которые имеют несколько датчиков для формирования единого понимания или набора данных, и чем эффективнее информация может быть объединена без дублирования данных, тем эффективнее взаимодействуют модальности. Наличие нескольких способов связи является обычным явлением, особенно в смартфонах, и часто их реализации работают вместе для достижения одной и той же цели, например, гироскопы и акселерометры работают вместе для отслеживания движения. ^{[ 8 ]}

См. также

Мультимодальное взаимодействие - форма взаимодействия человека и машины с использованием нескольких режимов ввода/вывода.
Мультимодальное обучение - методы машинного обучения, использующие несколько модальностей ввода.
Мультисенсорная интеграция – изучение органов чувств и нервной системы.
Пользовательский интерфейс – средства, с помощью которых пользователь взаимодействует с машиной и управляет ею.

Ссылки

^ Jump up to: ^а ^б Каррай, Фахреддин; Алемзаде, Милад; Салех, Джамиль Абу; Араб, Мо Нурс (март 2008 г.). «Взаимодействие человека и компьютера: обзор современного состояния» (PDF) . Международный журнал по интеллектуальному зондированию и интеллектуальным системам . 1 (1). Архивировано из оригинала (PDF) 30 апреля 2015 года . Проверено 21 апреля 2015 г.
^ https://arxiv.org/abs/2301.13823 ^{[ только URL ]}
^ Паланк, Филипп; Патерно, Фабио (2001). Интерактивные системы. Проектирование, спецификация и проверка . Springer Science & Business Media. стр. 43 . ISBN 9783540416630 .
^ Зифле, М. (декабрь 1998 г.). «Влияние разрешения экрана на визуальные характеристики». Человеческий фактор . 40 (4): 554–68. дои : 10.1518/001872098779649355 . ПМИД 9974229 .
^ Уильямс, младший (1998). Рекомендации по использованию мультимедиа в обучении, Труды 42-го ежегодного собрания Общества человеческого фактора и эргономики, 1447–1451 гг.
^ «Брайль» . АКБ . Американский совет слепых . Проверено 21 апреля 2015 г.
^ Бейнбридж, Уильям (2004). Беркширская энциклопедия взаимодействия человека и компьютера . ООО «Беркшир Паблишинг Груп». п. 483. ИСБН 9780974309125 .
^ Jump up to: ^а ^б Грифони, Патриция (2009). Мультимодальное взаимодействие человека с компьютером и всеобъемлющие услуги . IGI Global. п. 37. ИСБН 9781605663876 .

[HCI_Overview2-1] Jump up to: ^а ^б Каррай, Фахреддин; Алемзаде, Милад; Салех, Джамиль Абу; Араб, Мо Нурс (март 2008 г.). «Взаимодействие человека и компьютера: обзор современного состояния» (PDF) . Международный журнал по интеллектуальному зондированию и интеллектуальным системам . 1 (1). Архивировано из оригинала (PDF) 30 апреля 2015 года . Проверено 21 апреля 2015 г.

[2] ttps://arxiv.org/abs/2301.13823 ^{[ только URL ]}

[3] Паланк, Филипп; Патерно, Фабио (2001). Интерактивные системы. Проектирование, спецификация и проверка . Springer Science & Business Media. стр. 43 . ISBN 9783540416630 .

[Ziefle98-4] Зифле, М. (декабрь 1998 г.). «Влияние разрешения экрана на визуальные характеристики». Человеческий фактор . 40 (4): 554–68. дои : 10.1518/001872098779649355 . ПМИД 9974229 .

[5] Уильямс, младший (1998). Рекомендации по использованию мультимедиа в обучении, Труды 42-го ежегодного собрания Общества человеческого фактора и эргономики, 1447–1451 гг.

[6] «Брайль» . АКБ . Американский совет слепых . Проверено 21 апреля 2015 г.

[7] Бейнбридж, Уильям (2004). Беркширская энциклопедия взаимодействия человека и компьютера . ООО «Беркшир Паблишинг Груп». п. 483. ИСБН 9780974309125 .

[:0-8] Jump up to: ^а ^б Грифони, Патриция (2009). Мультимодальное взаимодействие человека с компьютером и всеобъемлющие услуги . IGI Global. п. 37. ИСБН 9781605663876 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]