Виртуальная клавиатура
Виртуальная клавиатура — это программный компонент, который позволяет вводить символы без использования физических клавиш. [1] Взаимодействие с виртуальной клавиатурой происходит в основном через интерфейс сенсорного экрана , но может происходить и в другой форме в виртуальной или дополненной реальности .
Типы
[ редактировать ]На настольном компьютере виртуальная клавиатура может стать альтернативным механизмом ввода для пользователей с ограниченными возможностями , которые не могут использовать обычную клавиатуру, для многоязычных пользователей, которые часто переключаются между различными наборами символов или алфавитов, что со временем может сбивать с толку, или для пользователей которым не хватает традиционной клавиатуры.
Виртуальные клавиатуры могут использовать следующее:
- Виртуальные клавиатуры с сенсорным экраном или датчиками [2]
- Варианты символов, знаки препинания и другие специальные символы, доступные через меню, комбинации клавиш/мыши или двойное, тройное или длительное нажатие на сенсоры.
- Функция цифровой клавиатуры для облегчения ввода цифр. [3]
- Оптически проецируемые раскладки клавиатуры или подобное расположение «клавиш» или сенсорных областей. [4] [5]
- Оптически распознаваемые движения рук и пальцев человека [6]
- Несколько языковых наборов, не требующих изменения настроек
различные виртуальные клавиатуры JavaScript В веб-браузерах были созданы , позволяющие пользователям вводить текст на своих языках на иностранных клавиатурах. Мультитач- экраны позволяют создавать виртуальные аккордовые клавиатуры для планшетных компьютеров . [7] сенсорные экраны, сенсорные панели и проводные перчатки . [8] [9]
Мобильные устройства
[ редактировать ]Виртуальные клавиатуры обычно используются в качестве метода ввода на экране в устройствах без физической клавиатуры, где для нее нет места, таких как карманный компьютер , персональный цифровой помощник (КПК), планшетный компьютер или сенсорным экраном с мобильный телефон . Текст обычно вводится либо нажатием виртуальной клавиатуры, либо отслеживанием пальцев. [10] Виртуальные клавиатуры также используются в программном обеспечении эмуляции для систем, в которых меньше кнопок, чем на компьютерной клавиатуре.
Историческое развитие
[ редактировать ]КПК
[ редактировать ]
Четыре основных подхода к вводу текста в КПК : виртуальные клавиатуры, управляемые стилусом, внешние USB-клавиатуры, рукописные клавиатуры и распознавание штрихов. Подход Microsoft к мобильной операционной системе заключался в имитации полностью функциональной клавиатуры, что приводило к перегрузке раскладки. [11] Без поддержки технологии мультитач виртуальные клавиатуры КПК имели ограничения по удобству использования.
Первый айфон
[ редактировать ]Когда Apple представила iPhone в 2007 году, отсутствие физической клавиатуры рассматривалось как ущерб. [12] Однако Apple привнесла в устройство технологию мультитач , преодолев проблемы с удобством использования КПК.
Текущая реализация и использование
[ редактировать ]Наиболее распространенные мобильные операционные системы Android и iOS дают сообществу разработчиков возможность индивидуально разрабатывать собственные виртуальные клавиатуры.
Андроид
[ редактировать ]
Android SDK предоставляет « InputMethodService». [13] Этот сервис предоставляет стандартную реализацию метода ввода, позволяя сообществу разработчиков Android реализовывать свои собственные раскладки клавиатуры. Служба InputMethodService поставляется вместе с ним в представлении с клавиатурой. [14] Хотя служба InputMethodService может использоваться для настройки ввода с помощью клавиш и жестов, класс Keyboard загружает XML- описание клавиатуры и сохраняет атрибуты клавиш. [15]
устройство можно установить разные версии клавиатуры В результате на Android- , а клавиатура — это всего лишь приложение, наиболее часто загружаемое среди них — Gboard и SwiftKey ; Возможна простая активация через меню настроек Android. [16]
iOS
[ редактировать ]
iOS от Apple позволяет разрабатывать собственные клавиатуры, но не дает доступа к словарю или общим настройкам клавиатуры. iOS автоматически переключается между системной и пользовательской клавиатурой, если пользователь вводит текст в поле ввода текста. [17] [18]
UIInputViewController — это основной контроллер представления для пользовательского расширения приложения клавиатуры. Этот контроллер предоставляет различные методы реализации пользовательской клавиатуры, такие как пользовательский интерфейс для пользовательской клавиатуры, получение дополнительного словаря или изменение основного языка пользовательской клавиатуры. [19]
Предложения слов
[ редактировать ]В различных научных работах начала 2000-х годов еще до изобретения смартфонов было показано, что предсказание слов на основе того, что печатает пользователь, помогает повысить скорость набора текста. [20] [21] В начале разработки этой функции клавиатуры прогнозирование в основном основывалось на статических словарях. Google реализовал метод прогнозирования в 2013 году в Android 4.4. Эта разработка в основном осуществлялась сторонними поставщиками клавиатур, такими как SwiftKey и Swype . [22] В 2014 году Apple представила iOS 8. [23] который включает в себя новую функцию интеллектуального набора текста под названием Quick Type, которая отображает подсказки слов над клавиатурой по мере ввода пользователем.
Тактильная обратная связь
[ редактировать ]Тактильная обратная связь обеспечивает тактильное подтверждение того, что клавиша была успешно активирована, т.е. пользователь слышит и чувствует «щелчок» при нажатии клавиши. Используя гистерезис , можно в еще большей степени имитировать ощущение физической клавиши. В этом случае сначала раздается «щелчок», который слышен и ощущается при нажатии виртуальной клавиши, но затем, когда давление пальца уменьшается после нажатия клавиши, раздается дальнейший звук «отщелкивания» и ощущение, как будто физическая клавиша возвращается в исходное ненажатое состояние. Такое поведение объясняется в статье Алекса Онищака и Скотта Маккензи 2004 года «Сравнение двух методов ввода для клавиатур на мобильных устройствах», в которой впервые была представлена тактильная обратная связь с гистерезисом на виртуальной клавиатуре. [24]
Специальные типы клавиатуры
[ редактировать ]Клавиатуры нужны в разных цифровых сферах. смартфоны и устройства, создающие виртуальные миры, например, очки виртуальной реальности или дополненной реальности , должны обеспечивать возможности ввода текста.
Оптическая виртуальная клавиатура
[ редактировать ]Оптическая виртуальная клавиатура была изобретена и запатентована инженерами IBM в 1992 году. [25] Он оптически обнаруживает и анализирует движения рук и пальцев человека и интерпретирует их как операции на физически несуществующем устройстве ввода, например на поверхности с нарисованными клавишами. Это позволяет ему эмулировать неограниченное количество типов устройств ввода с ручным управлением, включая мышь или клавиатуру. Все механические блоки ввода могут быть заменены такими виртуальными устройствами, оптимизированными под текущее применение и физиологию пользователя с сохранением скорости, простоты и однозначности ручного ввода данных.
Одним из примеров этой технологии является «Тип селфи» — технология клавиатуры для мобильных телефонов, разработанная компанией Samsung Electronics . Предполагалось использовать фронтальную камеру (селфи-камеру) для отслеживания пальцев пользователя, позволяя пользователю печатать на «невидимой клавиатуре» на столе или другой поверхности перед телефоном. [26] [27] Его представили на выставке Consumer Electronics Show 2020. [28] [29] [30] Ожидалось, что он будет запущен в том же году, но этого не произошло.
Клавиатуры дополненной реальности
[ редактировать ]Основная идея виртуальной клавиатуры в среде дополненной реальности — предоставить пользователю возможность ввода текста. Распространенный подход — преобразовать плоскую клавиатуру в дополненную реальность, например, с помощью Unity TouchScreenKeyboard. Microsoft . HoloLens позволяет пользователю указывать на буквы на клавиатуре, двигая головой [31]
Другой подход был исследован корейской лабораторией KJIST U-VR в 2003 году. Они предложили использовать носимые устройства для отслеживания движения пальцев, чтобы заменить физическую клавиатуру виртуальной. Они также пытались предоставить пользователю аудиовизуальную обратную связь при нажатии клавиши. Основная идея заключалась в том, чтобы предоставить пользователю более естественный способ ввода текста, основанный на том, к чему он привык. [32]
Magic Leap 1 от Magic Leap реализует виртуальную клавиатуру с дополненной реальностью. [33]
Клавиатуры виртуальной реальности
[ редактировать ]Задача, как и в дополненной реальности , состоит в том, чтобы дать пользователю возможность вводить текст в полностью виртуальной среде. Большинство систем дополненной реальности не отслеживают руки пользователя. Многие доступные системы предоставляют возможность указывать на буквы. [34]
В сентябре 2016 года Google выпустила приложение виртуальной клавиатуры для своей Daydream. [35] гарнитура виртуальной реальности. Чтобы ввести текст, пользователь указывает на буквы с помощью контроллера. [36]
В феврале 2017 года Logitech представила экспериментальный подход к переносу своих клавиатур в виртуальную среду. Vive Tracker и игровая клавиатура Logitech G отслеживают движения пальцев без перчаток. Пятьдесят комплектов были отправлены эксклюзивным разработчикам, что позволило им в сочетании с комплектом для разработчиков BRIDGE от Logitech протестировать и поэкспериментировать с новой технологией. [37] [38]
Соображения безопасности
[ редактировать ]В некоторых случаях можно использовать виртуальные клавиатуры, чтобы снизить риск регистрации нажатий клавиш . [39] Например, служба онлайн-банкинга Westpac использует виртуальную клавиатуру для ввода пароля, как и TreasuryDirect (см. рисунок). сложнее Вредоносному ПО контролировать дисплей и мышь для получения данных, вводимых через виртуальную клавиатуру, чем отслеживать реальные нажатия клавиш. Однако это возможно, например, путем записи снимков экрана через определенные промежутки времени или при каждом щелчке мыши. [40] [41]
Использование экранной клавиатуры, на которой пользователь «печатает» щелчками мыши, может увеличить риск раскрытия пароля при серфинге через плечо , потому что:
- Наблюдателю обычно легче (и менее подозрительно) наблюдать за экраном, чем за клавиатурой, и видеть, к каким символам перемещается мышь.
- Некоторые реализации экранной клавиатуры могут давать визуальную обратную связь о нажатии «клавиши», например, путем кратковременного изменения ее цвета. Это значительно облегчает наблюдателю чтение данных с экрана. В худшем случае реализация может оставить фокус на последней нажатой «ключе» до тех пор, пока не будет нажата следующая виртуальная клавиша, что дает наблюдателю время прочитать каждый символ даже после того, как мышь начнет перемещаться к следующему символу.
- Пользователь может быть не в состоянии «указать и щелкнуть» так быстро, как он мог бы печатать на клавиатуре, что облегчает работу наблюдателя.
См. также
[ редактировать ]- Кальдера SoftKeyboards (1997)
- Простота доступа
- Палец трогает сотовый телефон
- Метод ввода
- Клавиши мыши
- Мультитач
Примечания
[ редактировать ]- ^ «виртуальная клавиатура» . PCMag.
- ^ Заявка США 4725694 Auer Carol M, Castagno Daniel L/AT&T: «Устройство компьютерного интерфейса», дата приоритета 13.05.1986.
- ^ Samsung Omnia i900, отзыв Лизы Гейд от 21 августа 2008 г.: «Существует даже виртуальная цифровая клавиатура для ввода текста в стиле T9 для тех, кто привык писать текстовые сообщения на традиционных мобильных телефонах».
- ^ Заявка DE 19734511 Б. Каммерер, К., Маджиони, Х. Рёттгер/SIEMENS AG: дата подачи «Средство связи» 8 августа 1997 г.
- ^ WO 0003348 C. Maggioni, B. Kämmerer/SIEMENS AG: дата приоритета «Проекционного устройства» 10 июля 1998 г.
- ^ EP 0554492 Ханс Э. Корт: «Способ и устройство для оптического ввода команд или данных», дата подачи 07.02.1992 г.
- ^ Цзянь-Сюй Чен. «Проектирование и оценка аккордовой клавиатуры для управления планшетным компьютером» . Национальный университет Ченг Кунг.
- ^ «Концепция ASETNIOP призвана упростить набор текста на сенсорном экране» . Gizmag.com. 9 октября 2012 г.
- ^ «Невидимая клавиатура ASETNIOP призвана помочь вам печатать вслепую на iPad» . сегодняsiphone.com. 19 октября 2022 г.
- ^ «Ввод текста с помощью свайпа кажется быстрым, гипнотическим и волшебным» . Engadget . Проверено 24 марта 2016 г.
- ^ Георгиев, Цветозар; Георгиева, Евгения (12 июня 2008 г.). Мобильное приложение для определения скорости ввода текста пользователями .
- ^ Титкомб, Джеймс (2017). «Как мир отреагировал на первый iPhone 10 лет назад» . Телеграф . ISSN 0307-1235 . Проверено 16 марта 2018 г.
- ^ «InputMethodService | Разработчики Android» . Developer.android.com . Проверено 19 марта 2018 г.
- ^ «Создайте собственную клавиатуру на Android» . Код Envato Tuts+ . Проверено 19 марта 2018 г.
- ^ «Клавиатура | Разработчики Android» . Developer.android.com . Проверено 19 марта 2018 г.
- ^ «клавиатура — Google Play» . Проверено 19 марта 2018 г.
- ^ «Управление клавиатурой» . разработчик.apple.com . Проверено 19 марта 2018 г.
- ^ «UIInputViewController — UIKit | Документация разработчика Apple» . разработчик.apple.com . Проверено 19 марта 2018 г.
- ^ «Руководство по программированию расширений приложений: пользовательская клавиатура» . разработчик.apple.com . Проверено 19 марта 2018 г.
- ^ Том Стоки, Александр Фааборг, Генри Либерман (2004). «Здравый подход к интеллектуальному вводу текста».
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Данлоп, Марк Д. и Кроссан, Эндрю (2000). «Методы интеллектуального ввода текста для мобильных телефонов».
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Хаттерсли, Люси. «Как использовать новые параметры клавиатуры QuickType и Swype в iOS 8» . Macworld Великобритания . Проверено 19 марта 2018 г.
- ^ «Использование клавиатуры QuickType в iOS 8» . CNET . 19 сентября 2014 г. Проверено 19 марта 2018 г.
- ^ Онищак, Алекс. «CHI: сравнение двух методов ввода для клавиатур мобильных устройств» (PDF) . разработчик.apple.com .
- ^ EP 0554492 Ханс Э. Корт: «Способ и устройство для оптического ввода команд или данных», дата подачи 07.02.1992 г.
- ^ «Невидимая клавиатура для смартфонов» . Новости Би-би-си . Проверено 13 января 2020 г.
- ^ «Samsung представляет SelfieType, виртуальную клавиатуру на базе искусственного интеллекта – The Independent News» . 11 января 2020 г. Проверено 13 января 2020 г.
- ^ «Samsung Electronics представит успешные проекты «C-Lab Inside» и стартапы «C-Lab Outside» на выставке CES 2020» . news.samsung.com . Проверено 13 января 2020 г.
- ^ «Вот как будет работать сумасшедшая технология невидимой клавиатуры от Samsung» . Администрация Андроида . 06.01.2020 . Проверено 13 января 2020 г.
- ^ «Тип селфи Samsung» . www.digitaltrends.com . 6 января 2020 г. Проверено 13 января 2020 г.
- ^ «Ввод с клавиатуры в Unity» . разработчик.microsoft.com . Проверено 16 марта 2018 г.
- ^ Ли, Минкён; Ву, Вунтак (1 января 2003 г.). ARKB: клавиатура дополненной реальности на основе 3D-видения .
- ^ «Ввод текста» .
- ^ Пупырев Иван. «Виртуальный блокнот: рукописный ввод в иммерсивной виртуальной реальности» (PDF) .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Клавиатура Daydream , Google LLC, 21 февраля 2018 г. , получено 16 марта 2018 г.
- ^ «Google запускает виртуальную клавиатуру для телефонов с поддержкой Daydream» . Тактильный . 19 октября 2016 г. Проверено 16 марта 2018 г.
- ^ «Представляем Logitech BRIDGE SDK — блог VIVE» . blog.vive.com . Проверено 16 марта 2018 г.
- ^ «Logitech экспериментирует с клавиатурой, созданной для виртуальной реальности — TechCrunch» . techcrunch.com . 2 ноября 2017 года . Проверено 16 марта 2018 г.
- ^ «Виртуальная клавиатура» .
- ^ Lake Software: не побеждает кейлоггеров!
- ^ Смит, Дэвид А. (21 июня 2006 г.), «Перехитрить кейлоггеров» , журнал PC Magazine , получено 16 ноября 2009 г.
Внешние ссылки
[ редактировать ]