Аффективные вычисления
 | Эту статью необходимо обновить . ( январь 2023 г. ) |
Аффективные вычисления — это исследование и разработка систем и устройств, которые могут распознавать, интерпретировать, обрабатывать и моделировать человеческие воздействия . Это междисциплинарная область, охватывающая информатику , психологию и когнитивную науку . [ 1 ] Хотя некоторые основные идеи в этой области можно проследить еще в ранних философских исследованиях эмоций , [ 2 ] более современная отрасль информатики возникла благодаря статье Розалинды Пикард 1995 года. [ 3 ] об аффективных вычислениях и ее книге «Аффективные вычисления» . [ 4 ] опубликовано MIT Press . [ 5 ] [ 6 ] Одной из мотиваций исследования является способность наделить машины эмоциональным интеллектом , в том числе имитировать эмпатию . Машина должна интерпретировать эмоциональное состояние людей и адаптировать к ним свое поведение, давая соответствующий ответ на эти эмоции.
Области
[ редактировать ]Обнаружение и распознавание эмоциональной информации
[ редактировать ]Обнаружение эмоциональной информации обычно начинается с пассивных датчиков , которые собирают данные о физическом состоянии или поведении пользователя без интерпретации входных данных. Собранные данные аналогичны сигналам, которые люди используют для восприятия эмоций других. Например, видеокамера может фиксировать выражение лица, позу тела и жесты, а микрофон — речь. Другие датчики обнаруживают эмоциональные сигналы, напрямую измеряя физиологические данные, такие как температура кожи и гальваническое сопротивление . [ 7 ]
Распознавание эмоциональной информации требует извлечения значимых закономерностей из собранных данных. Это делается с помощью методов машинного обучения, которые обрабатывают различные методы , такие как распознавание речи , обработка естественного языка или обнаружение выражения лица . Целью большинства этих методов является создание ярлыков, которые соответствовали бы ярлыкам, которые человек-воспринимающий дал бы в той же ситуации: например, если человек делает выражение лица, нахмурив брови, тогда систему компьютерного зрения можно научить обозначать их лицо выглядит «растерянным», «сосредоточенным» или «слегка негативным» (в отличие от позитивного, о котором можно было бы сказать, если бы они улыбались счастливо). Эти ярлыки могут соответствовать, а могут и не соответствовать тому, что на самом деле чувствует человек.
Эмоции в машинах
[ редактировать ]Еще одна область аффективных вычислений — это разработка вычислительных устройств, демонстрирующих либо врожденные эмоциональные способности, либо способных убедительно моделировать эмоции. Более практичный подход, основанный на современных технологических возможностях, — это моделирование эмоций у диалоговых агентов с целью обогащения и облегчения взаимодействия между человеком и машиной. [ 8 ]
Марвин Мински , один из пионеров в области компьютерного интеллекта , связывает эмоции с более широкими проблемами машинного интеллекта, заявляя в книге «Машина эмоций» , что эмоции «не особенно отличаются от процессов, которые мы называем «мышлением». [ 9 ] Инновационный подход «цифровые люди» или виртуальные люди включает в себя попытку придать этим программам, имитирующим человека, и эмоциональное измерение, включая реакции в соответствии с реакцией, которую реальный человек отреагировал бы в определенной эмоционально стимулирующей ситуации, а также мимика и жесты. [ 10 ]
Эмоции в машинах часто относятся к эмоциям в вычислительных системах, часто на основе искусственного интеллекта. В результате термины «эмоциональный ИИ» и « эмоциональный ИИ ». используются [ 11 ]
Технологии
[ редактировать ]В психологии, когнитивной науке и нейробиологии существует два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: непрерывный или категориальный. Непрерывный подход имеет тенденцию использовать такие измерения, как негативный и позитивный, спокойный и возбужденный.
Категориальный подход имеет тенденцию использовать отдельные классы, такие как счастье, грусть, злость, страх, удивление, отвращение. Различные виды моделей регрессии и классификации машинного обучения можно использовать для того, чтобы машины производили непрерывные или дискретные этикетки. Иногда также создаются модели, позволяющие комбинировать категории, например, счастливое удивленное лицо или испуганно-удивленное лицо. [ 12 ]
В следующих разделах рассматриваются многие виды входных данных, используемых для задачи распознавания эмоций .
Эмоциональная речь
[ редактировать ]Различные изменения в вегетативной нервной системе могут косвенно изменить речь человека, а аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, произносимая в состоянии страха, гнева или радости, становится быстрой, громкой и четко произносимой, с более высоким и широким диапазоном тонов, тогда как такие эмоции, как усталость, скука или печаль, имеют тенденцию порождать медленные, низкие звуки. невнятная и невнятная речь. [ 13 ] Было обнаружено, что некоторые эмоции легче идентифицировать с помощью вычислений, например гнев. [ 14 ] или одобрение. [ 15 ]
Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя с помощью компьютерного анализа особенностей речи. Параметры голоса и просодические характеристики, такие как переменные высоты тона и скорость речи, можно анализировать с помощью методов распознавания образов. [ 14 ] [ 16 ]
Речевой анализ является эффективным методом определения аффективного состояния, средняя точность которого составляет от 70 до 80% в исследованиях 2003 и 2006 годов. [ 17 ] [ 18 ] Эти системы, как правило, превосходят среднюю человеческую точность (приблизительно 60%). [ 14 ] ), но менее точны, чем системы, которые используют другие способы обнаружения эмоций, такие как физиологические состояния или выражения лица. [ 19 ] Однако, поскольку многие речевые характеристики не зависят от семантики или культуры, этот метод считается многообещающим направлением для дальнейших исследований. [ 20 ]
Алгоритмы
[ редактировать ]Процесс обнаружения речевого/текстового воздействия требует создания надежной базы данных , базы знаний или модели векторного пространства . [ 21 ] достаточно широкий, чтобы удовлетворить любые потребности его применения, а также выбор успешного классификатора, который позволит быстро и точно идентифицировать эмоции.
По состоянию на 2010 год [update]Наиболее часто используемыми классификаторами были линейные дискриминантные классификаторы (LDC), k-ближайший сосед (k-NN), модель гауссовой смеси (GMM), машины опорных векторов (SVM), искусственные нейронные сети (ANN), алгоритмы дерева решений и скрытые Марковские модели (МММ). [ 22 ] Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы. [ 19 ] В списке ниже дано краткое описание каждого алгоритма:
- LDC – классификация происходит на основе значения, полученного из линейной комбинации значений признаков, которые обычно предоставляются в виде векторных признаков.
- k-NN — классификация происходит путем размещения объекта в пространстве признаков и сравнения его с k ближайшими соседями (обучающие примеры). Решение о классификации принимается большинством голосов.
- GMM – это вероятностная модель, используемая для представления существования субпопуляций внутри общей популяции. Каждая подгруппа описывается с использованием смешанного распределения, которое позволяет классифицировать наблюдения по подгруппам. [ 23 ]
- SVM – это тип (обычно двоичного) линейного классификатора, который решает, в какой из двух (или более) возможных классов может попасть каждый вход.
- ИНС – это математическая модель, созданная на основе биологических нейронных сетей, которая позволяет лучше понять возможные нелинейности пространства признаков.
- Алгоритмы дерева решений - работа, основанная на следовании дереву решений, в котором листья представляют собой результат классификации, а ветви представляют собой сочетание последующих признаков, которые приводят к классификации.
- HMM - статистическая марковская модель, в которой состояния и переходы между состояниями недоступны непосредственному наблюдению. Вместо этого видны серии выходных данных, зависящих от состояний. В случае распознавания аффектов выходные данные представляют собой последовательность векторов речевых характеристик, которые позволяют вывести последовательности состояний, через которые развивалась модель. Состояния могут состоять из различных промежуточных этапов выражения эмоции, и каждый из них имеет распределение вероятностей по возможным выходным векторам. Последовательности состояний позволяют нам предсказать аффективное состояние, которое мы пытаемся классифицировать, и это один из наиболее часто используемых методов в области обнаружения речевого аффекта.
Доказано, что при наличии достаточного количества акустических данных эмоциональное состояние человека можно классифицировать с помощью набора мажоритарных классификаторов. Предлагаемый набор классификаторов основан на трех основных классификаторах: kNN, C4.5 и SVM-RBF Kernel. Этот набор обеспечивает лучшую производительность, чем каждый базовый классификатор, взятый отдельно. Он сравнивается с двумя другими наборами классификаторов: мультиклассовым SVM «один против всех» (OAA) с гибридными ядрами и набором классификаторов, который состоит из следующих двух базовых классификаторов: C5.0 и нейронной сети. Предлагаемый вариант обеспечивает лучшую производительность, чем два других набора классификаторов. [ 24 ]
Базы данных
[ редактировать ]Подавляющее большинство современных систем зависят от данных. Это создает одну из самых больших проблем при обнаружении эмоций на основе речи, поскольку требует выбора подходящей базы данных, используемой для обучения классификатора. Большая часть имеющихся в настоящее время данных была получена от актеров и, таким образом, представляет собой представление архетипических эмоций. Эти так называемые действующие базы данных обычно основаны на теории основных эмоций ( Пола Экмана ), которая предполагает существование шести основных эмоций (гнев, страх, отвращение, удивление, радость, печаль), а остальные представляют собой просто смесь бывшие. [ 25 ] Тем не менее, они по-прежнему предлагают высокое качество звука и сбалансированные классы (хотя зачастую их слишком мало), что способствует высоким показателям успеха в распознавании эмоций.
Однако для реального применения предпочтительны натуралистические данные. Натуралистическая база данных может быть создана путем наблюдения и анализа субъектов в их естественном контексте. В конечном итоге такая база данных должна позволить системе распознавать эмоции на основе их контекста, а также определять цели и результаты взаимодействия. Характер данных этого типа позволяет реализовать их в реальной жизни, поскольку они описывают состояния, естественным образом возникающие во время взаимодействия человека с компьютером (HCI).
Несмотря на многочисленные преимущества натуралистических данных перед сыгранными, они сложны в получении и обычно имеют низкую эмоциональную интенсивность. Более того, данные, полученные в естественном контексте, имеют более низкое качество сигнала из-за шума окружающей среды и расстояния объектов от микрофона. Первой попыткой создать такую базу данных был корпус эмоций FAU Aibo для CEICES (объединение усилий по улучшению автоматической классификации эмоциональных состояний пользователя), который был разработан на основе реалистичного контекста, когда дети (10–13 лет) играют с домашним любимцем-роботом Sony Aibo. . [ 26 ] [ 27 ] Аналогичным образом, создание одной стандартной базы данных для всех эмоциональных исследований предоставит метод оценки и сравнения различных систем распознавания аффектов.
Речевые дескрипторы
[ редактировать ]Сложность процесса распознавания аффектов возрастает с увеличением количества классов (аффектов) и речевых дескрипторов, используемых в классификаторе. Поэтому крайне важно выбрать только наиболее релевантные функции, чтобы гарантировать способность модели успешно идентифицировать эмоции, а также повысить производительность, что особенно важно для обнаружения в реальном времени. Диапазон возможных вариантов огромен: в некоторых исследованиях упоминается использование более 200 различных функций. [ 22 ] Крайне важно выявить излишние и нежелательные эмоции, чтобы оптимизировать систему и повысить вероятность успешного обнаружения правильных эмоций. Наиболее распространенные речевые характеристики можно разделить на следующие группы. [ 26 ] [ 27 ]
- Частотные характеристики [ 28 ]
- Форма акцента – зависит от скорости изменения основной частоты.
- Средний тон – описание того, насколько высоко/низко говорит говорящий по сравнению с обычной речью.
- Наклон контура – описывает тенденцию изменения частоты во времени, она может быть повышающейся, понижающейся или ровной.
- Итоговое понижение – величина, на которую падает частота в конце высказывания.
- Диапазон высоты тона — измеряет разброс между максимальной и минимальной частотой высказывания.
- Функции, связанные со временем:
- Скорость речи – описывает скорость произнесения слов или слогов за единицу времени.
- Частота ударения - измеряет частоту появления высказываний с акцентом на высоте.
- Параметры качества голоса и дескрипторы энергии:
- Дыхание – измеряет придыхательный шум в речи.
- Яркость – описывает доминирование высоких или низких частот в речи.
- Громкость – измеряет амплитуду речевого сигнала и преобразует его в энергию высказывания.
- Pause Discontinuity – описывает переходы между звуком и тишиной.
- Pitch Discontinuity – описывает переходы основной частоты.
Обнаружение аффекта на лице
[ редактировать ]Обнаружение и обработка выражения лица достигаются с помощью различных методов, таких как оптический поток , скрытые модели Маркова , обработка нейронной сети или модели активного внешнего вида. Можно комбинировать или объединять более одной модальности (мультимодальное распознавание, например, мимики и просодии речи, [ 29 ] мимика лица и жесты рук, [ 30 ] или выражения лица с речью и текстом для анализа мультимодальных данных и метаданных), чтобы обеспечить более надежную оценку эмоционального состояния субъекта.
Базы данных выражений лица
[ редактировать ]Создание базы данных эмоций — сложная и трудоемкая задача. Однако создание базы данных является важным шагом в создании системы, которая будет распознавать человеческие эмоции. Большинство общедоступных баз данных эмоций включают только постановочные выражения лица. В базах данных постановочных выражений участников просят продемонстрировать различные основные выражения эмоций, тогда как в базе данных спонтанных выражений выражения являются естественными. Спонтанное выявление эмоций требует значительных усилий по выбору правильных стимулов, которые могут привести к яркому проявлению предполагаемых эмоций. Во-вторых, этот процесс включает в себя маркировку эмоций обученными людьми вручную, что делает базы данных очень надежными. Поскольку восприятие выражений и их интенсивность носят субъективный характер, для целей валидации необходима экспертная аннотация.
Исследователи работают с тремя типами баз данных, такими как база данных только изображений пиковых выражений, база данных последовательностей изображений, изображающих эмоцию от нейтральной до ее пика, и видеоклипы с эмоциональными аннотациями. Для целей распознавания выражений было создано и опубликовано множество баз данных по выражениям лиц. Двумя широко используемыми базами данных являются CK+ и JAFFE.
Классификация эмоций
[ редактировать ]Проводя в конце 1960-х годов межкультурное исследование коренных племен в Папуа, Новая Гвинея, Пол Экман выдвинул идею о том, что выражения эмоций на лице не детерминированы культурой, а универсальны. Таким образом, он предположил, что они имеют биологическое происхождение и, следовательно, могут быть безопасно и правильно классифицированы. [ 25 ] Поэтому в 1972 году он официально сформулировал шесть основных эмоций: [ 31 ]
Однако в 1990-е годы Экман расширил свой список основных эмоций, включив в него ряд положительных и отрицательных эмоций, не все из которых закодированы в мышцах лица. [ 32 ] Недавно добавленные эмоции:
- Развлечение
- Презрение
- Удовлетворенность
- Смущение
- Возбуждение
- Вина
- Гордость за достижения
- Облегчение
- Удовлетворение
- Сенсорное удовольствие
- Стыд
Система кодирования действий лица
[ редактировать ]Психологи придумали систему для формальной классификации физического выражения эмоций на лицах. Центральная концепция системы кодирования лицевых действий , или FACS, созданная Полом Экманом и Уоллесом В. Фризеном в 1978 году на основе более ранней работы Карла-Хермана Хьёртсйо. [ 33 ] являются боевыми единицами (ЕД). По сути, это сокращение или расслабление одной или нескольких мышц. Психологи предложили следующую классификацию шести основных эмоций по единицам их действия («+» здесь означает «и»):
| Эмоции | Единицы действий |
|---|---|
| Счастье | 6+12 |
| Грусть | 1+4+15 |
| Сюрприз | 1+2+5Б+26 |
| Страх | 1+2+4+5+20+26 |
| Злость | 4+5+7+23 |
| Отвращение | 9+15+16 |
| Презрение | Р12А+Р14А |
Проблемы с распознаванием лиц
[ редактировать ]Как и в любой вычислительной практике, при обнаружении аффектов с помощью обработки лица необходимо преодолеть некоторые препятствия, чтобы полностью раскрыть скрытый потенциал используемого алгоритма или метода в целом. На заре почти всех видов обнаружения на основе ИИ (распознавание речи, распознавание лиц, распознавание аффектов) точность моделирования и отслеживания была проблемой. По мере развития аппаратного обеспечения, сбора большего количества данных, совершения новых открытий и внедрения новых практик недостаток точности исчезает, оставляя после себя проблемы с шумом. Однако существуют методы удаления шума, включая усреднение окрестности, линейное сглаживание по Гауссу , медианную фильтрацию, [ 34 ] или более новые методы, такие как алгоритм оптимизации бактериального поиска пищи. [ 35 ] [ 36 ]
Другие проблемы включают в себя
- Тот факт, что заданные выражения, используемые большинством участников различных исследований, не являются естественными, и поэтому алгоритмы, обученные на них, могут не применяться к естественным выражениям.
- Отсутствие свободы вращательного движения. Обнаружение аффекта работает очень хорошо при фронтальном использовании, но при повороте головы более чем на 20 градусов «возникают проблемы». [ 37 ]
- Выражения лица не всегда соответствуют лежащим в основе эмоциям, которые им соответствуют (например, они могут быть позированными или фальшивыми, или человек может чувствовать эмоции, но сохранять «покерфейс»).
- FACS не учитывал динамику, хотя динамика может помочь устранить неоднозначность (например, улыбки искреннего счастья, как правило, имеют другую динамику, чем улыбки «попытки выглядеть счастливыми»).
- Комбинации FACS не соответствуют 1:1 эмоциям, которые первоначально предлагали психологи (обратите внимание, что отсутствие сопоставления 1:1 также встречается при распознавании речи с омофонами и омонимами и многими другими источниками двусмысленности и может быть смягчается за счет привлечения других каналов информации).
- Точность распознавания повышается за счет добавления контекста; однако добавление контекста и других модальностей увеличивает вычислительные затраты и сложность.
Жест тела
[ редактировать ]Жесты можно эффективно использовать как средство определения определенного эмоционального состояния пользователя, особенно в сочетании с распознаванием речи и лиц. В зависимости от конкретного действия жесты могут быть простыми рефлекторными реакциями, например, поднятие плеч, когда вы не знаете ответа на вопрос, или же они могут быть сложными и осмысленными, как при общении с помощью языка жестов. Не используя какой-либо предмет или окружающую среду, мы можем махать руками, хлопать в ладоши или подзывать. С другой стороны, используя объекты, мы можем указывать на них, перемещать, трогать или манипулировать ими. Компьютер должен быть способен распознавать их, анализировать контекст и осмысленно реагировать, чтобы его можно было эффективно использовать для взаимодействия человека и компьютера.
Существует множество предлагаемых методов [ 38 ] чтобы обнаружить жест тела. В некоторой литературе различают два разных подхода к распознаванию жестов: на основе 3D-модели и на основе внешнего вида. [ 39 ] Самый передовой метод использует трехмерную информацию о ключевых элементах частей тела для получения нескольких важных параметров, таких как положение ладоней или углы суставов. С другой стороны, системы, основанные на внешнем виде, используют изображения или видео для прямой интерпретации. Жесты рук всегда были в центре внимания методов обнаружения жестов тела. [ 39 ]
Физиологический мониторинг
[ редактировать ]Это можно использовать для определения аффективного состояния пользователя путем мониторинга и анализа его физиологических признаков. Эти признаки варьируются от изменений частоты сердечных сокращений и проводимости кожи до мельчайших сокращений лицевых мышц и изменений лицевого кровотока. Эта область набирает обороты, и теперь мы видим реальные продукты, реализующие эти методы. Обычно анализируются четыре основных физиологических признака: объем крови , кожно-гальваническая реакция , электромиография лица и цвет лица.
Пульс объема крови
[ редактировать ]Обзор
[ редактировать ]Пульс объема крови (ОБД) субъекта можно измерить с помощью процесса, называемого фотоплетизмографией , который создает график, показывающий поток крови через конечности. [ 40 ] Пики волн указывают на сердечный цикл, когда сердце перекачивает кровь к конечностям. Если субъект испытывает страх или испуган, его сердце обычно некоторое время «подпрыгивает» и быстро бьется, вызывая увеличение амплитуды сердечного цикла. Это хорошо видно на фотоплетизмографе, когда расстояние между впадиной и пиком волны уменьшилось. Когда субъект успокоится и внутреннее ядро тела расширится, позволяя большему количеству крови течь обратно к конечностям, цикл вернется в норму.
Методология
[ редактировать ]Специальное сенсорное оборудование воздействует на кожу инфракрасным светом и измеряет количество отраженного света. Количество отраженного и прошедшего света коррелирует с BVP, поскольку свет поглощается гемоглобином, который в большом количестве содержится в кровотоке.
Недостатки
[ редактировать ]Может оказаться затруднительным гарантировать, что датчик, излучающий инфракрасный свет и отслеживающий отраженный свет, всегда направлен на одну и ту же точку, особенно если учесть, что объекты часто растягиваются и меняют свое положение во время использования компьютера. Есть и другие факторы, которые могут повлиять на объем пульса крови. Поскольку это показатель кровотока через конечности, если субъект чувствует себя жарко или особенно холодно, то его тело может пропускать больше или меньше крови к конечностям, и все это независимо от эмоционального состояния субъекта.
Лицевая электромиография
[ редактировать ]Лицевая электромиография — это метод, используемый для измерения электрической активности лицевых мышц путем усиления крошечных электрических импульсов, которые генерируются мышечными волокнами при их сокращении. [ 41 ] Лицо выражает много эмоций, однако существует две основные группы лицевых мышц, которые обычно изучаются для обнаружения эмоций: Мышца, сморщивающая брови, также известная как «нахмуренная» мышца, хмурит брови и, следовательно, является лучшим тестом на отрицательную, неприятную эмоциональную реакцию. ↵ Большая скуловая мышца отвечает за оттягивание углов рта назад. когда вы улыбаетесь, и, следовательно, эта мышца используется для проверки положительной эмоциональной реакции.
Кожно-гальваническая реакция
[ редактировать ]Кожно-гальваническая реакция (КГР) — устаревший термин для более общего явления, известного как «Электродермальная активность» или ЭДА. ЭДА – это общее явление, при котором изменяются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение ее сопротивления или проводимости позволяет количественно оценить небольшие изменения в симпатической ветви вегетативной нервной системы. Поскольку потовые железы активируются, даже до того, как кожа почувствует потливость, уровень ЭДА можно определить (обычно с помощью проводимости) и использовать для выявления небольших изменений вегетативного возбуждения. Чем более возбужден субъект, тем выше проводимость кожи. [ 40 ]
Проводимость кожи часто измеряют с помощью двух небольших хлорсеребряных электродов, помещаемых где-нибудь на кожу и прикладывающих между ними небольшое напряжение. Чтобы максимизировать комфорт и уменьшить раздражение, электроды можно разместить на запястьях, ногах или ступнях, что оставляет руки полностью свободными для повседневной деятельности.
Цвет лица
[ редактировать ]Обзор
[ редактировать ]Поверхность человеческого лица иннервируется крупной сетью кровеносных сосудов. Изменения кровотока в этих сосудах приводят к видимым изменениям цвета лица. Независимо от того, активируют ли лицевые эмоции мышцы лица, происходят изменения в кровотоке, артериальном давлении, уровне глюкозы и другие изменения. Кроме того, цветовой сигнал лица не зависит от сигнала, обеспечиваемого движениями мышц лица. [ 42 ]
Методология
[ редактировать ]Подходы основаны на изменении цвета лица. Триангуляция Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, определяющих внутреннюю часть рта и глаз (склера и радужная оболочка), удаляются. Используйте пиксели левых треугольных областей для создания векторов объектов. [ 42 ] Он показывает, что преобразование цвета пикселя стандартного цветового пространства RGB в цветовое пространство, такое как цветовое пространство oRGB. [ 43 ] или каналы LMS работают лучше при работе с лицами. [ 44 ] Итак, сопоставьте приведенный выше вектор с лучшим цветовым пространством и разложите его на красно-зеленый и желто-синий каналы. Затем используйте методы глубокого обучения, чтобы найти эквивалентные эмоции.
Визуальная эстетика
[ редактировать ]Эстетика в мире искусства и фотографии относится к принципам природы и понимания красоты. Оценка красоты и других эстетических качеств — весьма субъективная задача. Ученые-компьютерщики из штата Пенсильвания рассматривают задачу автоматического определения эстетического качества изображений с использованием их визуального контента как проблему машинного обучения, используя в качестве источника данных веб-сайт для обмена фотографиями с одинаковым рейтингом. [ 45 ] Они извлекают определенные визуальные особенности, основываясь на интуиции, позволяющей различать эстетически приятные и неприятные изображения.
Возможные применения
[ редактировать ]Образование
[ редактировать ]Привязанность влияет на состояние обучения учащихся. Используя технологию аффективных вычислений, компьютеры могут судить об привязанности учащихся и состоянии обучения, распознавая выражения их лиц. В сфере образования учитель может использовать результаты анализа, чтобы понять способность учащегося к обучению и принятию, а затем сформулировать разумные планы обучения. В то же время они могут обращать внимание на внутренние чувства учащихся, что полезно для их психологического здоровья. Особенно в дистанционном образовании из-за разделения времени и пространства между преподавателями и учениками нет эмоционального стимула к двустороннему общению. Без атмосферы, создаваемой традиционным обучением в классе, учащимся быстро становится скучно, и это влияет на эффект обучения. Применение аффективных вычислений в системе дистанционного образования может эффективно улучшить эту ситуацию. [ 46 ]
Транспорт
[ редактировать ]Применение сенсорных вычислений может способствовать повышению безопасности дорожного движения. Например, автомобиль может отслеживать эмоции всех пассажиров и принимать дополнительные меры безопасности, например, предупреждать другие транспортные средства, если обнаруживает, что водитель рассержен. [ 47 ] Кроме того, аффективные вычислительные системы для мониторинга стресса водителя могут позволять различные вмешательства, такие как системы помощи водителю, настраиваемые в зависимости от уровня стресса. [ 48 ] и минимальное и прямое вмешательство для изменения эмоционального состояния водителя. [ 49 ]
Здравоохранение
[ редактировать ]Социальные роботы , а также растущее число роботов, используемых в здравоохранении, получают выгоду от эмоциональной осведомленности, поскольку они могут лучше оценивать эмоциональное состояние пользователей и пациентов и соответствующим образом изменять свои действия/программы. Это особенно важно в странах с растущим стареющим населением и/или нехваткой молодых работников для удовлетворения их потребностей. [ 50 ]
Аффективные вычисления также применяются для разработки коммуникативных технологий для людей с аутизмом. [ 51 ] Аффективная составляющая текста также все больше привлекает внимание, особенно ее роль в так называемом эмоциональном или эмотивном Интернете . [ 52 ]
Видеоигры
[ редактировать ]Аффективные видеоигры могут получать доступ к эмоциональному состоянию своих игроков через устройства биологической обратной связи . [ 53 ] Особенно простая форма биологической обратной связи доступна через геймпады , которые измеряют силу нажатия кнопки: было показано, что это сильно коррелирует с уровнем возбуждения игроков ; [ 54 ] На другом конце шкалы находятся интерфейсы мозг-компьютер . [ 55 ] [ 56 ] Аффективные игры использовались в медицинских исследованиях для поддержки эмоционального развития детей с аутизмом . [ 57 ]
Психомоторная тренировка
[ редактировать ]Методы тренировки психомоторных операций, таких как рулевое управление и маневрирование, используются в различных областях, таких как авиация, транспорт и медицина. Было обнаружено, что интеграция возможностей аффективных вычислений в системы обучения этого типа в соответствии с подходом адаптивной автоматизации эффективна для повышения качества обучения и сокращения необходимой продолжительности обучения. [ 58 ]
Другие приложения
[ редактировать ]Аффективные вычисления имеют потенциальное применение во взаимодействии человека с компьютером , например, аффективные зеркала, позволяющие пользователю видеть, как он или она работает; агенты мониторинга эмоций отправляют предупреждение перед отправкой гневного электронного письма; или даже музыкальные проигрыватели, выбирающие треки по настроению. [ 59 ]
Одна из идей, выдвинутых румынским исследователем доктором Нику Себе в интервью, заключается в анализе лица человека, когда он употребляет определенный продукт (в качестве примера он упомянул мороженое). [ 60 ] Тогда компании смогут использовать такой анализ, чтобы сделать вывод, будет ли их продукт хорошо принят соответствующим рынком.
Можно также использовать аффективное государственное распознавание, чтобы оценить воздействие телевизионной рекламы посредством видеозаписи этого человека в реальном времени и последующего изучения выражения его или ее лица. Усредняя результаты, полученные на большой группе субъектов, можно сказать, имеет ли рекламный ролик (или фильм) желаемый эффект и какие элементы больше всего интересуют зрителя.
Когнитивистский и интерактивный подходы
[ редактировать ]В области взаимодействия человека и компьютера когнитивистская эмоций Розалинды Пикард , концепция или «информационная модель», подвергалась критике и противопоставлялась «посткогнитивистскому» или «интеракциональному» прагматическому подходу, принятому Кирстен Бонер и другими, которые рассматривают эмоции. как по своей сути социальный. [ 61 ]
В центре внимания Пикард - взаимодействие человека и компьютера, а ее цель в области аффективных вычислений - «дать компьютерам способность распознавать, выражать и, в некоторых случаях, «испытывать» эмоции». [ 4 ] Напротив, интеракционный подход направлен на то, чтобы помочь «людям понять и пережить свои собственные эмоции». [ 62 ] и улучшить компьютерное межличностное общение. Он не обязательно стремится отобразить эмоции в объективную математическую модель для машинной интерпретации, а скорее позволяет людям понимать выражения эмоций друг друга открытыми способами, которые могут быть двусмысленными, субъективными и чувствительными к контексту. [ 62 ] : 284 [ нужен пример ]
Критики Пикард описывают ее концепцию эмоций как «объективную, внутреннюю, частную и механистическую». Они говорят, что это сводит эмоции к дискретному психологическому сигналу, происходящему внутри тела, который можно измерить и который является входной информацией для познания, снижая сложность эмоционального опыта. [ 62 ] : 280 [ 62 ] : 278
Интеракционный подход утверждает, что, хотя эмоция имеет биофизические аспекты, она «культурно обоснована, динамически переживается и в некоторой степени конструируется в действии и взаимодействии». [ 62 ] : 276 Другими словами, он рассматривает «эмоции как социальный и культурный продукт, переживаемый в результате нашего взаимодействия». [ 63 ] [ 62 ] [ 64 ]
См. также
[ редактировать ]Ссылки
[ редактировать ]Цитаты
[ редактировать ]- ^ Тао, Цзяньхуа; Тьеню Тан (2005). «Аффективные вычисления: обзор». Аффективные вычисления и интеллектуальное взаимодействие . Том. LNCS 3784. Спрингер. стр. 981–995. дои : 10.1007/11573548 .
- ^ Джеймс, Уильям (1884). «Что такое эмоция» . Разум . 9 (34): 188–205. дои : 10.1093/mind/os-IX.34.188 . Цитируется Тао и Таном.
- ^ «Аффективные вычисления» Технический отчет Массачусетского технологического института № 321 ( Резюме ), 1995 г.
- ^ Перейти обратно: а б Пикард, Розалинда (1997). Аффективные вычисления . Кембридж, Массачусетс: MIT Press. п. 1.
- ^
Кляйне-Казак, Кристиан (октябрь 2006 г.). «Распознавание и моделирование эмоций» (PDF) . Архивировано из оригинала (PDF) 28 мая 2008 года . Проверено 13 мая 2008 г.
Введение эмоций в информатику было сделано Пикардом (так в оригинале), который создал область аффективных вычислений.
- ^
Даймонд, Дэвид (декабрь 2003 г.). «Машина любви; создание заботливых компьютеров» . Проводной . Архивировано из оригинала 18 мая 2008 года . Проверено 13 мая 2008 г.
Розалинда Пикард, гениальный профессор Массачусетского технологического института, является крестной матерью этой области; ее книга 1997 года «Аффективные вычисления » вызвала взрыв интереса к эмоциональной стороне компьютеров и их пользователей.
- ^ Гарай, Нестор; Идоя Серрета; Хуан Мигель Лопес; Инмакулада Фахардо (апрель 2006 г.). «Вспомогательные технологии и аффективная медиация» (PDF) . Человеческие технологии . 2 (1): 55–83. дои : 10.17011/ht/urn.2006159 . Архивировано (PDF) из оригинала 28 мая 2008 г. Проверено 12 мая 2008 г.
- ^ Хейзе, Дэвид (2004). «Инкультурация агентов с выразительным ролевым поведением». У Сабины Пайр; Траппл, Роберт (ред.). Агентская культура: взаимодействие человека и агента в мультикультурном мире . Лоуренс Эрлбаум Ассошиэйтс. стр. 127–142.
- ^ Рестак, Ричард (17 декабря 2006 г.). «Разум превыше материи» . Вашингтон Пост . Проверено 13 мая 2008 г.
- ^ Лавис, Кейт; Сагар, Марк; Бродбент, Элизабет (22 июля 2020 г.). «Влияние мультимодального эмоционального выражения на реакцию цифрового человека во время разговора о самораскрытии: вычислительный анализ языка пользователя» . Журнал медицинских систем . 44 (9): 143. дои : 10.1007/s10916-020-01624-4 . ISSN 0148-5598 . ПМИД 32700060 . S2CID 220717084 .
- ^ Хо, Мань-Тунг (29 марта 2023 г.). «Аналитическая основа для изучения отношения к эмоциональному ИИ: трехсторонний подход» . МетодыX . 10 (102149) – через Elsevier Science Direct.
- ^ Алейкс и Шичуань Ду, Мартинес (2012). «Модель восприятия человеком выражений эмоций на лице: обзор исследования и перспективы» (PDF) . Журнал исследований машинного обучения . 13 (1): 1589–1608.
- ^ Бризил, Синтия; Ариананда, Легион (2002). «Распознавание аффективного коммуникативного намерения в речи, управляемой роботом» (PDF) . Автономные роботы . 12 (1). Спрингер: 83–104. дои : 10.1023/а:1013215010749 . ISSN 0929-5593 . S2CID 459892 .
- ^ Перейти обратно: а б с Деллаерт Ф., Полизин Т. и Вайбель А. Распознавание эмоций в речи», В материалах ICSLP, 1996 г., Филадельфия, Пенсильвания, стр. 1970–1973, 1996 г.
- ^ Рой, Д.; Пентленд, А. (1 октября 1996 г.). «Автоматическая классификация и анализ разговорных аффектов». Материалы Второй международной конференции по автоматическому распознаванию лиц и жестов . стр. 363–367. дои : 10.1109/AFGR.1996.557292 . ISBN 978-0-8186-7713-7 . S2CID 23157273 .
- ^ Ли, CM; Нарайанан, С.; Пьераччини Р. Распознавание негативных эмоций в речевых сигналах человека, Семинар по авто. Распознавание и понимание речи, декабрь 2001 г.
- ^ Нейберг, Д; Элениус, К; Ласковский, К. (2006). «Распознавание эмоций в спонтанной речи с использованием GMM» (PDF) . Труды Интерспича . doi : 10.21437/Interspeech.2006-277 . S2CID 5790745 .
- ^ Якуб, Шериф; Симске, Стив; Линь, Сяофань; Бернс, Джон (2003). «Распознавание эмоций в интерактивных системах голосового ответа». Труды Eurospeech : 729–732. CiteSeerX 10.1.1.420.8158 . doi : 10.21437/Eurospech.2003-307 . S2CID 11671944 .
- ^ Перейти обратно: а б Гудличка 2003 , с. 24
- ^ Гудличка 2003 , с. 25
- ^ Чарльз Осгуд; Уильям Мэй; Мюррей Мирон (1975). Межкультурные универсалии аффективного значения . унив. из Иллинойс Пресс. ISBN 978-94-007-5069-2 .
- ^ Перейти обратно: а б Шерер, Бенцигер и Роеш 2010 , с. 241
- ^ "Модель гауссовой смеси" . Connexions – обмен знаниями и создание сообществ. Проверено 10 марта 2011 г.
- ^ С.Е. Хоружников; и др. (2014). «Расширенное распознавание и прогнозирование речевых эмоций» . Научно-технический журнал информационных технологий, механики и оптики . 14 (6): 137.
- ^ Перейти обратно: а б Экман П. и Фризен В.В. (1969). Репертуар невербального поведения: категории, происхождение, использование и кодирование . Семиотика, 1, 49–98.
- ^ Перейти обратно: а б Стейдл, Стефан (5 марта 2011 г.). «Корпус эмоций ФАУ Айбо» . Лаборатория распознавания образов.
- ^ Перейти обратно: а б Шерер, Бенцигер и Роеш 2010 , с. 243
- ^ Сингх, Премджит; Саха, Гутам; Сахидулла, Мэриленд (2021). «Нелинейное искажение частоты с использованием преобразования с постоянной добротностью для распознавания речевых эмоций». Международная конференция по компьютерной связи и информатике (ICCCI) 2021 . стр. 1–4. arXiv : 2102.04029 . дои : 10.1109/ICCCI50826.2021.9402569 . ISBN 978-1-7281-5875-4 . S2CID 231846518 .
- ^ Каридакис, Г.; Малатеста, Л.; Кессоус, Л.; Амир, Н.; Раузайу, А.; Карпузис, К. (2–4 ноября 2006 г.). Моделирование натуралистических аффективных состояний посредством распознавания мимики и голоса . Международная конференция по мультимодальным интерфейсам (ICMI'06). Банф, Альберта, Канада.
- ^ Баломенос, Т.; Раузайу, А.; Иоанну, С.; Дросопулос, А.; Карпузис, К.; Коллиас, С. (2004). «Анализ эмоций в системах взаимодействия человека и машины» . В Бенджио, Сами; Бурлар, Эрве (ред.). Машинное обучение для мультимодального взаимодействия . Конспекты лекций по информатике . Том. 3361. Шпрингер-Верлаг . стр. 318–328.
- ^ Экман, Пол (1972). Коул, Дж. (ред.). Универсалии и культурные различия в выражении эмоций на лице . Симпозиум Небраски по мотивации. Линкольн, Небраска: Издательство Университета Небраски. стр. 207–283.
- ^ Экман, Пол (1999). «Основные эмоции». В Далглише, Т; Мощность, М (ред.). Справочник по познанию и эмоциям (PDF) . Сассекс, Великобритания: John Wiley & Sons. Архивировано из оригинала (PDF) 28 декабря 2010 г. .
- ^ «Система кодирования действий лица (FACS) и руководство FACS». Архивировано 19 октября 2013 г., в Wayback Machine . Человеческое лицо. Проверено 21 марта 2011 г.
- ^ «Методы пространственной области» .
- ^ Умные алгоритмы. «Алгоритм оптимизации бактериального поиска пищи – Роевые алгоритмы – Умные алгоритмы». Архивировано 12 июня 2019 г. на Wayback Machine . Умные алгоритмы. Проверено 21 марта 2011 г.
- ^ «Мягкие вычисления» . Мягкие вычисления. Проверено 18 марта 2011 г.
- ^ Уильямс, Марк. «Лучшее программное обеспечение для распознавания лиц – обзор технологий». Архивировано 8 июня 2011 г. в Wayback Machine . Обзор технологий: орган по вопросам будущего технологий. Проверено 21 марта 2011 г.
- ^ Дж. К. Аггарвал, К. Цай, Анализ движения человека: обзор, Компьютерное зрение и понимание изображений, Том. 73, № 3, 1999 г.
- ^ Перейти обратно: а б Павлович Владимир Иванович; Шарма, Раджив; Хуанг, Томас С. (1997). «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор» (PDF) . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 19 (7): 677–695. дои : 10.1109/34.598226 . S2CID 7185733 .
- ^ Перейти обратно: а б Пикард, Розалинда (1998). Аффективные вычисления. Массачусетский технологический институт.
- ^ Ларсен Дж.Т., Норрис С.Дж., Качиоппо Дж.Т., « Влияние положительного и отрицательного воздействия на электромиографическую активность больших скуловых мышц и сморщивающихся бровей » (сентябрь 2003 г.)
- ^ Перейти обратно: а б Бенитес-Кирос, Карлос Ф.; Шринивасан, Рампракаш; Мартинес, Алей М. (19 марта 2018 г.). «Цвет лица — эффективный механизм визуальной передачи эмоций» . Труды Национальной академии наук . 115 (14): 3581–3586. Бибкод : 2018PNAS..115.3581B . дои : 10.1073/pnas.1716084115 . ПМЦ 5889636 . ПМИД 29555780 .
- ^ Браткова, Маргарита; Булос, Соломон; Ширли, Питер (2009). «oRGB: цветовое пространство практического противника компьютерной графики». IEEE Компьютерная графика и приложения . 29 (1): 42–55. дои : 10.1109/mcg.2009.13 . ПМИД 19363957 . S2CID 16690341 .
- ^ Хадас Шахар, Хагит Хель-Ор , Классификация микровыражений с использованием цвета лица и методов глубокого обучения , Международная конференция IEEE по компьютерному зрению (ICCV), 2019, стр. 0–0.
- ^ Ритендра Датта, Дирадж Джоши, Цзя Ли и Джеймс З. Ван, Изучение эстетики фотографических изображений с использованием вычислительного подхода , Конспекты лекций по информатике, том. 3953, Материалы Европейской конференции по компьютерному зрению, Часть III, стр. 288–301, Грац, Австрия, май 2006 г.
- ^ Ву, Чи-Хун; Хуан, Юэ-Мин; Хван, Ян-Пан (ноябрь 2016 г.). «Обзор аффективных вычислений в образовании/обучении: тенденции и проблемы» . Британский журнал образовательных технологий . 47 (6): 1304–1323. дои : 10.1111/bjet.12324 .
- ^ «Распознавание лиц в автомобиле обнаруживает разгневанных водителей, чтобы предотвратить ярость на дороге» . Гизмодо . 30 августа 2018 г.
- ^ Колле, Кристиан; Музыкант Орен (24 апреля 2019 г.). «Связывание автоматизации транспортных средств с системами оценки функционального состояния водителей: вызов безопасности дорожного движения в будущем» . Границы человеческой неврологии . 13 : 131. дои : 10.3389/fnhum.2019.00131 . ISSN 1662-5161 . ПМК 6503868 . ПМИД 31114489 .
- ^ Балтерс, Стефани; Бернштейн, Мэдлин; Паредес, Пабло Э. (2 мая 2019 г.). «Анализ стресса на дороге для вмешательства в автомобиле во время поездки» . Расширенные тезисы конференции CHI 2019 года по человеческому фактору в вычислительных системах . АКМ. стр. 1–6. дои : 10.1145/3290607.3312824 . ISBN 978-1-4503-5971-9 . S2CID 144207824 .
- ^ Йонк, Ричард (2017). Сердце машины: наше будущее в мире искусственного эмоционального интеллекта . Нью-Йорк: Издательство Arcade Publishing. стр. 150–153. ISBN 9781628727333 . OCLC 956349457 .
- ^ Проекты в области аффективных вычислений
- ^ Шанахан, Джеймс; Цюй, Ян; Вибе, Дженис (2006). Вычисление отношения и аффекта в тексте: теория и приложения . Дордрехт: Springer Science & Business Media. п. 94. ISBN 1402040261
- ^ Гиллиад, Киль-Марк; Дикс, Алан; Аллансон, Джен (2005). Аффективные видеоигры и способы аффективных игр: помоги мне, брось мне вызов, подари мне эмоции (PDF) . Учеб. ДиГРА Конференция . Архивировано из оригинала (PDF) 6 апреля 2015 г. Проверено 10 декабря 2016 г.
- ^ Сайкс, Джонатан; Браун, Саймон (2003). Аффективные игры: измерение эмоций с помощью геймпада . CHI '03 Расширенные тезисы по человеческому фактору в вычислительных системах. CiteSeerX 10.1.1.92.2123 . дои : 10.1145/765891.765957 . ISBN 1581136374 .
- ^ Нейхолт, Антон; Пласс-Уде Бос, Дэнни; Ройдеринк, Борис (2009). «Превращение недостатков в проблемы: интерфейсы мозг-компьютер для игр» (PDF) . Развлечения Компьютеры . 1 (2): 85–94. Бибкод : 2009itie.conf..153N . дои : 10.1016/j.entcom.2009.09.007 .
- ^ Ройдеринк, Борис; Нейхолт, Антон; Поэль, Маннес (2009). Affective Pacman: разочаровывающая игра для экспериментов по интерфейсу мозг-компьютер . Интеллектуальные технологии для интерактивных развлечений (INTETAIN). стр. 221–227. дои : 10.1007/978-3-642-02315-6_23 . ISBN 978-3-642-02314-9 .
- ^ Хандакер, М. (2009). «Разработка аффективных видеоигр для поддержки социально-эмоционального развития подростков с расстройствами аутистического спектра». Исследования в области медицинских технологий и информатики . 144 : 37–9. ПМИД 19592726 .
- ^ Сахар, Йотам; Вагнер, Майкл; Барель, Ариэль; Шовал, Шрага (01 ноября 2022 г.). «Стресс-адаптивная тренировка: адаптивная психомоторная тренировка в зависимости от стресса, измеряемого силой захвата» . Датчики . 22 (21): 8368. Бибкод : 2022Senso..22.8368S . дои : 10.3390/s22218368 . ISSN 1424-8220 . ПМЦ 9654132 . ПМИД 36366066 .
- ^ Янссен, Йорис Х.; ван ден Брук, Эгон Л. (июль 2012 г.). «Настройтесь на свои эмоции: надежный персонализированный музыкальный плеер» . Пользовательское моделирование и взаимодействие с пользователем . 22 (3): 255–279. дои : 10.1007/s11257-011-9107-7 . hdl : 2066/103051 .
- ^ «Мона Лиза: Улыбается? Ученые-компьютерщики разрабатывают программное обеспечение, оценивающее мимику лица» . ScienceDaily . 1 августа 2006 г. Архивировано из оригинала 19 октября 2007 г.
- ^ Баттарби, Катя; Коскинен, Ильпо (2005). «Совместный опыт: пользовательский опыт как взаимодействие» (PDF) . Кодизайн . 1 (1): 5–18. CiteSeerX 10.1.1.294.9178 . дои : 10.1080/15710880412331289917 . S2CID 15296236 . Архивировано из оригинала (PDF) 14 декабря 2017 г. Проверено 2 февраля 2016 г.
- ^ Перейти обратно: а б с д и ж Бонер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2007). «Как создаются и измеряются эмоции». Международный журнал человеко-компьютерных исследований . 65 (4): 275–291. дои : 10.1016/j.ijhcs.2006.11.016 . S2CID 15551492 .
- ^ Бонер, Кирстен; ДеПаула, Роджерио; Дуриш, Пол ; Сенгерс, Фиби (2005). «Привязанность: от информации к взаимодействию». Материалы Орхусской десятилетней конференции по критическим вычислениям : 59–68.
- ^ Крюк, Кристина; Шталь, Анна; Сундстрем, Петра; Лааксолахти, Ярмо (2008). «Интерактивное расширение возможностей» (PDF) . Учеб. ЧИ : 647–656.
Цитируемые работы
[ редактировать ]- Гудличка, Ева (2003). «Чувствовать или не чувствовать: роль аффекта во взаимодействии человека и компьютера». Международный журнал человеко-компьютерных исследований . 59 (1–2): 1–32. CiteSeerX 10.1.1.180.6429 . дои : 10.1016/s1071-5819(03)00047-8 .
- Шерер, Клаус Р.; Бенцигер, Таня; Роеш, Этьен Б. (2010). Схема аффективных вычислений: справочник и руководство . Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-956670-9 .
