Распознавание эмоций в разговоре
Распознавание эмоций в разговоре ( ERC ) — это подобласть распознавания эмоций , которая фокусируется на изучении человеческих эмоций в разговорах или диалогах с двумя или более собеседниками . [1] Наборы данных в этой области обычно получаются с социальных платформ , которые предоставляют бесплатные и многочисленные образцы, часто содержащие мультимодальные данные (т. е. некоторую комбинацию текстовых, визуальных и акустических данных). [2] Личностное и межличностное влияние играют решающую роль. [3] в выявлении некоторых основных эмоций, таких как страх , гнев , радость, удивление и т. д. Чем более детальны ярлыки эмоций, тем труднее обнаружить правильную эмоцию. ERC ставит ряд проблем, [1] такие как моделирование разговорного контекста, моделирование состояния говорящего, присутствие сарказма в разговоре, сдвиг эмоций в последовательных высказываниях одного и того же собеседника .
Задача
[ редактировать ]Задача ERC заключается в обнаружении эмоций, выраженных говорящими в каждом высказывании разговора. ERC зависит от трех основных факторов – контекста разговора, психического состояния собеседников и намерений. [1]
Наборы данных
[ редактировать ]ИЕМОКАП, [4] НЕДЕЛЯ, [5] Ежедневный Диалог, [6] и МЭЛД [7] — это четыре широко используемых набора данных в ERC. Среди этих четырех наборов данных MELD содержит многосторонние диалоги.
Методы
[ редактировать ]Подходы к ERC включают неконтролируемый , полунеконтролируемый и контролируемый подходы. [8] методы. Популярные контролируемые методы включают использование или объединение заранее определенных функций, рекуррентных нейронных сетей. [9] (ДиалогРНН [10] ), графические сверточные сети [11] (ДиалогGCN [12] ) и иерархическая сеть памяти, управляемая вниманием. [13] Большинство современных методов ERC основаны на глубоком обучении и идее моделирования скрытого состояния говорящего.
Распознавание причин эмоций в разговоре
[ редактировать ]Недавно появилась новая подзадача ERC, направленная на распознавание причин эмоций в разговоре. [14] Методы решения этой задачи основаны на механизме ответов на вопросы на основе языковых моделей. РЕККОН [14] является одним из ключевых наборов данных для этой задачи.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: Перейти обратно: а б с Пория, Суджанья; Маджумдер, Навонил; Михалча, Рада; Хови, Эдуард (2019). «Распознавание эмоций в разговоре: проблемы исследования, наборы данных и последние достижения». Доступ IEEE . 7 : 100943–100953. arXiv : 1905.02947 . Бибкод : 2019arXiv190502947P . дои : 10.1109/ACCESS.2019.2929050 . S2CID 147703962 .
- ^ Ли, Чул Мин; Нарайанан, Шрикант (март 2005 г.). «На пути к распознаванию эмоций в разговорных диалогах». Транзакции IEEE по обработке речи и аудио . 13 (2): 293–303. дои : 10.1109/TSA.2004.838534 . S2CID 12710581 .
- ^ Хазарика, Деваманью; Пория, Суджанья; Циммерманн, Роджер; Михалча, Рада (октябрь 2019 г.). «Распознавание эмоций в разговорах с помощью трансферного обучения на основе генеративного моделирования разговоров». arXiv : 1910.04980 [ cs.CL ].
- ^ Буссо, Карлос; Булут, Муртаза; Ли, Чи-Чун; Каземзаде, Абэ; Мауэр, Эмили ; Ким, Сэмюэл; Чанг, Жаннетт Н.; Ли, Сунгбок; Нарайанан, Шрикант С. (5 ноября 2008 г.). «IEMOCAP: интерактивная база данных эмоционального диадного захвата движений». Языковые ресурсы и оценка . 42 (4): 335–359. дои : 10.1007/s10579-008-9076-6 . ISSN 1574-020X . S2CID 11820063 .
- ^ Маккеун, Г.; Валстар, М.; Коуи, Р.; Пантич, М.; Шредер, М. (2 января 2012 г.). «База данных SEMAINE: аннотированные мультимодальные записи эмоционально окрашенных разговоров между человеком и агентом с ограниченной ответственностью» . Транзакции IEEE для аффективных вычислений . 3 (1): 5–17. дои : 10.1109/t-affc.2011.20 . ISSN 1949-3045 . S2CID 2995377 .
- ^ Ли, Яньрань, Хуэй Су, Сяоюй Шен, Вэньцзе Ли, Цзыцян Цао и Шузи Ню. «DailyDialog: набор данных многоходового диалога, размеченный вручную». В материалах восьмой международной совместной конференции по обработке естественного языка (Том 1: Длинные статьи) , стр. 986-995. 2017.
- ^ Пория, Суджанья; Хазарика, Деваманью; Маджумдер, Навонил; Наик, Гаутама; Камбрия, Эрик; Михалча, Рада (2019). «MELD: мультимодальный многосторонний набор данных для распознавания эмоций в разговорах». Материалы 57-го ежегодного собрания Ассоциации компьютерной лингвистики . Страудсбург, Пенсильвания, США: Ассоциация компьютерной лингвистики: 527–536. arXiv : 1810.02508 . дои : 10.18653/v1/p19-1050 . S2CID 52932143 .
- ^ Абдельвахаб, Мохаммед; Буссо, Карлос (март 2005 г.). «Адаптация контролируемой области для распознавания эмоций по речи». Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP) , 2015 г. стр. 5058–5062. дои : 10.1109/ICASSP.2015.7178934 . ISBN 978-1-4673-6997-8 . S2CID 8207841 .
{{cite book}}:|journal=игнорируется ( помогите ) - ^ Chernykh, Vladimir; Prikhodko, Pavel; King, Irwin (Jul 2019). "Emotion Recognition From Speech With Recurrent Neural Networks". arXiv : 1701.08071 [ cs.CL ].
- ^ Маджумдер, Навонил; Пория, Суджанья; Хазарика, Деваманью; Михалча, Рада; Гельбух, Александр; Камбрия, Эрик (17 июля 2019 г.). «DialogueRNN: Внимательная RNN для обнаружения эмоций в разговорах» . Материалы конференции AAAI по искусственному интеллекту . 33 : 6818–6825. arXiv : 1811.00405 . дои : 10.1609/aaai.v33i01.33016818 . ISSN 2374-3468 .
- ^ «Сверточные сети на графах приближают распознавание эмоций к машинам. Вот как» . Тех Таймс. 2019-11-26 . Проверено 25 февраля 2020 г.
- ^ Госал, Дипанвей; Маджумдер, Навонил; Суджанья, Пория (август 2019 г.). DialogueGCN: графовая сверточная нейронная сеть для распознавания эмоций в разговоре . Конференция по эмпирическим методам обработки естественного языка (EMNLP).
- ^ Цзяо, Вэньсян; Р. Лю, Майкл; Кинг, Ирвин (ноябрь 2019 г.). «Распознавание эмоций в реальном времени с помощью иерархической сети памяти, управляемой вниманием». arXiv : 1911.09075 [ cs.CL ].
- ^ Jump up to: Перейти обратно: а б Пория, Суджанья; Маджумдер, Навонил; Хазарика, Деваманью; Госал, Дипанвей; Бхардвадж, Ришаб; Цзянь, Самсон Ю Бай; Хун, Пэнфэй; Гош, Ромила; Рой, Абхинаба; Чхая, Нияти; Гельбух, Александр (13 сентября 2021 г.). «Распознавание причин эмоций в разговоре» . Когнитивные вычисления . 13 (5): 1317–1332. arXiv : 2012.11820 . дои : 10.1007/s12559-021-09925-7 . ISSN 1866-9964 . S2CID 229349214 .
