OpenSMILE
| Разработчик(и) | аудЕЕРИНГ ГмбХ |
|---|---|
| Первоначальный выпуск | сентябрь 2010 г |
| Стабильная версия | 3.0.1 [ 1 ]
/ 4 января 2022 г |
| Написано в | С++ |
| Платформа | Linux , macOS , Windows , Android , iOS |
| Тип | Машинное обучение |
| Лицензия | Доступен исходный код , собственная собственность |
| Веб-сайт | audeering.com |
openSMILE [ 2 ] — это доступное для источника программное обеспечение для автоматического извлечения характеристик из аудиосигналов и классификации речевых и музыкальных сигналов. «SMILE» означает «Интерпретация речи и музыки путем извлечения большого пространства». Программное обеспечение в основном применяется в области автоматического распознавания эмоций и широко используется в исследовательском сообществе аффективных вычислений . Проект openSMILE существует с 2008 года и поддерживается немецкой компанией audEERING GmbH с 2013 года. openSMILE предоставляется бесплатно для исследовательских целей и личного использования по лицензии, доступной в исходном коде. Для коммерческого использования инструмента компания audEERING предлагает специальные варианты лицензий.
Области применения
[ редактировать ]openSMILE используется для академических исследований, а также для коммерческих приложений для автоматического анализа речевых и музыкальных сигналов в режиме реального времени. В отличие от автоматического распознавания речи , которое извлекает речевой контент из речевого сигнала, openSMILE способен распознавать характеристики данного речевого или музыкального сегмента. говорящего Примерами таких характеристик, закодированных в человеческой речи, являются эмоции , [ 3 ] возраст, пол и личность, а также состояния говорящего, такие как депрессия , интоксикация или голосовые патологические расстройства. Программное обеспечение также включает в себя технологию классификации музыки для автоматического определения музыкального настроения и распознавания сегментов припева , тональности, аккордов , темпа, метра, танцевального стиля и жанра.
Набор инструментов openSMILE служит эталоном в многочисленных исследовательских конкурсах, таких как Interspeech ComParE, [ 4 ] С, [ 5 ] МедиаЭвал, [ 6 ] и ЭмотиВ. [ 7 ]
История
[ редактировать ]Проект openSMILE был начат в 2008 году Флорианом Эйбеном, Мартином Вёлльмером и Бьорном Шуллером в Мюнхенском техническом университете в рамках исследовательского проекта Европейского Союза SEMAINE. Целью проекта SEMAINE была разработка виртуального агента с эмоциональным и социальным интеллектом . В этой системе openSMILE применялся для анализа речи и эмоций в реальном времени. Последняя версия программного обеспечения SEMAINE основана на openSMILE версии 1.0.1.
В 2009 году на основе openSMILE был опубликован набор инструментов для распознавания эмоций (openEAR). «EAR» означает «Распознавание эмоций и аффектов».
В 2010 году была опубликована версия openSMILE 1.0.1, которая была представлена и награждена на конкурсе ACM Multimedia Open-Source Software Challenge.
В период с 2011 по 2013 год технология openSMILE была расширена и улучшена Флорианом Эйбеном и Феликсом Венингером в контексте их докторской диссертации в Техническом университете Мюнхена . Программное обеспечение также применялось для проекта ASC-Inclusion, который финансировался Европейским Союзом . Для этого проекта Эрик Марчи расширил программное обеспечение, чтобы научить детей с аутизмом выражать эмоции на основе автоматического распознавания и визуализации эмоций.
В 2013 году компания audEERING приобрела права на кодовую базу у Технического университета Мюнхена , и версия 2.0 была опубликована под лицензией на исследования с доступным исходным кодом.
До 2016 года openSMILE был загружен более 50 000 раз по всему миру и зарекомендовал себя как стандартный набор инструментов для распознавания эмоций.
Награды
[ редактировать ]openSMILE был награжден в 2010 году в рамках конкурса ACM Multimedia Open Source. Программный инструмент применяется в многочисленных научных публикациях по автоматическому распознаванию эмоций. openSMILE [ 8 ] и его расширение openEAR [ 9 ] до сегодняшнего дня цитировались более чем в 1000 научных публикациях.
Ссылки
[ редактировать ]- ^ «Выпуск openSMILE 3.0.1» . Проверено 5 января 2022 г.
- ^ Ф. Эйбен, М. Вёлльмер, Б. Шуллер: « openSMILE - мюнхенский универсальный и быстрый экстрактор аудио с открытым исходным кодом », в Proc. ACM Multimedia (MM), ACM, Флоренция, Италия, ACM, стр. 1459–1462, октябрь 2010 г.
- ^ Б. Шуллер, Б. Власенко, Ф. Эйбен, М. Вёлльмер, А. Штулзац, А. Вендемут, Г. Ригол, « Межкорпусное акустическое распознавание эмоций: варианты и стратегии (расширенное резюме) », в Proc. ACII 2015, Сиань, Китай, приглашен на специальную сессию, посвященную наиболее влиятельным статьям в области транзакций IEEE по аффективным вычислениям.
- ^ Б. Шуллер, С. Стейдл, А. Батлинер, Дж. Хиршберг, Дж. К. Бургун, А. Элкинс, Ю. Чжан, Э. Коутиньо: « Вызов вычислительной паралингвистики INTERSPEECH 2016: обман и искренность. Архивировано 9 июня 2017 г., The Wayback Machine », Proceedings INTERSPEECH 2016, ISCA, Сан-Франциско, США, 2016.
- ^ Ф. Рингеваль, Б. Шуллер, М. Валстар, Р. Коуи, М. Пантик, « AVEC 2015 — 5-й международный конкурс и семинар по аудио/визуальным эмоциям », в материалах 23-й Международной конференции ACM по мультимедиа, MM 2015, (Брисбен, Австралия), ACM, октябрь 2015 г.
- ^ М. Ескевич, Р. Али, Д. Ракка, Р. Ордельман, С. Чен, Г. Дж. Джонс, « Задача поиска и гиперссылок на MediaEval 2014 ».
- ^ Ф. Рингеваль, С. Амирипарян, Ф. Эйбен, К. Шерер, Б. Шуллер, « Распознавание эмоций в дикой природе: включение активности голоса и губ в мультимодальное слияние на уровне принятия решений », в материалах ICMI 2014 EmotiW - Emotion Recognition In The Wild Challenge and Workshop (EmotiW 2014), Сателлит 16-й Международной конференции ACM по мультимодальному взаимодействию (ICMI 2014), (Стамбул, Турция), стр. 473–480, ACM, ноябрь 2014 г.
- ^ Эйбен, Флориан; Вёльмер, Мартин; Шуллер, Бьёрн (26 апреля 2018 г.). Opensmile: мюнхенский универсальный и быстрый экстрактор аудио с открытым исходным кодом . АКМ. стр. 1459–1462. дои : 10.1145/1873951.1874246 . ISBN 978-1-60558-933-6 – через Google Scholar.
- ^ Эйбен, Флориан; Вёльмер, Мартин; Шуллер, Бьёрн (26 апреля 2018 г.). «OpenEAR — представляем мюнхенский набор инструментов для распознавания эмоций и аффектов с открытым исходным кодом» . IEEE. стр. 1–6 – через Google Scholar.