Список баз данных выражений лица

База данных выражений лица — это коллекция изображений или видеоклипов с выражениями лица , выражающими различные эмоции . Хорошо аннотированный ( с тегами эмоций ) медиаконтент поведения лица необходим для обучения, тестирования и проверки алгоритмов разработки систем распознавания выражений . Аннотация эмоций может быть выполнена в виде отдельных меток эмоций или в непрерывном масштабе. Большинство баз данных обычно основано на теории базовых эмоций ( Пола Экмана ), которая предполагает существование шести отдельных базовых эмоций (гнев, страх, отвращение, удивление, радость, печаль). Однако некоторые базы данных включают маркировку эмоций по шкале непрерывного возбуждения и валентности.

В базах данных постановочных выражений участников просят продемонстрировать различные основные выражения эмоций, тогда как в базе данных спонтанных выражений выражения являются естественными. Спонтанные выражения заметно отличаются от заданных по интенсивности, форме и продолжительности. Кроме того, синтез некоторых АС едва ли достижим без прохождения соответствующего эмоционального состояния. Поэтому в большинстве случаев постановочные выражения утрированы, тогда как спонтанные утончены и отличаются внешним видом.

Многие общедоступные базы данных распределены по категориям. ^{[ 1 ]}^{[ 2 ]} Вот некоторые подробности баз данных выражений лица .

База данных	Выражение лица	Количество предметов	Количество изображений/видео	Серый/Цвет	Разрешение, Частота кадров	Основная истина	Тип
FERG-3D-DB (3D-база данных группы исследования выражений лица) для стилизованных персонажей ^{[ 3 ]}	злость, отвращение, страх, радость, нейтральный, грустный, удивление	4	39574 аннотированных примера	Цвет		Ярлыки эмоций	Фронтальная поза
Аудиовизуальная база данных эмоциональной речи и песен Райерсона (RAVDESS) ^{[ 4 ]}	Речь: Спокойная, счастливая, грустная, злая, испуганная, удивленная, отвращенная и нейтральная. Песня: Спокойная, счастливая, грустная, злая, испуганная и нейтральная. Каждое выражение на двух уровнях эмоциональной интенсивности.	24	7356 видео и аудио файлов	Цвет	1280x720 (720p)	Ярлыки выражения лица Оценки предоставлены 319 оценщиками	Поставлено
Расширенный набор данных Кона-Канаде (CK+) ^{[ 5 ]}	нейтральный, печаль, удивление, счастье, страх, гнев, презрение и отвращение	123	593 последовательности изображений (327 последовательностей с дискретными метками эмоций)	Преимущественно серый	640* 490	Метки выражения лица и FACS (метка AU для последнего кадра в каждой последовательности изображений)	Постановка; спонтанные улыбки
Японские женские выражения лица (JAFFE) ^{[ 6 ]}	нейтральный, печаль, удивление, счастье, страх, гнев и отвращение	10	213 статических изображений	Серый	256* 256	Ярлык выражения лица	Поставлено
База данных ММИ ^{[ 7 ]}		43	1280 видео и более 250 изображений	Цвет	720* 576	Метка AU для кадра изображения с верхним выражением лица в каждой последовательности изображений.	Постановочное и спонтанное
База данных Белфаста ^{[ 8 ]}	Набор 1 (отвращение, страх, развлечение, разочарование, удивление).	114	570 видеоклипов	Цвет	720*576		Естественные эмоции
	Набор 2 (отвращение, страх, развлечение, разочарование, удивление, гнев, печаль)	82	650 видеоклипов	Цвет
	Набор 3 (отвращение, страх, развлечение)	60	180 видеоклипов	Цвет	1920*1080
База данных индийских полудейственных выражений лица (iSAFE) ^{[ 9 ]}	Счастливый, Грустный, Страх, Удивление, Злой, Нейтральный, Отвращение	44	395 клипов	Цвет	1920x1080 (60 кадров в секунду)	Ярлыки эмоций	Спонтанный
ОТМЕНИТЬ ^{[ 10 ]}	-	27	4845 видеокадров	Цвет	1024*768; 20 кадров в секунду	Интенсивность AU для каждого видеокадра (12 AU)	Спонтанный
Группа понимания мультимедиа (MUG) ^{[ 11 ]}	нейтральный, печаль, удивление, счастье, страх, гнев и отвращение	86	1462 последовательности	Цвет	896*896, 19 кадров в секунду	Ярлыки эмоций	Поставлено
Индийская база данных спонтанных выражений (ISED) ^{[ 12 ]}	грусть, удивление, счастье и отвращение	50	428 видео	Цвет	1920* 1080, 50 кадров в секунду	Ярлыки эмоций	Спонтанный
База данных лиц Radboud (RaFD) ^{[ 13 ]}	нейтральный, печаль, презрение, удивление, счастье, страх, гнев и отвращение	67	Три разных направления взгляда и пять ракурсов камеры (8673*5=8040 изображений)	Цвет	681*1024	Ярлыки эмоций	Поставлено
База данных NIR-VIS Оулу-CASIA	удивление, счастье, печаль, гнев, страх и отвращение	80	три различных режима освещенности: нормальное, слабое и темное (всего 2880 видеопоследовательностей)	Цвет	320×240		Поставлено
FERG (База данных группы исследования выражений лица)-DB ^{[ 14 ]} для стилизованных персонажей	злость, отвращение, страх, радость, нейтральный, грустный, удивление	6	55767	Цвет	768x768	Ярлыки эмоций	Фронтальная поза
АффектНет ^{[ 15 ]}	нейтральный, счастливый, грустный, удивление, страх, отвращение, гнев, презрение		~450 000 аннотировано вручную ~ 500 000 автоматически аннотируются	Цвет	Различный	Ярлыки эмоций, валентность, возбуждение	Дикая обстановка
ИМПА-FACE3D ^{[ 16 ]}	нейтральный фронтальный, радость, печаль, удивление, гнев, отвращение, страх, открытый, закрытый, поцелуй, левая сторона, правая сторона, нейтральный сагиттальный левый, нейтральный сагиттальный правый, затылок и лоб (иногда приобретаемые)	38	534 статических изображения	Цвет	640X480	Ярлыки эмоций	Поставлено
База данных лиц FEI	нейтральный,улыбка	200	2800 статических изображений	Цвет	640X480	Ярлыки эмоций	Поставлено
Афф-Дикий ^{[ 17 ]}^{[ 18 ]}	валентность и возбуждение	200	~1 250 000 аннотировано вручную	Цвет	Разное (среднее = 640 x 360)	Валентность, Возбуждение	В дикой природе
Афф-Wild2 ^{[ 19 ]}^{[ 20 ]}	нейтральный, счастье, печаль, удивление, страх, отвращение, гнев + валентность-возбуждение + единицы действия 1,2,4,6,12,15,20,25	458	~2 800 000 аннотировано вручную	Цвет	Разное (среднее = 1030x630)	Валентность, Возбуждение, 7 основных выражений, единицы действия для каждого видеокадра.	В дикой природе
Реальная база данных аффективных лиц (RAF-DB) ^{[ 21 ]}^{[ 22 ]}	6 классов основных эмоций (Удивление, Страх, Отвращение, Радость, Грусть, Злость) плюс нейтральные и 12 классов сложных эмоций (Страшное удивление, Страшное отвращение, Грустный гнев, Грустный страх, Гневное отвращение, Гневное удивление, Грустное отвращение, Отвращение с отвращением ). , счастливо удивлен, грустно удивлен, страшно зол, счастливо отвращен)		29672 аннотированных примера	Цвет	Различное для исходного набора данных и 100x100 для выровненного набора данных.	Ярлыки эмоций	Постановочное и спонтанное

Ссылки

^ «коллекция эмоциональных баз данных» . Архивировано из оригинала 25 марта 2018 г.
^ «базы данных выражений лиц» .
^ Анеджа, Дипали и др. «Учимся создавать 3D-стилизованные выражения персонажей из людей». Зимняя конференция IEEE 2018 по приложениям компьютерного зрения (WACV). ИИЭР, 2018.
^ Ливингстон и Руссо (2018). Аудиовизуальная база данных Райерсона Эмоциональная речь и песня (RAVDESS): динамичный, мультимодальный набор мимики и голосовых выражений в североамериканском английском. дои : 10.1371/journal.pone.0196391
^ П. Люси, Дж. Ф. Кон, Т. Канаде, Дж. Сараги, З. Амбадар и И. Мэтьюз, «Расширенный набор данных Кона-Канаде (CK +): полный набор данных по выражениям лица для единиц действия и выражений, определяемых эмоциями», на 3-м семинаре IEEE по CVPR для анализа человеческого коммуникативного поведения , 2010 г.
^ Лайонс, Майкл; Командир Миюки; Гёба, Дзиро (1998). База данных выражений лица японских женщин (JAFFE) . дои : 10.5281/zenodo.3451524 .
^ М. Валстар и М. Пантич, «Вызванное отвращение, счастье и удивление: дополнение к базе данных выражений лица MMI», в Proc. Межд. Конф. Языковые ресурсы и оценка , 2010 г.
^ И. Снеддон, М. МакРори, Г. МакКаун и Дж. Хэнратти, «База данных естественных эмоций, вызванных Белфастом», IEEE Trans. Аффективные вычисления, том. 3, нет. 1, стр. 32-41, 2012 г.
^ Сингх, Шивендра; Бенедикт, Шаюлин (2020). «Набор данных по индийскому полудейственному выражению лица (ISAFE) для распознавания человеческих эмоций» . В Тампи, Сабу М.; Хегде, Раджеш М.; Кришнан, Шри; Мукхопадхьяй, Джаянта; Чаудхари, Випин; Маркес, Оге; Пирамуту, Селвин; Корчадо, Хуан М. (ред.). Достижения в области обработки сигналов и интеллектуальных систем распознавания . Коммуникации в компьютерной и информатике. Том. 1209. Сингапур: Спрингер. стр. 150–162. дои : 10.1007/978-981-15-4828-4_13 . ISBN 978-981-15-4828-4 .
^ С.М. Мавадати, М.Х. Махур, К. Бартлетт, П. Трин и Дж. Кон., «DISFA: база данных интенсивности спонтанных движений лица», IEEE Trans. Аффективные вычисления, том. 4, нет. 2, стр. 151–160, 2013 г.
^ Н. Айфанти, К. Папахристу и А. Делопулос, База данных выражений лица MUG, в Proc. 11-й Международный. Семинар по анализу изображений для интерактивных мультимедийных сервисов (WIAMIS), Дезенцано, Италия, 12–14 апреля 2010 г.
^ С. Л. Хэппи, П. Патнаик, А. Рутрей и Р. Гуха, «Индийская база данных спонтанных выражений для распознавания эмоций», в IEEE Transactions on Affective Computing, 2016, дои : 10.1109/TAFFC.2015.2498174 .
^ Лангнер О., Доч Р., Бийлстра Г., Вигболдус Д.Х., Хоук С.Т. и ван Книппенберг А. (2010). Презентация и проверка базы данных Radboud Faces. Познание и эмоции, 24 (8), 1377–1388. дои : 10.1080/02699930903485076
^ «База данных группы исследования выражений лица (FERG-DB)» . grail.cs.washington.edu . Проверено 6 декабря 2016 г.
^ Моллахоссейни, А.; Хасани, Б.; Махур, Миннесота (2017). «AffectNet: база данных для вычислений выражений лица, валентности и возбуждения в дикой природе». Транзакции IEEE для аффективных вычислений . ПП (99): 18–31. arXiv : 1708.03985 . дои : 10.1109/TAFFC.2017.2740923 . ISSN 1949-3045 . S2CID 37515850 .
^ «Технические отчеты IMPA-FACE3D» . visgraf.impa.br . Проверено 08 марта 2018 г.
^ Зафейриу, С.; Коллиас, Д.; Николау, Массачусетс; Папайоанну, А.; Чжао, Г.; Коция, И. (2017). «Aff-Wild: вызов валентности и возбуждения «в дикой природе»» (PDF) . Семинары конференции IEEE 2017 по компьютерному зрению и распознаванию образов (CVPRW) . стр. 1980–1987. дои : 10.1109/CVPRW.2017.248 . ISBN 978-1-5386-0733-6 . S2CID 3107614 .
^ Коллиас, Д.; Циракис, П.; Николау, Массачусетс; Папайоанну, А.; Чжао, Г.; Шуллер, Б.; Коция, И.; Зафейриу, С. (2019). «Прогнозирование глубоких воздействий в реальных условиях: база данных и задачи Aff-Wild, глубокие архитектуры и не только» . Международный журнал компьютерного зрения . 127 (6–7): 907–929. arXiv : 1804.10938 . дои : 10.1007/s11263-019-01158-4 . S2CID 13679040 .
^ Коллиас, Д.; Зафейриу, С. (2019). «Выражение, аффект, распознавание единиц действия: Aff-wild2, многозадачное обучение и arcface» (PDF) . Британская конференция по машинному зрению (BMVC), 2019 г. arXiv : 1910.04855 .
^ Коллиас, Д.; Шульк, А.; Гаджиев Э.; Зафейриу, С. (2020). «Анализ аффективного поведения на первом конкурсе ABAW 2020» . 2020 15-я Международная конференция IEEE по автоматическому распознаванию лиц и жестов (FG 2020) . стр. 637–643. arXiv : 2001.11409 . дои : 10.1109/FG47880.2020.00126 . ISBN 978-1-7281-3079-8 . S2CID 210966051 .
^ Ли., С. «РАФ-ДБ» . Реальная база данных аффективных лиц .
^ Ли, С.; Дэн, В.; Ду, Дж. (2017). «Надежный краудсорсинг и глубокое обучение с сохранением локальности для распознавания выражений в дикой природе» . Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 2584–2593. дои : 10.1109/CVPR.2017.277 . ISBN 978-1-5386-0457-1 . S2CID 11413183 .

[1] «коллекция эмоциональных баз данных» . Архивировано из оригинала 25 марта 2018 г.

[2] «базы данных выражений лиц» .

[3] Анеджа, Дипали и др. «Учимся создавать 3D-стилизованные выражения персонажей из людей». Зимняя конференция IEEE 2018 по приложениям компьютерного зрения (WACV). ИИЭР, 2018.

[4] Ливингстон и Руссо (2018). Аудиовизуальная база данных Райерсона Эмоциональная речь и песня (RAVDESS): динамичный, мультимодальный набор мимики и голосовых выражений в североамериканском английском. дои : 10.1371/journal.pone.0196391

[5] П. Люси, Дж. Ф. Кон, Т. Канаде, Дж. Сараги, З. Амбадар и И. Мэтьюз, «Расширенный набор данных Кона-Канаде (CK +): полный набор данных по выражениям лица для единиц действия и выражений, определяемых эмоциями», на 3-м семинаре IEEE по CVPR для анализа человеческого коммуникативного поведения , 2010 г.

[6] Лайонс, Майкл; Командир Миюки; Гёба, Дзиро (1998). База данных выражений лица японских женщин (JAFFE) . дои : 10.5281/zenodo.3451524 .

[7] М. Валстар и М. Пантич, «Вызванное отвращение, счастье и удивление: дополнение к базе данных выражений лица MMI», в Proc. Межд. Конф. Языковые ресурсы и оценка , 2010 г.

[8] И. Снеддон, М. МакРори, Г. МакКаун и Дж. Хэнратти, «База данных естественных эмоций, вызванных Белфастом», IEEE Trans. Аффективные вычисления, том. 3, нет. 1, стр. 32-41, 2012 г.

[9] Сингх, Шивендра; Бенедикт, Шаюлин (2020). «Набор данных по индийскому полудейственному выражению лица (ISAFE) для распознавания человеческих эмоций» . В Тампи, Сабу М.; Хегде, Раджеш М.; Кришнан, Шри; Мукхопадхьяй, Джаянта; Чаудхари, Випин; Маркес, Оге; Пирамуту, Селвин; Корчадо, Хуан М. (ред.). Достижения в области обработки сигналов и интеллектуальных систем распознавания . Коммуникации в компьютерной и информатике. Том. 1209. Сингапур: Спрингер. стр. 150–162. дои : 10.1007/978-981-15-4828-4_13 . ISBN 978-981-15-4828-4 .

[10] С.М. Мавадати, М.Х. Махур, К. Бартлетт, П. Трин и Дж. Кон., «DISFA: база данных интенсивности спонтанных движений лица», IEEE Trans. Аффективные вычисления, том. 4, нет. 2, стр. 151–160, 2013 г.

[11] Н. Айфанти, К. Папахристу и А. Делопулос, База данных выражений лица MUG, в Proc. 11-й Международный. Семинар по анализу изображений для интерактивных мультимедийных сервисов (WIAMIS), Дезенцано, Италия, 12–14 апреля 2010 г.

[12] С. Л. Хэппи, П. Патнаик, А. Рутрей и Р. Гуха, «Индийская база данных спонтанных выражений для распознавания эмоций», в IEEE Transactions on Affective Computing, 2016, дои : 10.1109/TAFFC.2015.2498174 .

[13] Лангнер О., Доч Р., Бийлстра Г., Вигболдус Д.Х., Хоук С.Т. и ван Книппенберг А. (2010). Презентация и проверка базы данных Radboud Faces. Познание и эмоции, 24 (8), 1377–1388. дои : 10.1080/02699930903485076

[14] «База данных группы исследования выражений лица (FERG-DB)» . grail.cs.washington.edu . Проверено 6 декабря 2016 г.

[15] Моллахоссейни, А.; Хасани, Б.; Махур, Миннесота (2017). «AffectNet: база данных для вычислений выражений лица, валентности и возбуждения в дикой природе». Транзакции IEEE для аффективных вычислений . ПП (99): 18–31. arXiv : 1708.03985 . дои : 10.1109/TAFFC.2017.2740923 . ISSN 1949-3045 . S2CID 37515850 .

[16] «Технические отчеты IMPA-FACE3D» . visgraf.impa.br . Проверено 08 марта 2018 г.

[17] Зафейриу, С.; Коллиас, Д.; Николау, Массачусетс; Папайоанну, А.; Чжао, Г.; Коция, И. (2017). «Aff-Wild: вызов валентности и возбуждения «в дикой природе»» (PDF) . Семинары конференции IEEE 2017 по компьютерному зрению и распознаванию образов (CVPRW) . стр. 1980–1987. дои : 10.1109/CVPRW.2017.248 . ISBN 978-1-5386-0733-6 . S2CID 3107614 .

[18] Коллиас, Д.; Циракис, П.; Николау, Массачусетс; Папайоанну, А.; Чжао, Г.; Шуллер, Б.; Коция, И.; Зафейриу, С. (2019). «Прогнозирование глубоких воздействий в реальных условиях: база данных и задачи Aff-Wild, глубокие архитектуры и не только» . Международный журнал компьютерного зрения . 127 (6–7): 907–929. arXiv : 1804.10938 . дои : 10.1007/s11263-019-01158-4 . S2CID 13679040 .

[19] Коллиас, Д.; Зафейриу, С. (2019). «Выражение, аффект, распознавание единиц действия: Aff-wild2, многозадачное обучение и arcface» (PDF) . Британская конференция по машинному зрению (BMVC), 2019 г. arXiv : 1910.04855 .

[20] Коллиас, Д.; Шульк, А.; Гаджиев Э.; Зафейриу, С. (2020). «Анализ аффективного поведения на первом конкурсе ABAW 2020» . 2020 15-я Международная конференция IEEE по автоматическому распознаванию лиц и жестов (FG 2020) . стр. 637–643. arXiv : 2001.11409 . дои : 10.1109/FG47880.2020.00126 . ISBN 978-1-7281-3079-8 . S2CID 210966051 .

[21] Ли., С. «РАФ-ДБ» . Реальная база данных аффективных лиц .

[22] Ли, С.; Дэн, В.; Ду, Дж. (2017). «Надежный краудсорсинг и глубокое обучение с сохранением локальности для распознавания выражений в дикой природе» . Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 2584–2593. дои : 10.1109/CVPR.2017.277 . ISBN 978-1-5386-0457-1 . S2CID 11413183 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]