WikiDer > Базы данных по выражению лица

Facial expression databases

А база данных выражений лиц представляет собой набор изображений или видеоклипов с выражения лица ряда эмоции.Хорошо аннотированный (эмоция-помеченный) медиа-контент о поведении лица важен для обучения, тестирования и проверки алгоритмы для развития системы распознавания экспрессии. Аннотацию эмоций можно сделать в дискретная эмоция этикетки или на непрерывной шкале. Большинство баз данных обычно основаны на основные эмоции теория (авторПол Экман), который предполагает наличие шести отдельных основных эмоций (гнев, страх, отвращение, удивление, радость, печаль). Однако некоторые базы данных включают маркировку эмоций по шкале непрерывного возбуждения-валентности.

В базах данных постановочных выражений участников просят отображать различные основные эмоциональные выражения, в то время как в базе данных спонтанных выражений выражения являются естественными. Спонтанные выражения заметно отличаются от установленных по интенсивности, конфигурации и продолжительности. Кроме того, синтез некоторых AU практически невозможен без сопутствующего эмоционального состояния. Поэтому в большинстве случаев поставленные выражения преувеличены, а спонтанные - тонкие и различаются по внешнему виду.

Здесь представлены многие общедоступные базы данных.[1][2] Вот некоторые подробности Выражение лица базы данных.

База данныхВыражение лицаКоличество субъектовКоличество изображений / видеоСерый цветРазрешение, частота кадровОсновная правдаТип
FERG-3D-DB (3D-база данных группы исследования выражения лица) для стилизованных персонажей [3]злой, отвращение, страх, радость, нейтральный, грустный, удивительный439574 аннотированных примеровЦветЯрлыки эмоцийФронтальная поза
Аудиовизуальная база данных эмоциональной речи и песни Райерсона (RAVDESS) [4]Речь: спокойная, счастливая, грустная, сердитая, пугающая, удивленная, с отвращением и нейтральная.

Песня: спокойная, счастливая, грустная, злая, пугающая и нейтральная. Каждое выражение на двух уровнях эмоциональной напряженности.

24 7356 видео и аудио файловЦвет1280x720 (720p)Этикетки для выражения лица

Оценки предоставили 319 человек-оценщиков

Поставлен
Расширенный набор данных Кон-Канаде (CK +)[5]нейтральный, печаль, удивление, счастье, страх, гнев, презрение и отвращение123 593 последовательности изображений (327 последовательностей с дискретными метками эмоций)В основном серый640* 490Метки выражения лица и FACS (метка AU для последнего кадра в каждой последовательности изображений)Позировал; спонтанные улыбки
Японское женское выражение лица (JAFFE)[6]нейтральный, печаль, удивление, счастье, страх, гнев и отвращение10213 статических изображенийСерый256* 256Этикетка для выражения лицаПоставлен
База данных MMI[7]431280 видео и более 250 изображенийЦвет720* 576Метка AU для кадра изображения с верхним выражением лица в каждой последовательности изображенийПостановка и спонтанность
База данных Белфаста[8]Набор 1 (отвращение, страх, веселье, разочарование, удивление)114570 видеоклиповЦвет720*576Естественная эмоция
Набор 2 (отвращение, страх, веселье, разочарование, удивление, гнев, печаль)82650 видеоклиповЦвет
Набор 3 (отвращение, страх, веселье)60180 видеоклиповЦвет1920*1080
Индийская база данных полуактивного выражения лица (iSAFE)[9]Счастливый, Печальный, Страх, Сюрприз, Злой, Нейтральный, Отвращение44395 клиповЦвет1920x1080

(60 кадров в секунду)

Ярлыки эмоцийСпонтанный
DISFA[10]-274845 кадров видеоЦвет1024 * 768; 20 кадров в секундуИнтенсивность AU для каждого кадра видео (12 AU)Спонтанный
Группа понимания мультимедиа (MUG)[11]нейтральный, грусть, удивление, счастье, страх, гнев и отвращение861462 последовательностиЦвет896 * 896, 19 кадров в секундуЯрлыки эмоцийПоставлен
Индийская база данных спонтанного выражения (ISED)[12]печаль, удивление, счастье и отвращение50428 видеоЦвет1920 * 1080, 50 кадров в секундуЯрлыки эмоцийСпонтанный
База данных Radboud Faces (RaFD)[13]нейтральный, печаль, презрение, удивление, счастье, страх, гнев и отвращение67Три разных направления взгляда и пять углов камеры (8 * 67 * 3 * 5 = 8040 изображений)Цвет681*1024Ярлыки эмоцийПоставлен
База данных Oulu-CASIA NIR-VISудивление, счастье, грусть, гнев, страх и отвращение80три различных режима освещения: нормальное, слабое и темное (всего 2880 видеопоследовательностей)Цвет320×240Поставлен
FERG (база данных группы исследования выражения лица) -DB[14] для стилизованных персонажейзлой, отвращение, страх, радость, нейтральный, грустный, удивительный655767Цвет768x768Ярлыки эмоцийФронтальная поза
AffectNet[15]нейтральный, счастливый, грустный, удивление, страх, отвращение, гнев, презрение~ 450 000 с аннотациями вручную

~ 500 000 автоматически аннотированных

ЦветРазличныйЯрлыки эмоций, валентность, возбуждениеДикая обстановка
IMPA-FACE3D[16]нейтральный фронтальный, радость, печаль, удивление, гнев, отвращение, страх, открытый, закрытый, поцелуй, левая сторона, правая сторона, нейтральная сагиттальная левая, нейтральная сагиттальная правая, затылок и лоб (иногда приобретается)38534 статических изображенияЦвет640X480Ярлыки эмоцийПоставлен
База данных FEI Faceнейтральный, улыбка2002800 статических изображенийЦвет640X480Ярлыки эмоцийПоставлен
Aff-Wild[17] [18]валентность и возбуждение200~ 1,250,000 с аннотациями вручнуюЦветРазные (в среднем = 640x360)Валентность, ВозбуждениеСеттинг в дикой природе
Aff-Wild2[19] [20]нейтральный, счастье, печаль, удивление, страх, отвращение, гнев + валентное возбуждение + единицы действия 1,2,4,6,12,15,20,25458~ 2 800 000 аннотированных вручнуюЦветРазные (в среднем = 1030x630)Валентность, Возбуждение, 7 основных выражений, единицы действия для каждого кадра видеоСеттинг в дикой природе
Реальная база данных аффективных лиц (RAF-DB)[21][22]6 классов основные эмоции (Удивлен, Страх, Отвращение, Счастье, Печаль, Злость) плюс нейтральный и 12 классов сложные эмоции (Страшно удивлен, ужасно отвращен, печально зол, печально испуган, сердито отвращен, сердито удивлен, грустно отвращен, неприятно удивлен, радостно удивлен, грустно удивлен, страшно зол, счастливо отвращен)29672 аннотированных примеровЦветРазличный для исходного набора данных и 100x100 для выровненного набора данныхЯрлыки эмоцийПостановка и спонтанность

использованная литература

  1. ^ «сборник эмоциональных баз». Архивировано из оригинал на 2018-03-25.
  2. ^ "базы данных по выражению лица".
  3. ^ Анеха, Дипали и др. «Учимся генерировать стилизованные 3D-выражения персонажей из людей». Зимняя конференция IEEE 2018 по приложениям компьютерного зрения (WACV). IEEE, 2018.
  4. ^ Ливингстон и Руссо (2018). Аудиовизуальная база данных эмоциональной речи и песни Ryerson (RAVDESS): динамический, мультимодальный набор мимики и вокала на североамериканском английском. Дои:10.1371 / journal.pone.0196391
  5. ^ П. Люси, Дж. Ф. Кон, Т. Канаде, Дж. Сараги, З. Амбадар и И. Мэтьюз, «Расширенный набор данных Кон-Канаде (CK +): полный набор данных по выражению лица для единиц действия и выражений, определяемых эмоциями», в 3-й семинар IEEE по CVPR для анализа коммуникативного поведения человека, 2010
  6. ^ Лайонс, Майкл; Камачи, Миюки; Гёба, Дзиро (1998). База данных по выражению лица японских женщин (JAFFE). Дои:10.5281 / zenodo.3451524.
  7. ^ М. Валстар и М. Пантик, «Вызванное отвращение, счастье и удивление: дополнение к базе данных выражений лиц MMI», в Proc. Int. Конф. Языковые ресурсы и оценка, 2010
  8. ^ И. Снеддон, М. МакРори, Дж. МакКаун и Дж. Ханратти, «База данных индуцированных естественных эмоций в Белфасте», IEEE Trans. Аффективные вычисления, т. 3, вып. 1. С. 32-41, 2012.
  9. ^ Сингх, Шивендра; Бенедикт, Шаюлин (2020). Thampi, Sabu M .; Hegde, Rajesh M .; Кришнан, Шри; Мукхопадхьяй, Джаянта; Чаудхари, Випин; Marques, Oge; Пирамуту, Селвин; Корчадо, Хуан М. (ред.). "Набор данных по индийскому полуактивному выражению лица (iSAFE) для распознавания человеческих эмоций". Достижения в области обработки сигналов и интеллектуальных систем распознавания. Коммуникации в компьютерных и информационных науках. Сингапур: Springer: 150–162. Дои:10.1007/978-981-15-4828-4_13. ISBN 978-981-15-4828-4.
  10. ^ С. М. Мавадати, М. Х. Махур, К. Бартлетт, П. Трин и Дж. Кон. "DISFA: База данных по интенсивности спонтанного лицевого воздействия", IEEE Trans. Аффективные вычисления, т. 4, вып. 2. С. 151–160, 2013.
  11. ^ Н. Айфанти, К. Папахристу и А. Делопулос, База данных по выражению лица MUG, в Proc. 11-й Int. Семинар по анализу изображений для мультимедийных интерактивных сервисов (WIAMIS), Дезенцано, Италия, 12–14 апреля 2010 г.
  12. ^ С. Л. Хэппи, П. Патнаик, А. Рутрей и Р. Гуха, «Индийская база данных спонтанных выражений для распознавания эмоций», в IEEE Transactions on Affective Computing, 2016 г., Дои:10.1109 / TAFFC.2015.2498174.
  13. ^ Лангнер, О., Дотч, Р., Бейлстра, Г., Вигболдус, Д.Х.Дж., Хок, С.Т., и ван Книппенберг, А. (2010). Презентация и проверка базы данных Radboud Faces. Познание и эмоции, 24 (8), 1377–1388. Дои:10.1080/02699930903485076
  14. ^ "База данных группы исследования выражения лица (FERG-DB)". grail.cs.washington.edu. Получено 2016-12-06.
  15. ^ Mollahosseini, A .; Hasani, B .; Махур, М. Х. (2017). «AffectNet: база данных для вычислений выражения лица, валентности и возбуждения в дикой природе». IEEE Transactions по аффективным вычислениям. PP (99): 18–31. arXiv:1708.03985. Дои:10.1109 / TAFFC.2017.2740923. ISSN 1949-3045.
  16. ^ "Технические отчеты IMPA-FACE3D". visgraf.impa.br. Получено 2018-03-08.
  17. ^ Zafeiriou, S .; Коллиас, Д .; Nicolaou, M.A .; Papaioannou, A .; Zhao, G .; Коця, И. (2017). "Aff-Wild: вызов валентности и возбуждения в дикой природе" (PDF). Мастерские по компьютерному зрению и распознаванию образов (CVPRW), 2017 г..
  18. ^ Коллиас, Д .; Tzirakis, P .; Nicolaou, M.A .; Papaioannou, A .; Zhao, G .; Schuller, B .; Kotsia, I .; Зафейриу, С. (2019). "Deep Affect Prediction in the wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond". Международный журнал компьютерного зрения (IJCV), 2019.
  19. ^ Коллиас, Д .; Зафейриу, С. (2019). «Выражение, аффект, распознавание единиц действия: Aff-wild2, многозадачное обучение и arcface» (PDF). Британская конференция по машинному зрению (BMVC), 2019.
  20. ^ Коллиас, Д .; Schulc, A .; Гаджиев, Э .; Зафейриу, С. (2020). «Анализ аффективного поведения на первом конкурсе abaw 2020». Международная конференция IEEE по автоматическому распознаванию лиц и жестов (FG), 2020 г..
  21. ^ Ли., С. "РАФ-ДБ". База данных аффективных лиц в реальном мире.
  22. ^ Li, S .; Deng, W .; Ду, Дж. (2017). «Надежный краудсорсинг и глубокое обучение с сохранением локальности для распознавания экспрессии в дикой природе». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR): 2584–2593. Дои:10.1109 / CVPR.2017.277.