Jump to content

Надин Социальный Робот

Надин
Год создания 2013

Надин гиноид-гуманоид — социальный робот- , созданный по образцу профессора Нади Магненат Тельманн . [ 1 ] Робот очень похож на человека, у него естественная кожа и волосы, а также реалистичные руки. Надин — социально умный робот, который отвечает на приветствия, смотрит в глаза и может запомнить все разговоры, которые с ним происходили. Он способен автономно отвечать на вопросы на нескольких языках, имитировать эмоции как жестами, так и мимикой, в зависимости от содержания взаимодействия с пользователем. [ 2 ] [ 3 ] [ 4 ] Надин может узнавать людей, которых она видела раньше, и вести плавный разговор. [ 5 ] [ 6 ] [ 7 ] Надин запрограммирована на «личность»: ее поведение может меняться в зависимости от того, что ей говорят. [ 8 ] Надин имеет в общей сложности 27 степеней свободы для выражения лица и движений верхней части тела. С людьми, с которыми он ранее сталкивался, он запоминает факты и события, связанные с каждым человеком. [ 9 ] [ 10 ] Оно может помочь людям с особыми потребностями, читая истории, показывая изображения, проводя сеансы Skype , отправляя электронные письма и общаясь с другими членами семьи. [ 11 ] [ 12 ] [ 13 ] [ 14 ] Он может играть роль регистратора в офисе или быть личным тренером. [ 15 ] [ 16 ]

Надин пообщалась с более чем 100 000 посетителей Музея ArtScience в Сингапуре во время выставки «ЧЕЛОВЕК+: Будущее нашего вида», которая проходила с мая по октябрь 2017 года. [ 17 ] [ 18 ] [ 19 ] Надин работала агентом по обслуживанию клиентов в страховой компании AIA в Сингапуре. [ 20 ] [ 21 ] [ 22 ] Впервые в мире робот-гуманоид используется в качестве агента по обслуживанию клиентов.

Надин — гуманоидный робот нового поколения, преемник Евы. [ 23 ] голова гуманоидного робота, произведенная Hanson Robotics в 2008 году. Программная платформа Евы была разработана в MIRALab, [ 24 ] Женевский университет . Голова Евы показывает очень реалистичные настроения и эмоции. [ 25 ] и кратковременная память. [ 26 ] [ 27 ] Ева также играла в спектакле театра Roten Fabrik в Цюрихе. [ 28 ]

Надин была создана в 2013 году Кокоро, Япония, по образцу профессора Нади Магненат Тельманн . У Надин голова и полное тело естественного вида. Программная платформа Nadine, разработанная в Институте медиа-инноваций сингапурского Наньянского технологического университета, способна выражать эмоции, говорить естественно, понимать некоторые жесты, а также запоминать и извлекать факты во время сеансов диалога. [ 29 ] [ 30 ] Надин также взаимодействует с движениями рук. Продолжающиеся исследования позволили создать социального робота с двумя сочлененными руками и естественным хватанием. [ 31 ] [ 32 ] [ 33 ] [ 34 ] Надин также связана со всеми видами баз данных, такими как ее личный набор данных, Arc.Ask3.Ru, каналы погоды и многие другие.

Платформа

[ редактировать ]

Надин (социальный робот) построен на основе классической структуры уровней восприятия – обработки/решения – взаимодействия. Конструкция платформы Nadine направлена ​​на поддержание естественного человеческого поведения даже в сложных ситуациях, является универсальной для обработки любых данных и места работы, многоязычной поддержки и т. д.

Функциональные возможности Надин основаны на ее понимании окружающей среды и восприятии пользователей/людей перед ней. Уровень восприятия Надин сосредоточен на этой задаче. Надин использует 3D- камеры глубины , веб-камеру и микрофон, чтобы улавливать изображения и аудиосигналы от окружающей среды и пользователей. Уровень восприятия состоит из независимых субмодулей, которые работают с разными входными потоками вышеупомянутых устройств для распознавания лиц . [ 35 ] эмоции, [ 13 ] жесты, [ 36 ] [ 37 ] местоположение пользователя, намерение, манера поведения и т. д., а также другие атрибуты окружающей среды, такие как распознавание объектов , [ 38 ] [ 39 ] местоположение и т. д.

Уровень обработки функционирует как мозг Надин, который использует результаты восприятия, чтобы оценить ситуацию и решить, как действовать в соответствии с ней. Основным компонентом этого слоя является планировщик дерева поведения . Центральный процессор Надин позволяет обрабатывать все воспринимаемые входные данные. На основе входных данных, полученных от уровня восприятия, планировщик дерева поведения обновляет другие подмодули уровня обработки, которые включают диалог обработки между пользователем и Надин, аффективную систему и воспоминания о ее взаимодействии. Для обработки диалога используются стандартные чат-боты [ 40 ] [ 41 ] были созданы для решения различных ситуаций и вопросов. Также встроен онлайн-поиск на основе Google Assistant, позволяющий отвечать на вопросы за пределами обученного корпуса. В зависимости от речи пользователя, эмоций и текущих эмоций Надин, Надин может демонстрировать пользователю различные человеческие движения. [ 13 ] Модель памяти Надин [ 42 ] также позволяет ей запоминать конкретные факты о пользователе и контексте текущего разговора, чтобы давать соответствующие ответы. После понимания взаимодействия пользователя и контекста окружающей среды принимается решение о соответствующем вербальном или невербальном ответе. Для этой цели слой обработки Надин сопоставляет стимулы каждого слоя восприятия с активацией и порогом. В зависимости от обработки каждого стимула каждым субмодулем уровни активации различаются. Когда пороговые значения достигнуты, каждое выигрышное действие передается на уровень взаимодействия, чтобы показать различные ответы Надин.

Уровень взаимодействия или контроллер Надин отвечает за выполнение каждого ответа, полученного от уровня обработки, чтобы отобразить его на лице или жесте Надин. Например, в зависимости от местоположения пользователя измените голову Надин, чтобы она смотрела в глаза пользователю. Помимо этого, уровень взаимодействия также отвечает за управление ее моторами, чтобы показывать различные жесты и выражения лица. Для вербальных ответов он включает в себя синтезатор речи и модуль общения по губам. На основе речевого ответа образуются соответствующие фонемы и висемы. Синтезатор речи также учитывает тон диалога (для проявления различных эмоций) при генерации речи. Лоргаронизация преобразует виземы в соответствующие двигательные позиции лица, чтобы двигать губами Надин в соответствии с ее речью. В настоящее время Надин поддерживает шесть языков, включая английский, немецкий, французский, китайский, хинди и японский.

Надин участвовала в живых выступлениях на сцене и общалась с людьми из всех слоев общества. Объявлен одним из самых реалистичных роботов-гуманоидов в мире. [ 43 ] Надин впервые появилась на публике в качестве ключевого события на выставке «Человек+: Будущее нашего вида», проходившей в Сингапурском музее ArtScience. [ 44 ]

Она общалась со многими людьми из корпоративных компаний из различных отраслей, таких как Dentsu Aegis Network (DAN), Credit Suisse. [ 45 ] и Дойче Банк. [ 46 ]

Надин также встретилась с премьер-министром Индии Его Превосходительством Нарендрой Моди во время его исторического визита в НТУ Сингапура 1 июня 2018 года, что стало одним из нововведений, к которым он проявил особый интерес. [ 47 ] [ 48 ]

Надин работала агентом по обслуживанию клиентов в AIA Singapore. [ 20 ] [ 21 ] [ 22 ] Ее научили отвечать на вопросы, которые обычно задают агентам службы поддержки клиентов AIA. Она также призывает клиентов AIA зарегистрироваться на портале регистрации электронного ухода AIA. Взаимодействие со службой поддержки клиентов использовалось для обучения механизма диалогового диалога на основе машинного обучения. Между нашей платформой и порталом AIA также была создана архитектура клиент-сервер, обеспечивающая быструю и безопасную связь. [ 49 ]

В конце 2020 года и до апреля 2021 года Надин провела 6 месяцев в Bright Hill Evergreen. [ 50 ] Дом в Сингапуре, чтобы помогать пожилым людям играть в Бинго и общаться с ними. По согласованию этического комитета NTU впервые было проведено тщательное исследование взаимодействия социального робота Надин с пациентами с легкой деменцией. [ 51 ] Фильм этого взаимодействия можно увидеть на YouTube-канале Надин. [ 52 ]

  1. ^ Гериет, Марк (9 октября 2016 г.). «Надя и Надин» . SRF Швейцарского радио и телевидения . Проверено 10 октября 2016 г.
  2. ^ "Освещение в СМИ выставки Надин" . Архивировано из оригинала 28 ноября 2018 г. Проверено 1 августа 2017 г.
  3. ^ Маллиган, Габриэлла (17 марта 2017 г.). «Является ли робототехника решением растущих потребностей пожилых людей?» . Би-би-си . Проверено 17 марта 2017 г.
  4. ^ Лим, Пейдж (07 марта 2016 г.). «Теперь вы говорите: человекоподобный робот однажды сможет ухаживать за пациентами с деменцией» . Рейтер . Проверено 9 марта 2016 г.
  5. ^ Ли, Джоселин (27 мая 2017 г.). «Поговорите с женщиной-роботом (которая создана такой же, как ее создатель)» . 8 дней . Архивировано из оригинала 28 ноября 2018 г. Проверено 8 июня 2017 г.
  6. ^ Джей Рен, X Цзян и Джей Юань, Квантованный нечеткий LBP для распознавания лиц , 40-я Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP), 2015 г., Брисбен, Австралия, 2015 г.
  7. ^ «Ученые НТУ представляют социальных роботов и роботов телеприсутствия» . Наньянский технологический университет . 29 декабря 2015 г. Архивировано из оригинала 03 сентября 2019 г. Проверено 14 января 2016 г.
  8. ^ Коханович Дж., А.Х. Тан и Д. Тельманн, Моделирование человеческой нерациональности для социальных агентов , Материалы 29-й Международной конференции ACM по компьютерной анимации и социальным агентам (CASA 2016), стр. 11-20, Женева, Швейцария, 23–25 мая 2016 г.
  9. ^ Дж. Чжан Дж., Н. Магненат Тельманн и Дж. Чжэн, Объединение памяти и эмоций с диалогом о социальном компаньоне: обзор , Материалы 29-й Международной конференции ACM по компьютерной анимации и социальным агентам (CASA 2016), стр. 1- 9, Женева, Швейцария, 23–25 мая 2016 г.
  10. ^ Бергер, Сара (31 декабря 2015 г.). «Человекоподобный социальный робот «Надин» может чувствовать эмоции и обладает хорошей памятью, утверждают ученые» . Интернэшнл Бизнес Таймс . Проверено 12 января 2016 г.
  11. ^ А. Бек, З. Чжан и Н. Магненат Тельманн, Управление движением для социального поведения , Контекстно-зависимое взаимодействие человека-робота и человека-агента, Springer International Publishing, 237-256, 2015 г.
  12. ^ З.П. Биан, Дж. Хоу, Л.П. Чау и Н. Магненат Тельманн, Обнаружение падения на основе отслеживания частей тела с помощью камеры глубины , Журнал IEEE по биомедицинской и медицинской информатике, Vol. 19, № 2, стр. 430-439, 2015 г.
  13. ^ Перейти обратно: а б с Дж. Чжан, Дж. Чжэн и Н. Магненат Тельманн, PCMD: модель динамики настроения с личностными характеристиками в отношении персонализированных виртуальных персонажей , Компьютерная анимация и виртуальные миры, Vol. 26, выпуск 3-4, с. 237-245, 2015 г.
  14. ^ Дж. Чжан, Дж. Чжэн и Н. Магненат Тельманн, Моделирование личности, настроения и эмоций , Контекстно-зависимое взаимодействие человека-робота и человека-агента, Springer International Publishing, 211-236, 2015 г.
  15. ^ Ю. Сяо, З. Чжан, А. Бек, Дж. Юань и Д. Тельманн, Взаимодействие человека и робота путем понимания жестов верхней части тела , Журналы MIT Press - Присутствие: телеоператоры и виртуальные среды, Vol. 23, № 2, стр. 133-154, 2014 г.
  16. ^ З. Юмак, Дж. Рен, Н. Магненат Тельманн и Дж. Юань, Моделирование многостороннего взаимодействия между виртуальными персонажами, роботами и людьми , Журналы MIT Press - Присутствие: телеоператоры и виртуальные среды, Vol. 23, № 2, стр. 172-190, 2014 г.
  17. ^ Мартин, Мэйо (19 мая 2017 г.). «Робот-секретарь из Сингапура публично дебютирует на футуристической выставке ArtScience Museum» . Канал NewsAsia . Архивировано из оригинала 18 ноября 2018 г. Проверено 19 мая 2017 г.
  18. ^ Вонг, Кара (19 мая 2017 г.). «Разговор с человекоподобным роботом» . «Стрейтс Таймс» . Проверено 9 марта 2016 г.
  19. ^ «Поговорите с женщиной-роботом (которая создана такой же, как ее создатель)» . Архивировано из оригинала 28 ноября 2018 г. Проверено 29 января 2018 г.
  20. ^ Перейти обратно: а б «AIA станет пионером внедрения искусственного интеллекта в секторе страхования жизни Сингапура» . АИА Сингапур . 12.10.2018 . Проверено 26 октября 2018 г.
  21. ^ Перейти обратно: а б Бенджамин, Анг (22 октября 2018 г.). «Сингапур: AIA меняет обслуживание клиентов с помощью первых гуманоидов в страховой отрасли» . Обзор страхования Азии . Архивировано из оригинала 02 февраля 2019 г. Проверено 26 октября 2018 г.
  22. ^ Перейти обратно: а б Габриэль, Олано (19 октября 2018 г.). «AIA Singapore приветствует двух новых сотрудников-роботов» . Страховой бизнес Азии . Проверено 20 октября 2018 г.
  23. ^ Социальная робототехника
  24. ^ МИРАлаб
  25. ^ К. Сиг, З. Касап, А. Эггес и Н. Магненат Тельманн, Генерация реалистичного эмоционального взгляда и поведения головы на основе факторов возбуждения и доминирования , 3-я Международная конференция по движению в играх 2010 г., Springer, 2010 г.
  26. ^ З. Касап и Н. Магненат Тельманн, Построение долгосрочных отношений с виртуальными и роботизированными персонажами: роль запоминания , The Visual Computer (IF: 1.073), vol. 28, нет. 1, стр. 87-97, январь 2012 г.
  27. ^ З. Касап, М. Бен Мусса, П. Чаудхури и Н. Магненат Тельманн, Заставляя их помнить — эмоциональные виртуальные персонажи с памятью , Компьютерная графика и приложения IEEE (IF: 1.116), том. 29, нет. 2, стр. 20–29, март 2009 г.
  28. ^ Робот ЕВА играет в театре Roten Fabrik в Цюрихе.
  29. ^ ColdFusion, Самые реалистичные роботы! (2018)
  30. ^ Дж. Чжан Дж., Н. Магненат Тельманн и Дж. Чжэн, Объединение памяти и эмоций с диалогом о социальном компаньоне: обзор , Материалы 29-й Международной конференции ACM по компьютерной анимации и социальным агентам (CASA 2016), стр. 1- 9, Женева, Швейцария, 23–25 мая 2016 г.
  31. ^ Л. Тиан, Н. Магненат Тельманн, Д. Тальманн, Дж. Чжэн, Методика моделирования и симуляции индивидуальной роботизированной реалистичной руки человека , Труды 35-й Международной конференции по компьютерной графике (CGI 2018), ACM, Бинтан, Индонезия, 11 июня –14, 2018 г.
  32. ^ Л. Тиан, Н. Магненат Тельманн, Д. Тальманн, Дж. Чжэн, Создание одномодельной легкой гуманоидной роботизированной руки с кабельным приводом, напечатанной на 3D-принтере, Границы в робототехнике и искусственном интеллекте, DOI: 10.3389/frobt .2017.00065, стр. 65, 4 декабря 2017 г.
  33. ^ Н. Магненат Тельманн, Л. Тиан и Ф. Яо, Надин: социальный робот, который может локализовать объекты и захватывать их по-человечески , Frontiers in Electronic Technologies, Springer, стр. 1–23, 2017 г.
  34. ^ Х. Лян, Дж. Юань, Д. Тельманн и Н. Магненат Тельманн, AR в руке: эгоцентрическое отслеживание позы ладони и распознавание жестов для приложений дополненной реальности , Мультимедийная конференция ACM 2015 (ACMMM 2015), Брисбен, Австралия, 2015 г.
  35. ^ Дж. Рен, X. Цзян и Дж. Юань, Распознавание и анализ лиц и выражений лица , Контекстно-зависимое взаимодействие человека-робота и человека-агента, Springer International Publishing, 3-29, 2015 г.
  36. ^ Л. Ге, Х. Лян, Дж. Юань и Д. Тельманн, Надежная трехмерная оценка положения рук на изображениях с одной глубиной: от однопроекционной CNN к многопроекционной CNN , Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR), Лас-Вегас, Невада, США, 24 июня 2016 г.
  37. ^ К. Ке, М. Беннамун, С. Ан, Ф. Сохель и Ф. Буссаид, Новое представление скелетных последовательностей для распознавания трехмерных действий , CVPR
  38. ^ З. Фанг, Дж. Юань и Н. Магненат Тельманн, Понимание взаимодействия человека и объекта в видео RGB-D для взаимодействия человека и робота , Труды 35-й Международной конференции по компьютерной графике (CGI 2018), ACM, Индонезия, 11–14 июня, 2018 год
  39. ^ Дж. Редмон и А. Фархади, YOLO9000: Лучше, быстрее, сильнее , препринт arXiv, 2017 г.
  40. ^ Р.С. Уоллес, Анатомия АЛИСА , Анализ теста Тьюринга (стр. 181-210). Спрингер, Дордрехт, 2009 г.
  41. ^ Чаттербот
  42. ^ Дж. Чжан, Дж. Чжэн и Н. Магненат Тельманн, MCAEM: Эпизодическая память на основе смешанного корреляционного анализа для взаимодействия с пользователем-компаньоном , Визуальный компьютер, DOI: 10.1007/s00371-018-1537-3, Том 34, выпуск 6–8, стр. 1129–1141, 10 мая 2018 г.
  43. ^ Алоизиус, Лоу (19 мая 2017 г.). « Выставка «Человек+» исследует будущее человечества» . CNET . Проверено 8 июня 2017 г.
  44. ^ «Человек+: будущее нашего вида» . Архивировано из оригинала 28 ноября 2018 г. Проверено 28 ноября 2018 г.
  45. ^ Конференция Credit Suisse Global Megatrends 2018
  46. ^ Основные моменты 9-й ежегодной конференции deAccess Asia 2018
  47. ^ «NTU отмечает исторический визит премьер-министра Индии» . Архивировано из оригинала 28 ноября 2018 г. Проверено 28 ноября 2018 г.
  48. ^ Премьер-министр Моди взаимодействует с роботом в Наньянском технологическом университете в Сингапуре
  49. ^ Социальный робот NTU Singapore Надин начинает работать секретарем.
  50. ^ Брайт-Хилл Эвергрин
  51. ^ Гаури Тулсулкар, Надя Магненат Тельманн и др., Может ли гуманоидный социальный робот стимулировать интерактивность пожилых людей с когнитивными нарушениями? Тщательное исследование, основанное на методах компьютерного зрения , The Visual Computer, vol. 37, стр. 3019–3038, июль 2021 г.
  52. ^ Социальный робот Надин @ Brighthill Evergreen Home
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 354ce97b76cc5509c6e4486338872503__1722389340
URL1:https://arc.ask3.ru/arc/aa/35/03/354ce97b76cc5509c6e4486338872503.html
Заголовок, (Title) документа по адресу, URL1:
Nadine Social Robot - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)