Jump to content

Синтез образа человека

В этой целевой системе анимации морфинга четыре «выражения» определены как деформации геометрии модели. Для анимации формы рта можно использовать любую комбинацию этих четырех выражений. Подобные элементы управления можно применять для анимации всей человекоподобной модели.

Синтез изображений человека — это технология, которую можно применять для создания правдоподобных и даже фотореалистичных изображений. [1] [2] человеческих подобий, движущихся или неподвижных. Фактически он существует с начала 2000-х годов. Во многих фильмах, в которых используются изображения, сгенерированные компьютером, используются синтетические изображения человекоподобных персонажей, наложенные в цифровом формате на реальный или другой смоделированный материал фильма. К концу 2010-х годов с глубоким обучением искусственный интеллект был применен для синтеза изображений и видео , похожих на людей, без необходимости человеческой помощи после завершения этапа обучения, тогда как старый школьный 7D-маршрут требовал огромного количества человеческой работы..

Хронология человека синтеза образа

  • Конец 2017 г. [16] а в начале 2018 года всплыл спор о дипфейках , когда порновидео были обработаны с помощью глубокого машинного обучения, так что лицо актрисы было заменено мнением программного обеспечения о том, как будет выглядеть лицо другого человека в той же позе и освещении.
  • На в 2018 году конференции разработчиков игр Epic Games и Tencent Games продемонстрировали «Сирену», цифровой двойник актрисы Бинцзе Цзян . Это стало возможным благодаря следующим технологиям: CubicMotion системе компьютерного зрения , 3Lateral системе лицевой оснастки . и системе захвата движения Vicon Демонстрация проходила практически в реальном времени со скоростью 60 кадров в секунду на Unreal Engine 4 . [17]
  • В 2018 году на Всемирной интернет-конференции в Учжене агентство новостей Синьхуа представило двух цифровых двойников, похожих на настоящих ведущих новостей Цю Хао (китайский язык). [18] и Чжан Чжао (английский язык). Цифровые двойники были созданы совместно с Sogou . [19] Ни использованный синтез речи , ни жесты цифровых двойников якорей не были достаточно хороши, чтобы обмануть зрителя и заставить его принять их за реальных людей, изображенных телекамерой.
  • В сентябре 2018 года Google добавила «непроизвольные синтетические порнографические изображения» в свой список запретов, что позволило любому запрашивать результаты блокировки поисковой системы, которые ложно изображают их как «обнаженных или в откровенно сексуальной ситуации». [20]

прорыв в фотореализме: отражения захват Ключевой

ESPER LightCage — это пример сферической световой сцены с многокамерной установкой вокруг сферы, подходящей для захвата в 7D-модель отражения.

В 1999 году Пол Дебевец и др. из USC впервые осуществил захват отражения человеческого лица с помощью своей чрезвычайно простой световой сцены . Они представили свой метод и результаты на SIGGRAPH 2000. [4]

Функция распределения двунаправленного рассеяния (BSDF) для подобия кожи человека требует как BRDF , так и специального случая BTDF, когда свет попадает в кожу, передается и выходит из кожи .

Научный прорыв потребовал обнаружения подповерхностной световой составляющей (имитационные модели слегка светятся изнутри), которую можно найти, зная, что свет, отраженный от слоя нефть-воздух, сохраняет свою поляризацию , а подповерхностный свет теряет поляризацию. Таким образом, оснащенный только подвижным источником света, подвижной видеокамерой, двумя поляризаторами и компьютерной программой, выполняющей чрезвычайно простые математические операции, был получен последний фрагмент, необходимый для достижения фотореализма. [4]

Для получения правдоподобного результата как свет, отраженный от кожи ( BRDF ), так и свет внутри кожи (особый случай BTDF ), которые вместе составляют BSDF необходимо захватить и смоделировать .

Захват [ править ]

Синтез [ править ]

Весь процесс создания цифровых двойников, то есть персонажей, настолько реалистичных и реалистичных, что их можно выдать за изображения людей, представляет собой очень сложную задачу, поскольку требует фотореалистичного моделирования , анимации, перекрестного сопоставления и визуализации динамики мягкого тела персонажа. человеческий облик.

Синтез с актером и подходящими алгоритмами применяется с помощью мощных компьютеров. Роль актера в синтезе состоит в том, чтобы позаботиться о имитации человеческих выражений при синтезе неподвижных изображений, а также движений человека при синтезе кинофильмов. Алгоритмы необходимы для моделирования законов физики и физиологии и соответствующего отображения моделей, их внешнего вида, движений и взаимодействия.

Часто моделирование и рендеринг на основе физики / физиологии (т. е. скелетная анимация ), так и моделирование и рендеринг на основе изображений в части синтеза используются как . Гибридные модели, использующие оба подхода, показали лучшие результаты по реалистичности и простоте использования. Целевая анимация морфинга снижает рабочую нагрузку, предоставляя контроль более высокого уровня, при котором различные выражения лица определяются как деформации модели, а выражение лица позволяет интуитивно настраивать выражения. Целевая анимация Morph может затем трансформировать модель между различными определенными выражениями лица или позами тела без особой необходимости вмешательства человека.

Использование карт смещения играет важную роль в получении реалистичного результата с мелкими деталями кожи, такими как поры и морщины размером до 100 мкм .

машинного Подход обучения

В конце 2010-х годов машинное обучение , а точнее генеративно-состязательные сети использовала NVIDIA (GAN), для создания случайных, но фотореалистичных человекоподобных портретов. Система, названная StyleGAN , была обучена на базе данных из 70 000 изображений с сайта-хранилища изображений Flickr . Исходный код был опубликован на GitHub в 2019 году. [30] Результаты работы генераторной сети на основе случайных входных данных были опубликованы на ряде веб-сайтов. [31] [32]

Аналогичным образом, с 2018 года технология дипфейков позволила GAN менять лица между актерами; В сочетании со способностью имитировать голоса GAN могут создавать фальшивые видео, которые кажутся убедительными. [33]

Приложения [ править ]

Основные области применения относятся к стоковой фотографии , синтетическим наборам данных , виртуальной кинематографии , компьютерным и видеоиграм , а также скрытым дезинформационным атакам . [34] [32] Некоторые ИИ для распознавания лиц используют изображения, сгенерированные другими ИИ, в качестве синтетических данных для обучения. [35]

Более того, некоторые исследования показывают, что это может иметь терапевтический эффект , поскольку « психологи и консультанты также начали использовать аватары для оказания терапии клиентам, имеющим фобии в анамнезе , травмы , зависимости, синдром Аспергера или социальную тревогу ». [36] Сильный отпечаток памяти и эффекты активации мозга, вызванные наблюдением за вашим цифровым двойником, называются эффектом двойника . [36] Эффект двойника может излечиться, когда скрытая дезинформационная атака становится объектом атаки как таковая.

Связанные вопросы [ править ]

Синтез речи практически неотличим от записи реального человеческого голоса с момента появления в 2016 году программного обеспечения для редактирования и генерации голоса Adobe Voco , прототип которого должен стать частью Adobe Creative Suite , и DeepMind WaveNet , прототипа. из Google. [37] Способность воровать голоса других людей и манипулировать ими вызывает очевидные этические проблемы. [38]

На конференции по нейронным системам обработки информации (NeurIPS) 2018 года исследователи из Google представили работу «Перенос обучения от проверки говорящего к синтезу текста в речь с несколькими динамиками», которая переносит обучение от проверки говорящего для достижения синтеза речи, что можно заставить звучать почти так же, как кто-либо, используя образец речи продолжительностью всего 5 секунд (послушайте) . [39]

Поиск изображений для обучения ИИ поднимает вопрос конфиденциальности, поскольку люди, которых используют для обучения, не давали согласия. [40]

Технология создания цифровых звуковых аналогов попала в руки преступников: в 2019 году исследователям Symantec стало известно о трех случаях использования технологии в преступных целях. [41] [42]

Это в сочетании с тем фактом, что (по состоянию на 2016 год) были достоверно продемонстрированы методы, позволяющие в существующих 2D-видео практически в реальном времени, подделывать выражения лица увеличивает нагрузку на ситуацию с дезинформацией. [14]

См. также [ править ]

Ссылки [ править ]

  1. ^ Физическая модель мышц для управления формой рта в IEEE Explore (требуется членство)
  2. ^ Реалистичная 3D-анимация лица в телеконференциях в виртуальном пространстве на IEEE Explore (требуется членство)
  3. ^ «Компьютерные изображения: приз долголетия за штриховку Гуро» . 14 сентября 2008 г.
  4. ^ Jump up to: Перейти обратно: а б с Дебевец, Пол (2000). «Получение поля отражения человеческого лица» . Материалы 27-й ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH '00 . АКМ. стр. 145–156. дои : 10.1145/344779.344855 . ISBN  978-1581132083 . S2CID   2860203 . Проверено 24 мая 2017 г.
  5. ^ Пигин, Фредерик. «Конспекты курса цифрового клонирования лица Siggraph 2005» (PDF) . Проверено 24 мая 2017 г.
  6. ^ «Лицо-трансформер Сент-Эндрюс» . Бесполезный шкаф . 30 января 2005 г. Проверено 7 декабря 2020 г. .
  7. ^ Jump up to: Перейти обратно: а б Уэст, Марк (4 декабря 2007 г.). «Изменение облика науки» . Плюс журнал . Проверено 7 декабря 2020 г. .
  8. ^ Годдард, Джон (27 января 2010 г.). «Многоликость расовых исследований» . thestar.com . Проверено 7 декабря 2020 г. .
  9. ^ В этом видео выступления TED в 00:04:59 вы можете увидеть два клипа: один с настоящей Эмили, снятый настоящей камерой, и другой с цифровым двойником Эмили, снятым с помощью симуляции камеры . сложно сказать . Брюса Лоумена сканировали с помощью 6-го этапа освещения USC в неподвижном положении, а также записывали его бег на беговой дорожке . Многие, многие цифровые двойники Брюса бегают бегло и естественно, глядя на финальную часть видео выступления TED.
  10. ^ ReForm – Голливуд создает цифровые клоны (youtube). Проект «Создатели». 24 мая 2017 г.
  11. ^ Дебевец, Пол. «Цифровой Ира SIGGRAPH 2013 в реальном времени» . Архивировано из оригинала 21 февраля 2015 года . Проверено 24 мая 2017 г.
  12. ^ «Сканирование и печать 3D-портрета президента Барака Обамы» . Университет Южной Калифорнии. 2013 . Проверено 24 мая 2017 г.
  13. ^ Джардина, Кэролайн (25 марта 2015 г.). « Форсаж 7» и как Weta Питера Джексона создала цифрового Пола Уокера» . Голливудский репортер . Проверено 24 мая 2017 г.
  14. ^ Jump up to: Перейти обратно: а б Тис, Юстус (2016). «Face2Face: захват лиц в реальном времени и реконструкция RGB-видео» . Учеб. Компьютерное зрение и распознавание образов (CVPR), IEEE . Проверено 24 мая 2017 г.
  15. ^ Суваджанакорн, Супасорн; Зейтц, Стивен; Кемельмахер-Шлизерман, Ира (2017), Synthesizing Obama: Learning Lip Sync from Audio , Вашингтонский университет , получено 2 марта 2018 г.
  16. ^ Реттгерс, Янко (21 февраля 2018 г.). «Порнопродюсеры предлагают помочь Голливуду удалить дипфейковые видео» . Разнообразие . Проверено 28 февраля 2018 г.
  17. ^ Такахаши, декан (21 марта 2018 г.). «Epic Games демонстрирует потрясающего цифрового человека в реальном времени с помощью демо-версии Siren» . ВенчурБит . Проверено 10 сентября 2018 г.
  18. ^ Куо, Лили (9 ноября 2018 г.). «Первый в мире ведущий новостей об искусственном интеллекте представлен в Китае» . TheGuardian.com . Проверено 9 ноября 2018 г.
  19. ^ Гамильтон, Изобель Ашер (9 ноября 2018 г.). «Китай создал, как он утверждает, первую ведущую новостей об искусственном интеллекте — смотрите это в действии здесь» . Бизнес-инсайдер . Проверено 9 ноября 2018 г.
  20. ^ Харвелл, Дрю (30 декабря 2018 г.). «Фейковые порновидео используются в качестве оружия для преследования и унижения женщин: «Каждый является потенциальной мишенью» » . Вашингтон Пост . Проверено 14 марта 2019 г. В сентябре [2018 года] Google добавила в свой запретный список «принудительные синтетические порнографические изображения».
  21. ^ «Генератор гиперреалистичных лиц NVIDIA с открытым исходным кодом StyleGAN» . Medium.com . 9 февраля 2019 года . Проверено 3 октября 2019 г.
  22. ^ Jump up to: Перейти обратно: а б Паес, Дэнни (13 февраля 2019 г.). «Этот человек не существует — лучший одноразовый веб-сайт 2019 года» . Инверсия . Проверено 5 марта 2018 г.
  23. ^ «Новые законы штата вступают в силу 1 июля» . 24 июня 2019 г.
  24. ^ Jump up to: Перейти обратно: а б «§ 18.2–386.2. Незаконное распространение или продажа изображений другого лица; штраф» . Вирджиния . Проверено 1 января 2020 г.
  25. ^ «О создании уголовной ответственности за изготовление вводящего в заблуждение видео с целью повлиять на исход выборов» . Техас . 14 июня 2019 года . Проверено 2 января 2020 г. В этом разделе «дипфейковое видео» означает видео, созданное с целью обмана и изображающее реального человека, совершающего действие, не произошедшее в действительности.
  26. ^ Джонсон, Р.Дж. (30 декабря 2019 г.). «Вот новые законы Калифорнии, вступающие в силу в 2020 году» . КФИ . iHeartMedia . Проверено 1 января 2020 г.
  27. ^ Михальчик, Кэрри (4 октября 2019 г.). «Законы Калифорнии направлены на борьбу с дипфейками в политике и порнографии» . cnet.com . CNET . Проверено 14 октября 2019 г.
  28. ^ «Китай стремится искоренить фейковые новости и дипфейки с помощью новых правил онлайн-контента» . Reuters.com . Рейтер . 29 ноября 2019 года . Проверено 8 декабря 2019 г.
  29. ^ Статт, Ник (29 ноября 2019 г.). «Китай считает уголовным преступлением публикацию дипфейков или фейковых новостей без раскрытия информации» . Грань . Проверено 8 декабря 2019 г.
  30. ^ Синхронизировано (9 февраля 2019 г.). «Генератор гиперреалистичных лиц NVIDIA с открытым исходным кодом StyleGAN» . Синхронизировано . Проверено 4 августа 2020 г.
  31. ^ Веб-сайт публичной демонстрации StyleGAN
  32. ^ Jump up to: Перейти обратно: а б Портер, Джон (20 сентября 2019 г.). «100 000 бесплатных фотографий, созданных искусственным интеллектом, привлекли внимание компаний, занимающихся стоковыми фотографиями» . Грань . Проверено 7 августа 2020 г.
  33. ^ «Что такое дипфейк?» . PCMAG.com . Март 2020 года . Проверено 8 июня 2020 г.
  34. ^ Харвелл, Дрю. «Приложениям для знакомств нужны женщины. Рекламодателям нужно разнообразие. Компании, занимающиеся искусственным интеллектом, предлагают решение: фальшивые люди» . Вашингтон Пост . Проверено 4 августа 2020 г.
  35. ^ «Нейронным сетям для обучения нужны данные. Даже если они поддельные» . Журнал Кванта . 11 декабря 2023 г. Проверено 18 июня 2023 г.
  36. ^ Jump up to: Перейти обратно: а б Мерфи, Саманта (2023). «Scientific American: ваш аватар, ваш гид» (.pdf) . Scientific American/Университет Стэнфорда . Проверено 11 декабря 2023 г.
  37. ^ «WaveNet: генеративная модель для необработанного аудио» . Deepmind.com . 8 сентября 2016 года. Архивировано из оригинала 27 мая 2017 года . Проверено 24 мая 2017 г.
  38. ^ «Adobe Voco «Photoshop для голоса» вызывает беспокойство» . BBC.com . Би-би-си . 7 ноября 2016 г. Проверено 5 июля 2016 г.
  39. ^ Цзя, Йе; Чжан, Ю; Вайс, Рон Дж. (12 июня 2018 г.), «Перенос обучения от проверки говорящего к синтезу речи с несколькими говорящими», Достижения в области нейронных систем обработки информации , 31 : 4485–4495, arXiv : 1806.04558 , Bibcode : 2018arXiv180604558J
  40. ^ Рэйчел Мец (19 апреля 2019 г.). «Если ваше изображение размещено в Интернете, возможно, оно тренирует ИИ для распознавания лиц» . CNN . Проверено 4 августа 2020 г.
  41. ^ «Фальшивые голоса помогают киберпреступникам украсть деньги » . bbc.com . Би-би-си . 8 июля 2019 года . Проверено 16 апреля 2020 г.
  42. ^ Дрю, Харвелл (16 апреля 2020 г.). «Сначала искусственный интеллект: программное обеспечение, имитирующее голос, как сообщается, использовалось при крупной краже» . Вашингтон Пост . Проверено 8 сентября 2019 г.
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 44a0fa1754205632397e37977f304121__1715642400
URL1:https://arc.ask3.ru/arc/aa/44/21/44a0fa1754205632397e37977f304121.html
Заголовок, (Title) документа по адресу, URL1:
Human image synthesis - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)