Майкл Дж. Блэк
Майкл Дж. Блэк | |
---|---|
![]() Майкл Дж. Блэк Директор Института интеллектуальных систем Макса Планка в Тюбингене, Германия | |
Рожденный | Июнь 1962 г. (61–62 года) Северная Каролина , США |
Альма-матер |
|
Известный | |
Награды | Член Немецкой национальной академии наук Леопольдина. Премия PAMI выдающемуся исследователю (2023 г.) Премия Лонге-Хиггинса (2020) Премия Гельмгольца (2013). Премия Кендеринка (2010). Премия Марра, почетное упоминание, ICCV (2005). Премия Марра, почетное упоминание, ICCV (1999). Премия IEEE за выдающуюся бумагу (1991) Иностранный член Шведской королевской академии наук |
Научная карьера | |
Поля | |
Учреждения | Институт Макса Планка интеллектуальных систем Тюбингенский университет |
Диссертация | Надежный добавочный оптический поток (1992) |
Докторантура | П. Анандан |
Докторанты |
|
Веб-сайт | пс |
Майкл Дж. Блэк — учёный-компьютерщик американского происхождения, работающий в Тюбингене , Германия. Он является директором-основателем Института интеллектуальных систем Макса Планка , где возглавляет отдел воспринимающих систем, занимающийся исследованиями в области компьютерного зрения, машинного обучения и компьютерной графики. Он также является почетным профессором Тюбингенского университета .
Блэк выиграл все три главные награды в области компьютерного зрения: премию Кендеринка на Европейской конференции по компьютерному зрению (ECCV) в 2010 и 2022 годах, премию Гельмгольца на Международной конференции по компьютерному зрению (ICCV) в 2013 году. и премию Лонге-Хиггинса на конференции IEEE по компьютерному зрению и распознаванию образов (CVPR) в 2022 году. В 2023 году он получил премию PAMI «Выдающийся исследователь».
Исследовать
[ редактировать ]Оптический поток
[ редактировать ]Диссертация Блэка [1] переформулировала оценку оптического потока как робастную задачу M-оценки . Основное наблюдение заключалось в том, что пространственные неоднородности в движении изображения и нарушения стандартного предположения о постоянстве яркости можно рассматривать как выбросы . Переформулировка классической задачи оптимизации в задачу робастной оценки дала более точные результаты.
Этот алгоритм оптического потока «Блэк и Анандан» широко использовался, например, в спецэффектах. [2] Этот метод использовался для расчета оптического потока для живописных эффектов в фильме «Куда приводят мечты» и для регистрации 3D-сканов лиц в «Матрице: Перезагрузка» .
Версия этой работы получила награду IEEE за выдающуюся бумагу на CVPR 1991. [3] и премия Гельмгольца на ICCV 2013 за работу, «выдержавшую испытание временем». [4]
Его раннее внимание к статистическому моделированию движения, особенно при разрывах движения, привело к двум другим призовым статьям. Его работа с Дэвидом Флитом над «Вероятностным обнаружением и отслеживанием границ движения» получила почетное упоминание премии Марра на ICCV '99. [5] Работа Блэка со Стефаном Ротом «О пространственной статистике оптического потока» получила почетное упоминание премии Марра на ICCV 2005. [6]
Его работа с Дэцин Сан и Стефаном Ротом над « Тайнами оптического потока » была удостоена премии Лонге-Хиггинса 2020 года . Премия вручается ежегодно Техническим комитетом IEEE по анализу шаблонов и машинному интеллекту (PAMI) за «Вклад в компьютерное зрение, выдержавший испытание временем». «Секретная» статья помогла установить современное состояние в этой области и привела к широко используемому алгоритму потока Classic+NL.
Надежная статистика и статистика изображений
[ редактировать ]Метод «Блэка и Анандана» помог популяризировать надежную статистику в области компьютерного зрения. Этому способствовали несколько статей, в которых надежные штрафные функции были связаны с классическими «линейными процессами», использовавшимися в марковских случайных полях в то время (MRF). Блэк и Рангараджан [7] охарактеризовал формальные свойства робастных функций, которые имеют эквивалентную форму линейного процесса, и предоставил процесс преобразования между этими формулировками (известный теперь как «двойственность Блэка-Рангараджана»). [8] ). Блэк и его коллеги применили эти идеи для шумоподавления изображений. [9] анизотропная диффузия, [10] и анализ главных компонентов (PCA). [11] [12]
Надежная формулировка была создана вручную и использовала небольшие пространственные окрестности. Работа над «Областями экспертов» со Стефаном Ротом сняла эти ограничения. [13] Они изучили потенциальные функции MRF с большими пространственными кликами, моделируя потенциалы полей как результат работы экспертов . Их формулировку можно рассматривать как неглубокую сверточную нейронную сеть .
Многоуровневая оценка движения
[ редактировать ]В 1993 году Блэк и Джепсон использовали смешанные модели для представления полей оптического потока с множественными движениями. [14] (также называемый «слоистым» оптическим потоком). Это привело к использованию технологии максимизации ожиданий (EM) в области компьютерного зрения.
Нейронное декодирование и нейронное протезирование
[ редактировать ]В 2000-х годах Блэк работал с Джоном Донохью и другими в Университете Брауна над созданием технологии, лежащей в основе BrainGate технологии нейронного протезирования . Блэк и его коллеги разработали байесовские методы для декодирования нервных сигналов моторной коры головного мозга . Команда первой применила фильтрацию Калмана. [15] [16] [17] и фильтрация частиц [18] для декодирования активности моторного коркового ансамбля. С помощью этих методов байесовского декодирования команда продемонстрировала успешное управление компьютерным курсором с помощью паралича человека. [19] [20] и расшифровка полных движений рук у нечеловеческих приматов. [21]
Движение и форма человека
[ редактировать ]Блэк наиболее известен своими работами по оценке движений и формы человека. Вместе с Хедвиг Сиденблад и Дэвидом Флитом он представил использование фильтрации частиц для отслеживания трехмерных шарнирных движений человека. [22] Эта работа была удостоена премии Кендеринка Кендеринка за фундаментальный вклад в компьютерное зрение на выставке ECCV 2000.
Его текущая работа сосредоточена на моделировании и оценке формы и позы человека по изображениям и видео. адаптировал изученную 3D-модель человеческого тела к данным многокамерного изображения . Его команда была первой, кто на CVPR 2007 [23] под одеждой на ECCV 2008, [24] из одного изображения на ICCV 2009, [25] и по данным RGB-D на ICCV 2011. [26]
Его группа создала популярную 3D-модель кузова SMPL. [27] (и различные расширения, такие как FLAME [28] для 3D человеческих лиц MANO [29] для 3D рук и SMPL-X, [30] выразительная 3D-модель тела с руками и лицами) и популярные методы оценки 3D-формы тела по изображениям. [31] [32] SMPL широко используется как в научных кругах, так и в промышленности и является одной из основных технологий, лицензированных Body Labs Inc.
Дифференцируемый рендеринг
[ редактировать ]Лопер и Блэк популяризировали «дифференцируемый рендеринг». [33] который стал важным компонентом самостоятельного обучения нейронных сетей для решения таких задач, как анализ лица. Классические методы анализа путем синтеза формулируют целевую функцию и затем дифференцируют ее. OpenDR [34] Метод был более общим в том смысле, что он (приблизительно) дифференцировал механизм графического рендеринга с помощью автоматического дифференцирования . Это обеспечило основу для постановки задачи прямого синтеза и автоматического получения метода оптимизации для решения обратной задачи.
Наборы данных
[ редактировать ]Блэк внес свой вклад в создание нескольких важных наборов данных. Набор данных Middlebury Flow стал первым комплексным ориентиром для этого месторождения. [35] Набор данных MPI-Sintel Flow продемонстрировал, что синтетические данные достаточно богаты и похожи на реальные данные, чтобы обеспечить строгий эталон и быть полезными для изучения оптического потока. [36]
Набор данных HumanEva [37] Это был первый набор данных с достоверными трехмерными позами людей в соответствии с RGB-видео людей в движении. В этом подходе использовалась комбинация оптического захвата движения и захвата видео с нескольких камер. Этот набор данных позволил впервые оценить точность и сравнить производительность.
Что касается человеческой позы, формы и активности, Блэк внес свой вклад в Сюрреалистический набор данных о человеческих движениях. [38] набор данных JHMDB о человеческих действиях, [39] и набор данных FAUST трехмерных форм тела. [40] FAUST получил награду Dataset Award на симпозиуме Eurographics по геометрической обработке (SGP) в 2016 году. [41]
Работа
[ редактировать ]1985–1989 : После получения степени бакалавра Блэк переехал в Район залива и работал инженером-программистом в GTE Government Systems и Advanced Decision Systems (ADS), разрабатывая экспертные системы на машинах Xerox и Symbolics Lisp . За это время он получил степень магистра компьютерных наук в области символических и эвристических вычислений в рамках программы сотрудничества с отличием в Стэнфорде. Его советником был Джон Маккарти .
1989–1992 : В этот период Блэк защитил докторскую диссертацию в Йельском университете и получил поддержку стипендии НАСА. Он защитил докторскую диссертацию в Исследовательском центре Эймса НАСА в отделе исследований человеческого фактора, которым руководил Эндрю (Бо) Уотсон. В Йельском университете его консультировали П. Анандан и Дрю Макдермотт .
1992–1993 : Блэк работал над докторской диссертацией в Университете Торонто в качестве доцента кафедры компьютерных наук (назначение на ограниченный по контракту срок). Его курировал Аллан Джепсон. За время своего пребывания там он получил Премию Союза преподавателей компьютерных наук.
1993–2000 : В 1993 году Блэк присоединился к исследовательскому центру Xerox в Пало-Альто (PARC) в качестве научного сотрудника. Он работал в отделе понимания изображений, которым руководил Дэниел Хуттенлохер . В 1996 году он принял на себя управление компанией Huttenlocher. В 1998 году он основал направление анализа цифрового видео.
2000–2011 : В 2000 году Блэк поступил на факультет Брауновского университета в качестве доцента кафедры компьютерных наук (постоянно). В 2004 году ему было присвоено звание профессора.
2017–2021 : В 2017 году, после приобретения Body Labs компанией Amazon, Блэк присоединился к Amazon в качестве выдающегося ученого Amazon (вице-президент) на неполный рабочий день.
2011 – настоящее время : В 2011 году Блэк стал научным членом Общества Макса Планка и одним из директоров-основателей нового MPI для интеллектуальных систем .
Администрация
[ редактировать ]Помимо сооснования MPI для интеллектуальных систем, Блэк возглавил создание Международной исследовательской школы Макса Планка (IMPRS) по интеллектуальным системам.
В 2015 году он предложил инициативу, которая с тех пор стала называться «Кибер-долина», цель которой — сделать регион Штутгарт-Тюбинген в Германии мировым лидером в области исследований и применения искусственного интеллекта. Он входит в состав исполнительного совета исследовательского консорциума и является его представителем.
Предпринимательство
[ редактировать ]В 2013 году команда из группы Блэка создала Body Labs, которая коммерциализировала технологию 3D-моделирования тела для индустрии одежды и игр. Блэк был соучредителем и инвестором. Body Labs была приобретена Amazon.com в 2017 году. [42]
В 2018 году Meshcapade GmbH вышла из его группы. Стартап специализируется на лицензировании технологий, разработанных в MPI-IS, и предоставлении услуг. [43]
Ссылки
[ редактировать ]- ^ Блэк, MJ (1992). «Надежный добавочный оптический поток» . Йельский университет, факультет компьютерных наук .
- ^ «Искусство оптического потока, руководство по эффектам» . 28 февраля 2006 г. Архивировано из оригинала 16 января 2020 г. Проверено 2 марта 2020 г.
- ^ Блэк, МД; Анандан, П. (июнь 1991 г.). «Надежная оценка динамического движения с течением времени» . Конференция IEEE. по компьютерному зрению и распознаванию образов (CVPR) . ЦВПР. Мауи, Гавайи. стр. 296–302. Черный: CVPR: 1991.
- ^ Блэк, МД; Анандан, П. (май 1993 г.). «Система надежной оценки оптического потока» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. Берлин, Германия. стр. 231–236. Черный: ICCV: 1993.
- ^ Блэк, МД; Флит, диджей (сентябрь 1999 г.). «Вероятностное обнаружение и отслеживание разрывов движения» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. Корфу, Греция: ICCV. стр. 551–558. Черный: ICCV: 1999.
- ^ Рот, Р.; Блэк, MJ (2005). «О пространственной статистике оптического потока» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. стр. 42–49. Рот:ICCV:05.
- ^ Блэк, МД; Рангараджан, А. (июль 1996 г.). «Об унификации линейных процессов, отклонении выбросов и надежной статистике с приложениями раннего видения» . Международный журнал компьютерного зрения . 19 : 57–92. CiteSeerX 10.1.1.75.6656 . дои : 10.1007/BF00131148 . S2CID 7510079 .
- ^ Бэррон, Джонатан Т. (2017). «Общая и адаптивная устойчивая функция потерь». arXiv : 1701.03077 [ cs.CV ].
- ^ Блэк, МД; Рангараджан, А. (1996). «Об унификации линейных процессов, отклонении выбросов и надежной статистике с приложениями раннего видения» . Международный журнал компьютерного зрения . 19 : 57–92. дои : 10.1007/BF00131148 . S2CID 7510079 .
- ^ Блэк, МД; Сапиро, Г.; Маримонт, Д.; Хигер, Д. (март 1998 г.). «Робастная анизотропная диффузия» . Транзакции IEEE при обработке изображений . 7 (3): 421–432. Бибкод : 1998ITIP....7..421B . дои : 10.1109/83.661192 . ПМИД 18276262 .
- ^ Де ла Торре, Ф.; Блэк, MJ (2001). «Надежный анализ главных компонентов для компьютерного зрения» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. Ванкувер, Британская Колумбия, США. стр. 362–369. Торре:ICCV:2001.
- ^ Блэк, МД; Джепсон, А. (1998). «EigenTracking: надежное сопоставление и отслеживание сочлененных объектов с использованием представления на основе представлений» . Международный журнал компьютерного зрения . 26 : 63–84. дои : 10.1023/А:1007939232436 . S2CID 572947 .
- ^ Рот, С.; Блэк, MJ (апрель 2009 г.). «Области экспертов» . Международный журнал компьютерного зрения . 82 (2): 205–29. дои : 10.1007/s11263-008-0197-6 . S2CID 13058320 .
- ^ Джепсон, А.; Блэк, MJ (июнь 1992 г.). «Модели смесей для расчета оптических потоков» . Конференция IEEE. по компьютерному зрению и распознаванию образов (CVPR) . ЦВПР. Нью-Йорк, штат Нью-Йорк. стр. 760–761. Черный: IEEE: 1993.
- ^ Ву, В.; Блэк, МД; Гао, да; Биненшток, Э.; Серруя, М.; Шайхуни, А.; Донохью, JP (2003). «Нейронное декодирование движения курсора с помощью фильтра Калмана» . Достижения в области нейронных систем обработки информации 15 (NIPS) . МТИ Пресс. стр. 133–140. Черный: АНИПС: 2003.
- ^ Ву, В.; Гао, Ю.; Биненшток, Э.; Донохью, JP; Блэк, MJ (2006). «Байесовское популяционное декодирование двигательной активности коры с помощью фильтра Калмана» . Нейронные вычисления . 18 (1): 80–118. CiteSeerX 10.1.1.218.2370 . дои : 10.1162/089976606774841585 . ПМИД 16354382 . S2CID 1679756 .
- ^ Ким, С.-П.; Симерал, Дж.; Хохберг, Л.; Донохью, JP; Блэк, MJ (2008). «Нейронный контроль скорости компьютерного курсора путем декодирования двигательной активности коры у людей с тетраплегией» . Журнал нейронной инженерии . 5 (4): 455–476. Бибкод : 2008JNEng...5..455K . дои : 10.1088/1741-2560/5/4/010 . ПМЦ 2911243 . ПМИД 19015583 .
- ^ Гао, Ю.; Блэк, МД; Биненшток, Э.; Шохам, С.; Донохью, Дж. (2002). «Вероятностный вывод о движении руки на основании нейронной активности моторной коры» . Достижения в области нейронных систем обработки информации 14 (NIPS) . НИПС. МТИ Пресс. стр. 221–228. Черный: АНИПС: 2002.
- ^ Ким, С.-П.; Симерал, Дж.; Хохберг, Л.; Донохью, JP; Фрис, генеральный менеджер; Блэк, MJ (апрель 2011 г.). «Управление курсором «укажи и щелкни» с помощью системы внутрикоркового нейронного интерфейса у людей с тетраплегией» . Транзакции IEEE по нейронным системам и реабилитационной технике . 19 (2): 193–203. дои : 10.1109/TNSRE.2011.2107750 . ПМЦ 3294291 . ПМИД 21278024 .
- ^ Симерал, доктор юридических наук; Ким, С.-П.; Блэк, МД; Донохью, JP; Хохберг, ЛР (2011). «Нейронный контроль траектории курсора и щелчка человеком с тетраплегией через 1000 дней после имплантации внутрикортикальной микроэлектродной матрицы» . Журнал нейронной инженерии . 8 (2): 025027. Бибкод : 2011JNEng...8b5027S . дои : 10.1088/1741-2560/8/2/025027 . ПМЦ 3715131 . ПМИД 21436513 .
- ^ Варгас-Ирвин, CE; Шахнарович Г.; Ядоллахпур, П.; Мислоу, JMK; Блэк, МД; Донохью, JP (июль 2010 г.). «Расшифровка действий полного охвата и захвата локальных популяций первичной моторной коры» . Журнал неврологии . 39 (29): 9659–9669. doi : 10.1523/JNEUROSCI.5443-09.2010 . ПМЦ 2921895 . ПМИД 20660249 .
- ^ Сиденблад, Х.; Блэк, МД; Флит, диджей (июнь 2000 г.). «Стохастическое отслеживание трехмерных человеческих фигур с использованием движения двухмерного изображения» . Европейская конференция по компьютерному зрению (ECCV) . ЕСКВ. Дублин, Ирландия: Springer Verlag. стр. 702–718. Черный:ECCV:2000.
- ^ Балан, А.; Блэк, МД; Дэвис, Дж.; Хауссекер, Х. (июнь 2007 г.). «Детальная форма и поза человека по изображениям» . Конференция IEEE. по компьютерному зрению и распознаванию образов (CVPR) . ЦВПР. Миннеаполис. стр. 1–8. Балан: ЦВПР: 2007.
- ^ Балан, А; Блэк, MJ (октябрь 2008 г.). «Голая правда: оценка формы тела под одеждой» . Европейская конф. по компьютерному зрению (ECCV) . ЕСКВ. Марсель, Франция: Springer-Verlag. стр. 15–29. Балан: ECCV.
- ^ Гуань, П.; Вайс, А.; Балан, А.; Блэк, MJ (2009). «Оценка формы и позы человека по одному изображению» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. стр. 1381–1388. Гуань:ICCV:2009.
- ^ Вайс, А.; Хиршберг, Д; Блэк, MJ (ноябрь 2011 г.). «Домашнее 3D-сканирование тела на основе зашумленных изображений и данных о расстоянии» . Межд. Конф. по компьютерному зрению (ICCV) . ICCV. Барселона: IEEE. стр. 1951–1958. Вайс:ICCV:11.
- ^ Лопер, М.; Махмуд, Н.; Ромеро, Дж.; Понс-Молл, Г.; Блэк, MJ (октябрь 2017 г.). «SMPL: линейная модель для нескольких человек со шкурой» . АКМ Транс. Графика . 34 : 248:1–248:16. дои : 10.1145/2816795.2818013 . S2CID 229365481 .
- ^ Ли, Т.; Болкарт, Т.; Блэк, МД; Ли, Х.; Ромеро, Дж. (2017). «Изучение модели формы и выражения лица по 4D-сканам» . АКМ Транс. Графика . 36 (6): 194:1–194:17. дои : 10.1145/3130800.3130813 .
- ^ Ромеро, Дж.; Ционас, Д.; Блэк, MJ (2017). «Воплощенные руки: моделирование и захват рук и тел вместе» . АКМ Транс. Графика . 36 : 245:1–245:17. arXiv : 2201.02610 . дои : 10.1145/3130800.3130883 .
- ^ Павлакос, Г.; Чутас, В.; Горбани, Н.; Болкарт, Т.; Осман, ААА; Ционас, Д.; Блэк, MJ (2019). «Выразительный захват тела: 3D-руки, лицо и тело из одного изображения» . Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR) . Том. 36. С. 10975–10985. arXiv : 1904.05866 .
- ^ Бого, Ф.; Канадзава, А.; Ласснер, К.; Гелер, П.; Ромеро, Дж.; Блэк, MJ (октябрь 2016 г.). «Сохраняйте SMPL: автоматическая оценка позы и формы человека в 3D по одному изображению» . Европейская конф. по компьютерному зрению (ECCV) . ЕСКВ. Амстердам, Нидерланды: Springer International Publishing. стр. 561–578. Бого:ECCV:2016.
- ^ Канадзава, А.; Блэк, МД; Джейкобс, Д.В.; Малик, Дж. (2018). «Сквозное восстановление формы и позы человека» . Конференция IEEE. по компьютерному зрению и распознаванию образов (CVPR) . ЦВПР. Солт-Лейк-Сити, США: Компьютерное общество IEEE. стр. 7122–7131. Канадзава: CVPR: 2018.
- ^ Лопер, М.; Блэк, MJ (сентябрь 2014 г.). «OpenDR: приблизительный дифференцируемый рендерер» . Европейская конф. по компьютерному зрению (ECCV) . ЕСКВ. Цюрих, Швейцария: Международное издательство Springer. стр. 154–169. Лопер:ECCV:2014.
- ^ «Открытый дифференцируемый рендерер» . Гитхаб . 16 февраля 2020 г. Архивировано из оригинала 24 июля 2017 г. Проверено 2 марта 2020 г.
- ^ «База данных и методология оценки оптического потока» . Архивировано из оригинала 27 июля 2019 г. Проверено 2 марта 2020 г.
- ^ «Набор данных потока MPI Sintel» . Архивировано из оригинала 29 июля 2019 г. Проверено 2 марта 2020 г.
- ^ «Набор данных HumanEva» . Архивировано из оригинала 10 сентября 2019 г. Проверено 2 марта 2020 г.
- ^ «Сюрреалистический набор данных» . Архивировано из оригинала 16 января 2020 г. Проверено 2 марта 2020 г.
- ^ «Совместно аннотированная база данных о движении человека» . Архивировано из оригинала 24 июля 2019 г. Проверено 2 марта 2020 г.
- ^ «Набор данных MPI FAUST» . Архивировано из оригинала 11 августа 2019 г. Проверено 2 марта 2020 г.
- ^ «Программы награждения за геометрическую обработку» . Архивировано из оригинала 29 июля 2014 г. Проверено 2 марта 2020 г.
- ^ «Amazon приобрела стартап Body Labs, занимающийся 3D-моделированием тела, за 50–70 миллионов долларов» . 3 октября 2017 г. Архивировано из оригинала 17 декабря 2019 г. Проверено 2 марта 2020 г.
- ^ «Мешкападе» . Архивировано из оригинала 16 января 2020 г. Проверено 2 марта 2020 г.
Внешние ссылки
[ редактировать ]- Американские ученые-компьютерщики
- 1962 года рождения
- Живые люди
- Выпускники Университета Британской Колумбии
- Выпускники Стэнфордского университета
- Выпускники Йельской высшей школы искусств и наук
- Члены Немецкой национальной академии наук Леопольдина
- Преподаватели Университета Брауна
- Члены Шведской королевской академии наук
- Директора Института Макса Планка