Бернхард Шёлкопф
Бернхард Шёлкопф | |
---|---|
Рожденный | февраль 1968 г. (56 лет) |
Альма-матер |
|
Известный | |
Награды |
|
Научная карьера | |
Учреждения | Институт Макса Планка интеллектуальных систем |
Диссертация | Опорное векторное обучение (1997) |
Докторантура | |
Докторанты |
Бернхард Шёлкопф (родился 20 февраля 1968 г.) — немецкий ученый-компьютерщик, известный своими работами в области машинного обучения, особенно в области методов ядра и причинности . Он является директором Института интеллектуальных систем Макса Планка в Тюбингене , Германия , где возглавляет отдел эмпирического вывода. Он также является доцентом ETH Zürich , почетным профессором Тюбингенского университета и Берлинского технического университета и председателем Европейской лаборатории обучения и интеллектуальных систем (ELLIS).
Исследовать
[ редактировать ]Методы ядра
[ редактировать ]Шёлкопф разработал методы SVM мирового рекорда производительности в тесте распознавания образов MNIST . , добившись на тот момент [ 2 ] С введением ядра PCA Шёлкопф и соавторы утверждали, что SVM являются частным случаем гораздо более широкого класса методов, и все алгоритмы, которые могут быть выражены в терминах скалярных произведений, могут быть обобщены на нелинейные условия с помощью того, что известно. как воспроизводящие ядра. [ 3 ] [ 4 ] [ 5 ] Еще одно важное наблюдение заключалось в том, что данные, на которых определяется ядро, не обязательно должны быть векторными, если матрица Грама ядра положительно определена. [ 3 ] Оба открытия вместе привели к созданию области методов ядра , охватывающей SVM и многие другие алгоритмы. Методы ядра теперь являются учебником и одной из основных парадигм машинного обучения в исследованиях и приложениях.
Разработав ядро PCA, Шёлкопф расширил его для извлечения инвариантных функций и разработки инвариантных ядер. [ 4 ] [ 6 ] [ 7 ] и показал, как рассматривать другие основные методы уменьшения размерности, такие как LLE и Isomap, как особые случаи . В дальнейшей работе с Алексом Смолой и другими он расширил метод SVM до регрессии и классификации с заранее заданной разреженностью. [ 8 ] и оценка квантиля/поддержки. [ 9 ] Он доказал теорему о представителе , подразумевающую, что SVM, ядро PCA и большинство других ядерных алгоритмов, регуляризованных по норме в воспроизводящем ядерном гильбертовом пространстве , имеют решения, принимающие форму расширения ядра обучающих данных, тем самым сводя бесконечномерную задачу оптимизации к конечномерный. Он участвовал в разработке вложений в ядро методов распределений для представления вероятностных распределений в гильбертовых пространствах . [ 10 ] [ 11 ] [ 12 ] [ 13 ] со ссылками на дифракцию Фраунгофера [ 14 ] а также приложения для тестирования независимости. [ 15 ] [ 16 ] [ 17 ]
Причинность
[ редактировать ]Начиная с 2005 года Шёлкопф обратил своё внимание на причинный вывод . Причинные механизмы в мире порождают статистические зависимости как эпифеномены, но только последние используются популярными алгоритмами машинного обучения. Знания о причинных структурах и механизмах полезны, поскольку позволяют нам прогнозировать не только будущие данные, поступающие из того же источника, но и эффект вмешательств в систему, а также облегчая перенос обнаруженных закономерностей в новые ситуации. [ 18 ]
Шёлкопф и его коллеги рассмотрели (и в некоторых случаях решили) проблему обнаружения причинно-следственных связей для ситуации с двумя переменными. [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ] и связал причинность с колмогоровской сложностью . [ 24 ]
Примерно в 2010 году Шёлкопф начал исследовать, как использовать причинность для машинного обучения, используя предположения о независимости механизмов и инвариантности. [ 25 ] Его ранние работы по причинному обучению были представлены более широкой аудитории по машинному обучению во время его лекции Познера. [ 26 ] на NeurIPS 2011, а также в программном докладе на ICML 2017. [ 27 ] Он исследовал, как использовать основные причинные структуры, чтобы сделать методы машинного обучения более устойчивыми к сдвигам распределения. [ 18 ] [ 28 ] [ 29 ] и систематические ошибки, [ 30 ] последнее привело к открытию ряда новых экзопланет. [ 31 ] включая K2-18b , в атмосфере которой впоследствии было обнаружено наличие водяного пара, что стало первой экзопланетой в обитаемой зоне .
Образование и трудоустройство
[ редактировать ]Шёлкопф изучал математику, физику и философию в Тюбингене и Лондоне. Его поддержал Studienstiftung , и он получил премию Мемориала Лайонела Купера за лучшую степень магистра наук. по математике в Лондонском университете . [ 32 ] Он получил диплом по физике, а затем перешел в Bell Labs в Нью-Джерси, где работал с Владимиром Вапником , который стал соруководителем его докторской диссертации в Берлинском техническом университете (со Стефаном Йахнихеном). Его диссертация, защищенная в 1997 году, получила ежегодную награду Немецкой ассоциации информатики . [ 33 ] В 2001 году, занимая должности в Берлине, Кембридже и Нью-Йорке, он основал отдел эмпирического вывода в Институте биологической кибернетики Макса Планка , который превратился в ведущий центр исследований в области машинного обучения. В 2011 году он стал директором-основателем Института интеллектуальных систем Макса Планка . [ 34 ] [ 35 ]
Вместе с Алексом Смолой Шёлкопф стал соучредителем серии летних школ машинного обучения. [ 36 ] Он также стал соучредителем докторской программы Кембриджа-Тюбингена. [ 37 ] и Центр систем обучения Макса Планка-ETH. [ 38 ] В 2016 году он стал соучредителем исследовательского консорциума Cyber Valley. [ 39 ] Он участвовал в Глобальной инициативе IEEE по «Этичному дизайну». [ 40 ]
Шёлкопф является соредактором Journal of Machine Learning Research , журнала, который он помог основать, будучи частью массовой отставки редакционной коллегии Machine Learning (журнала) . Он входит в число наиболее цитируемых ученых-компьютерщиков в мире. [ 41 ] Среди выпускников его лаборатории Ульрика фон Люксбург , Карл Расмуссен, Матиас Хейн, Артур Греттон, Гуннар Ретч, Маттиас Бетге, Стефани Джегелька, Джейсон Уэстон, Оливье Буске, Оливье Шапель, Хоакин Кинонеро-Кандела и Себастьян Новозин. [ 42 ]
По состоянию на конец 2023 года Шёлкопф также является научным консультантом французской исследовательской группы Kyutai, которую финансируют Ксавье Ниль , Родольф Сааде , Эрик Шмидт и другие. [ 43 ]
Награды
[ редактировать ]Награды Шёлкопфа включают Премию Милнера Королевского общества и совместно с Изабель Гийон и Владимиром Вапником премию Фонда BBVA «Границы знаний» в категории «Информационные и коммуникационные технологии». Он был первым учёным, работающим в Европе, получившим эту награду. [ 44 ]
Ссылки
[ редактировать ]- ^ Премия «Причинно-следственная связь в статистическом образовании» . www.amstat.org .
- ^ Декост, Деннис; Шёлкопф, Бернхард (1 января 2002 г.). «Обучение машин инвариантных опорных векторов» . Машинное обучение . 46 (1): 161–190. дои : 10.1023/А:1012454411458 . hdl : 11858/00-001M-0000-0013-E06A-A . S2CID 85843 — через Springer Link.
- ^ Перейти обратно: а б Шёлкопф, Бернхард (1997). Поддержка векторного обучения . Об этом сообщает GMD. Мюнхен Вена: Ольденбург. ISBN 978-3-486-24632-2 .
- ^ Перейти обратно: а б Шёлкопф, Бернхард; Смола, Александр; Мюллер, Клаус-Роберт (1 июля 1998 г.). «Анализ нелинейных компонентов как проблема собственных значений ядра» . Нейронные вычисления . 10 (5): 1299–1319. дои : 10.1162/089976698300017467 . ISSN 0899-7667 . S2CID 6674407 .
- ^ Берджес, Кристофер Дж. К. (1 июня 1998 г.). «Учебное пособие по машинам опорных векторов для распознавания образов» . Интеллектуальный анализ данных и обнаружение знаний . 2 (2): 121–167. дои : 10.1023/А:1009715923555 . S2CID 221627509 — через Springer Link.
- ^ Шёлкопф, П. Симард, А. Дж. Смола и В. Вапник. Предварительные знания в области ядер опорных векторов. В М. Джордане, М. Кернсе и С. Солле , редакторах, «Достижения в области нейронных систем обработки информации» 10, страницы 640–646, Кембридж, Массачусетс, США, 1998d. Массачусетский технологический институт Пресс
- ^ Шапель и Б. Шёлкопф. Учет инвариантов в нелинейных SVM. В Т.Г. Диттерихе, С. Беккере и З. Гахрамани, редакторах, «Достижения в области нейронных систем обработки информации» 14, страницы 609–616, Кембридж, Массачусетс, США, 2002. MIT Press.
- ^ Б. Шёлкопф, А. Дж. Смола, Р. К. Уильямсон и П. Л. Бартлетт. Новые алгоритмы опорных векторов. Нейронные вычисления, 12(5):1207–1245, 2000a.
- ^ Б. Шёлкопф, Дж. К. Платт, Дж. Шоу-Тейлор, А. Дж. Смола и Р. К. Уильямсон. Оценка поддержки многомерного распределения. Нейронные вычисления, 13(7):1443–1471, 2001b.
- ^ А. Греттон, К. Боргвардт, М. Раш, Б. Шёлкопф и А. Смола. Метод ядра для задачи двух выборок. Достижения в области нейронных систем обработки информации 19: 513–520, 2007 г.
- ^ А. Дж. Смола, А. Греттон, Л. Сонг и Б. Шёлкопф. Вложение в гильбертово пространство для распределений. Теория алгоритмического обучения: 18-я Международная конференция: 13–31, 2007 г.
- ^ Б. Сриперумбудур, А. Греттон, К. Фукумидзу, Б. Шёлкопф и Г. Ланкриет. Вложения в гильбертово пространство и метрики вероятностных мер. Журнал исследований машинного обучения, 11: 1517–1561, 2010 г.
- ^ А. Греттон, К. Боргвардт, М. Раш, Б. Шёлкопф и А. Дж. Смола. Тест ядра с двумя выборками. Журнал исследований машинного обучения, 13: 723–773, 2012 г.
- ^ С. Хармелинг, М. Хирш и Б. Шёлкопф. О связи между картами средних значений ядра и дифракцией Фраунгофера с применением сверхразрешения за пределами дифракционного предела. В книге «Компьютерное зрение и распознавание образов» (CVPR), страницы 1083–1090. ИИЭР, 2013 г.
- ^ А. Греттон, Р. Хербрих, А. Дж. Смола, О. Буске и Б. Шёлкопф. Ядерные методы измерения независимости. Журнал исследований машинного обучения, 6: 2075–2129, 2005a.
- ^ А. Греттон, О. Буске, А. Дж. Смола и Б. Шёлкопф. Измерение статистической зависимости с помощью норм Гильберта-Шмидта. Алгоритмическая теория обучения: 16-я Международная конференция, 2005b.
- ^ А. Греттон, К. Фукумидзу, Ч. Тео, Л. Сонг, Б. Шёлкопф и А. Дж. Смола. Статистический тест независимости ядра. Достижения в области нейронных систем обработки информации 20, 2007 г.
- ^ Перейти обратно: а б Б. Шёлкопф, Д. Янцинг, Дж. Петерс, Э. Сгурица, К. Чжан и Дж. Муйдж. О причинном и антикаузальном обучении. В Дж. Лэнгфорде и Дж. Пино, редакторах, Труды 29-й Международной конференции по машинному обучению (ICML), страницы 1255–1262, Нью-Йорк, Нью-Йорк, США, 2012. Omnipress.
- ^ П.О. Хойер, Д. Янцинг, Дж. М. Муйдж, Дж. Петерс и Б. Шёлкопф. Нелинейное причинно-следственное обнаружение с помощью моделей аддитивного шума. В Д. Коллере, Д. Шурмансе, Ю. Бенджио и Л. Ботту, редакторах, «Достижения в области нейронных систем обработки информации», 21, страницы 689–696, Ред-Хук, Нью-Йорк, США, 2009. Карран.
- ^ Д. Янцинг, П. Хойер и Б. Шёлкопф. Отличие причины от следствия на основе многомерных наблюдений. В Дж. Фурнкранце и Т. Йоахимсе, редакторах, Труды 27-й Международной конференции по машинному обучению, страницы 479–486, Мэдисон, Висконсин, США, 2010. Международное общество машинного обучения.
- ^ Дж. М. Муйдж, Дж. Петерс, Д. Янцинг, Дж. Цшайшлер и Б. Шёлкопф. Отличие причины от следствия с использованием данных наблюдений: методы и критерии. Журнал исследований машинного обучения, 17(32):1–102, 2016 г.
- ^ Дж. Питерс, JM. Муйдж, Д. Янцинг и Б. Шёлкопф. Причинно-следственное обнаружение с помощью моделей непрерывного аддитивного шума. Журнал исследований машинного обучения, 15: 2009–2053, 2014 г.
- ^ П. Даниусис, Д. Янцинг, Дж. Муйдж, Дж. Зшайшлер, Б. Штойдель, К. Чжан и Б. Шёлкопф. Вывод детерминированных причинно-следственных связей. В П. Грюнвальде и П. Спиртесе, редакторах, 26-я конференция по неопределенности в искусственном интеллекте, страницы 143–150, Корваллис, Орегон, 2010. AUAI Press. Награда за лучшую студенческую работу
- ^ Янцинг, Доминик; Шёлкопф, Бернхард (6 октября 2010 г.). «Причинный вывод с использованием алгоритмического условия Маркова» . Транзакции IEEE по теории информации . 56 (10): 5168–5194. arXiv : 0804.3678 . дои : 10.1109/TIT.2010.2060095 . S2CID 11867432 – через IEEE Xplore.
- ^ Шёлкопф, Бернхард; Янцинг, Доминик; Питерс, Джонас; Сгурица, Элени; Чжан, Кун (27 июня 2012 г.). «О причинном и антикаузальном обучении» (PDF) . Международная конференция по машинному обучению .
- ^ «От ядер к причинному выводу» . www.videolectures.net .
- ^ «Причинное обучение --- Бернхард Шёлкопф» . 15 октября 2017 г. – через Vimeo.
- ^ К. Чжан, Б. Шёлкопф, К. Муандет и З. Ван. Адаптация предметной области при целевом и условном сдвиге. В С. Дасгупте и Д. Макаллестере, редакторах, Труды 30-й Международной конференции по машинному обучению, том 28 материалов семинара и конференции JMLR, страницы 819–827, 2013 г.
- ^ Шёлкопф, Бернхард (6 февраля 2015 г.). «Учимся видеть и действовать» . Природа . 518 (7540): 486–487. дои : 10.1038/518486a . ПМИД 25719660 . S2CID 4461791 – через www.nature.com.
- ^ Шёлкопф, Бернхард; Хогг, Дэвид В.; Ван, Дун; Форман-Макки, Дэниел; Янцинг, Доминик; Симон-Габриэль, Карл-Иоганн; Петерс, Йонас (5 июля 2016 г.). «Моделирование, вызывающее затруднения, с помощью регрессии полуродственного брата» . Труды Национальной академии наук . 113 (27): 7391–7398. Бибкод : 2016PNAS..113.7391S . дои : 10.1073/pnas.1511656113 . ПМЦ 4941423 . ПМИД 27382154 .
- ^ Д. Форман-Макки, Б.Т. Монтет, Д.В. Хогг, Т.Д. Мортон, Д. Ван и Б. Шёлкопф. Систематический поиск транзитных планет в данных K2. Астрофизический журнал, 806(2), 2015 г.
- ^ «Биографическая справка профессора доктора Бернхарда Шелькопфа» (PDF) . Леопольдина (на немецком языке).
- ^ «ТУ Берлина – Информация для СМИ № 209 – 17 сентября 1998 г.» . archive.pressestelle.tu-berlin.de .
- ^ «История института» . www.kyb.tuebingen.mpg.de .
- ^ «Рецепты медицины завтрашнего дня» (PDF) . Научный журнал Общества Макса Планка . 2011.
- ^ «Летние школы машинного обучения – MLSS» . mlss.cc.
- ^ «Кембриджская группа машинного обучения» . Кембриджская группа машинного обучения .
- ^ Уильямс, Джонатан. «Центр обучающих систем Макса Планка ETH» . cls-staging.is.localnet .
- ^ "Услуга" . Баден-Вюртемберг.де . 15 декабря 2016 г.
- ^ «Этический дизайн» (PDF) . ИИЭЭ . 13 декабря 2016 г.
- ^ «Лучшие ученые в области компьютерных наук в мире: рейтинг компьютерных наук по индексу Хирша» . www.guide2research.com .
- ^ «Выпускники» . люди.tuebingen.mpg.de .
- ^ Дилле, Ромен (17 ноября 2023 г.). «Kyutai — это французская исследовательская лаборатория искусственного интеллекта с бюджетом в 330 миллионов долларов, которая сделает все открытым исходным кодом» . ТехКранч . Проверено 16 июня 2024 г.
- ^ Уильямс, Джон. «Бернхард Шёлкопф получает премию «Границы знаний | Эмпирический вывод» . Институт Макса Планка интеллектуальных систем .
Внешние ссылки
[ редактировать ]- Публикации Бернхарда Шелькопфа, проиндексированные Google Scholar
- Немецкие ученые-компьютерщики
- Исследователи машинного обучения
- Немецкие исследователи искусственного интеллекта
- Люди Общества Макса Планка
- 1968 года рождения
- Живые люди
- Выпускники Тюбингенского университета
- Выпускники Берлинского технического университета
- Члены Немецкой национальной академии наук Леопольдина
- Члены Ассоциации вычислительной техники 2017 г.
- Лауреаты премии Готфрида Вильгельма Лейбница
- Выпускники Лондонского университета
- Академический состав ETH Zurich
- Ученые из Bell Labs
- Выпускники студенческого фонда
- Директора Института Макса Планка