Дэвид Уолперт
Дэвид Х. Вулперт | |
|---|---|
| Национальность | Американский |
| Альма-матер | Принстонский университет Калифорнийский университет, Санта-Барбара |
| Научная карьера | |
| Поля | Математика Информатика |
| Учреждения | Институт Санта-Фе |
| Докторантура | Энтони Зи |
Дэвид Хилтон Уолперт — американский физик и ученый-компьютерщик . Он профессор Института Санта-Фе . Он является автором трех книг, трех патентов, более ста рецензируемых статей и получил две награды. Его имя особенно связано с теоремой информатики, известной как « бесплатного обеда не будет ».
Карьера
[ редактировать ]Дэвид Вулперт получил степень бакалавра физики в Принстонском университете (1984 г.), затем поступил в Калифорнийский университет в Санта-Барбаре , где получил степени магистра (1987 г.) и доктора философии. (1989).
С 1989 по 1997 год он занимался исследовательской карьерой в Национальной лаборатории Лос-Аламоса , IBM , TXN Inc. и Институте Санта-Фе.
С 1997 по 2011 год он работал старшим научным сотрудником в Исследовательском центре Эймса НАСА и стал приглашенным научным сотрудником в Институте Макса Планка . 2010–2011 годы он провел в качестве стипендиата Улама в Центре нелинейных исследований в Лос-Аламосе. [1]
Он поступил на факультет Института Санта-Фе в 2011 году и стал там профессором в сентябре 2013 года. [2] Его исследовательские интересы включали статистику , теорию игр , машинного обучения приложения , теорию информации , оптимизации методы и теорию сложных систем .
«Нет бесплатного обеда»
[ редактировать ]Одно из самых обсуждаемых достижений Вулперта известно как « Нет бесплатного обеда в поиске и оптимизации» . [3] [4] [5] [6] Согласно этой теореме, все алгоритмы поиска и оптимизации в среднем работают одинаково хорошо для всех задач того класса, для решения которого они предназначены. Однако в контексте машинного обучения теорема делает неявное искусственное предположение об отсутствии совпадения между обучающими и тестовыми данными, что редко бывает верным на практике. [7] В более общем смысле, теорема справедлива только при определенных условиях, которые не часто встречаются в реальной жизни. [8] [9] [10] хотя утверждается, что условия могут быть выполнены приблизительно. [11] Теорема лежит в области информатики, но более слабая версия, известная как «фольклорная теорема об отсутствии бесплатного обеда », была использована Уильямом А. Дембски в поддержку разумного замысла . [12] Такое использование теоремы было отвергнуто самим Вольпертом. [13] и другие. [14] [15]
Ограничение знаний
[ редактировать ]Вулперт формализовал аргумент, чтобы показать, что для любого интеллекта в принципе невозможно знать все о вселенной, частью которой он является, иными словами, опровергнув « демона Лапласа ». [16] Это рассматривалось как расширение ограничительных теорем двадцатого века, таких как теоремы Гейзенберга и Гёделя . [17] В 2018 году Вулперт опубликовал доказательство, раскрывающее фундаментальные пределы научных знаний. [18]
Машинное обучение
[ редактировать ]Вулперт внес большой вклад в первые работы по машинному обучению . К ним относятся байесовская оценка энтропии распределения на , основе выборок распределения [19] [20] опровержение формальных утверждений о том, что «процедура доказательства» эквивалентна иерархическому Байесу, [21] байесовская альтернатива критерию хи-квадрат , [22] доказательство того, что не существует априора , для которого процедура начальной загрузки была бы байесово-оптимальной, [23] и байесовские расширения разложения по принципу смещения плюс дисперсия. [24] Наиболее заметно он ввел « многоуровневое обобщение ». [25] более сложная версия перекрестной проверки , которая использует удерживаемые/удерживаемые разделы набора данных для объединения алгоритмов обучения, а не просто для выбора одного из них. Эта работа получила дальнейшее развитие Бреймана, Смита, Кларка и многих других, и, в частности, два лучших победителя конкурса Netflix 2009 года использовали многоуровневое обобщение (переименованное в «смешение»). [26]
Академическое членство
[ редактировать ]- Член IEEE
- Член FQXi
- научный сотрудник Института инфометрики Американского университета
- Заместитель редактора (по состоянию на январь 2017 г.)
- Достижения в сложных системах
- Транзакции IEEE в эволюционных вычислениях
- Транзакции ACM в автономных и адаптивных системах
- Член редколлегии (по состоянию на январь 2017 г.)
- Журнал исследований искусственного интеллекта
- Теория в биологических науках
- Журнал экономического взаимодействия и координации
- Обзоры поведенческой экономики
- Энтропия
- Конвергенция рака
- Член одной из NSF комиссий
Награды
[ редактировать ]- Премия Кусаки факультета физики Принстонского университета
- Награда за лучшую статью за транзакции IEEE по эволюционным вычислениям, тома .1 и 2
- Награда за высшие достижения в области кода IC НАСА за 1999 г.
Публикации (только книги)
[ редактировать ]- Вулперт, Д.Х. (редактор), Математика обобщения , Аддисон-Уэсли, 1994. ISBN 0201409852
- Вулперт, Д.Х. Теорема о неполноте для расчета будущего , Экономическая программа SFI, Институт Санта-Фе, 1996.
- Тумер К. и Вольперт Д.Х. (ред.), Коллективы и проектирование сложных систем , Springer, 2004. ISBN 0387401652
- Гай, ТВ, Карни М., Вольперт Д.Х. (ред.), Принятие решений несовершенными лицами, принимающими решения , Springer, 2012. ISBN 3642246478
- Вулперт, Д.Х. Теория коллективного разума , Сервер технических отчетов НАСА, 2003. ISBN 1289283427
Ссылки
[ редактировать ]- ^ «Ученый CNLS Улама» . Архивировано из оригинала 26 октября 2014 г. Проверено 22 сентября 2014 г.
- ^ Дэвид Вулперт , Институт Санта-Фе
- ^ Вулперт, Д.Х., Макреди, WG (1995), Теоремы об отсутствии бесплатного обеда для поиска , Технический отчет SFI-TR-95-02-010 (Институт Санта-Фе).
- ^ Вулперт Д.Х., Macready WG (1997). «Теоремы об отсутствии бесплатного обеда для оптимизации» (PDF) . Транзакции IEEE в эволюционных вычислениях . 1:67 . CiteSeerX 10.1.1.138.6606 . дои : 10.1109/4235.585893 . S2CID 5553697 .
- ^ Вулперт, Дэвид (1996), Отсутствие априорных различий между алгоритмами обучения , Нейронные вычисления, стр. 1341–1390.
- ^ Дэвид Х. Вулперт, Что на самом деле означают теоремы об отсутствии бесплатных обедов; Как улучшить алгоритмы поиска , Рабочий документ SFI, 17 октября 2012 г., Институт Санта-Фе, 2012 г.
- ^ Бакстер, Джонатан (1999). «Некоторые наблюдения относительно ошибок вне тренировочного набора (OTS)». arXiv : 1912.05915 .
- ^ Стритер, М. (2003) Два широких класса функций, для которых не справедлив результат «Нет бесплатного обеда» , Генетические и эволюционные вычисления – GECCO 2003, стр. 1418–1430.
- ^ Игель К., Туссен М. (2004). «Теорема об отсутствии бесплатного обеда для неравномерного распределения целевых функций». Журнал математического моделирования и алгоритмов . 3 (4): 313–322. CiteSeerX 10.1.1.71.9744 . doi : 10.1023/b:jmma.0000049381.24625.f7 . S2CID 195292166 .
- ^ Инглиш, Т. (2004), No More Lunch: Анализ последовательного поиска, заархивировано 1 мая 2015 г. в Wayback Machine , Труды Конгресса IEEE 2004 г. по эволюционным вычислениям, стр. 227–234.
- ^ Дросте С., Янсен Т., Вегенер И. (2002). «Оптимизация с помощью эвристики рандомизированного поиска: теорема (A) НФЛ, реалистичные сценарии и сложные функции». Теоретическая информатика . 287 (1): 131–144. дои : 10.1016/s0304-3975(02)00094-4 . HDL : 2003/5394 .
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Дембски, Вашингтон (2002) Нет бесплатного обеда , Роуман и Литтлфилд, ISBN 0-7425-1297-5
- ^ Вулперт, Д. (2003), Трактовка Уильямом Дембски теорем о запрете бесплатного обеда написана желе , Talk Reason
- ^ Перах, М. (2003), Теоремы об отсутствии бесплатного обеда и их применение к эволюционным алгоритмам , Talk Reason .
- ^ Ричард Вейн (2002), Не бесплатный обед, а коробка шоколадных конфет (раздел 5.3) , Архив TalkOrigins
- ^ Дэвид Х. Вулперт (2008). « Физические пределы вывода ». Физика Д. 237 (9): 1257–1281. arXiv : 0708.1362 . Бибкод : 2008PhyD..237.1257W . дои : 10.1016/j.physd.2008.03.040 . S2CID 2033616 . полный текст
- ^ Грэм П. Коллинз, В любой возможной Вселенной ни один интеллект не сможет знать все это , Scientific American , 16 февраля 2009 г.
- ^ «Новое доказательство раскрывает фундаментальные пределы научного знания» . Проверено 4 октября 2018 г.
- ^ Дэвид Х. Вулперт и Дэвид Вольф (1995). « Оценка функций вероятностных распределений по конечному набору выборок ». Физический обзор E . 52 (6): 6841–6854. Бибкод : 1995PhRvE..52.6841W . CiteSeerX 10.1.1.55.7122 . дои : 10.1103/physreve.52.6841 . ПМИД 9964199 . S2CID 9795679 .
- ^ Дэвид Х. Вулперт и Саймон ДеДео (2013). " Оценочные функции распределений, заданных в пространствах неизвестного размера " . Энтропия . 15 (12): 4668–4699. arXiv : 1311.4548 . Бибкод : 2013Entrp..15.4668W . дои : 10.3390/e15114668 . S2CID 2737117 .
- ^ Дэвид Х. Вулперт и Чарльз Э. Штраус (1996). « Что Байес говорит о процедуре доказывания ». Максимальная энтропия и байесовские методы 1993 .
- ^ Дэвид Х. Вулперт (1996). « Определение того, принадлежат ли два набора данных к одному и тому же распределению ». Максимальная энтропия и байесовские методы 1995 .
- ^ Дэвид Х. Вулперт (1996). « Бутстрап несовместим с теорией вероятностей ». Максимальная энтропия и байесовские методы 1995 .
- ^ Дэвид Х. Вулперт (1997). « О предвзятости плюс дисперсии ». Нейронные вычисления . 9 (6): 1211–1243. дои : 10.1162/neco.1997.9.6.1211 . S2CID 15418441 .
- ^ Дэвид Х. Вулперт (1992). « Сложное обобщение ». Нейронные сети . 5 (2): 241–259. CiteSeerX 10.1.1.133.8090 . дои : 10.1016/s0893-6080(05)80023-1 .
- ^ Джозеф Силл; и др. (2008). « Взвешенное по функциям линейное уложение ». Физика D: Нелинейные явления . 237 (9): 1257–1281. arXiv : 0708.1362 . Бибкод : 2008PhyD..237.1257W . дои : 10.1016/j.physd.2008.03.040 . S2CID 2033616 .
Внешние ссылки
[ редактировать ]| Международный | |
|---|---|
| Национальный | |
| академики | |
