Вероятностные числа
Вероятностные вычисления являются активной областью исследований на стыке прикладной математики , статистики и машинного обучения, в центре которой лежит концепция неопределенности в вычислениях . В вероятностных числах задачи численного анализа , такие как поиск численных решений для интегрирования , линейной алгебры , оптимизации и моделирования, а также дифференциальных уравнений, рассматриваются как проблемы статистического, вероятностного или байесовского вывода . [1] [2] [3] [4] [5]
Введение [ править ]
Численный метод — это алгоритм, аппроксимирующий решение математической задачи (примеры ниже включают решение линейной системы уравнений , значение интеграла , решение дифференциального уравнения , минимум функции многих переменных). В вероятностном численном алгоритме этот процесс аппроксимации рассматривается как задача оценки , вывода или обучения и реализуется в рамках вероятностного вывода (часто, но не всегда, байесовского вывода ). [6]
Формально это означает формулировку постановки вычислительной задачи в терминах априорного распределения , формулирование взаимосвязи между числами, вычисленными компьютером (например, умножение матрицы на вектор в линейной алгебре, градиенты в оптимизации, значения подынтегрального выражения или векторного поля, определяющего дифференциальное уравнение) и рассматриваемую величину (решение линейной задачи, минимум, интеграл, кривая решения) в функции правдоподобия и возвращение апостериорного распределения в качестве выходных данных. В большинстве случаев численные алгоритмы также принимают внутренние адаптивные решения о том, какие числа вычислять, что образует проблему активного обучения .
Многие из наиболее популярных классических численных алгоритмов можно интерпретировать по-новому в рамках вероятностной теории. Сюда входит метод сопряженных градиентов , [7] [8] [9] методы Нордсика , квадратур Гаусса , правила [10] и квазиньютоновские методы . [11] Во всех этих случаях классический метод основан на регуляризованной оценке методом наименьших квадратов , которая может быть связана с апостериорным средним, возникающим из гауссовского априора и правдоподобия. В таких случаях дисперсия апостериорной функции Гаусса затем связывается с наихудшем случае оценкой квадрата ошибки в .
Вероятностные численные методы обещают несколько концептуальных преимуществ по сравнению с классическими методами аппроксимации, основанными на точечных оценках:
- Они возвращают структурированные оценки ошибок (в частности, возможность возвращать апостериорные образцы суставов, т.е. несколько реалистичных гипотез для истинного неизвестного решения проблемы).
- Иерархический байесовский вывод можно использовать для установки и управления внутренними гиперпараметрами в таких методах общим способом, вместо того, чтобы заново изобретать новые методы для каждого параметра.
- Поскольку они используют и допускают явное правдоподобие, описывающее взаимосвязь между вычисленными числами и целевой величиной, вероятностные численные методы могут использовать результаты даже очень неточных, предвзятых и стохастических вычислений. [12] И наоборот, вероятностные численные методы также могут обеспечить вероятность в вычислениях, которые в других местах часто считаются « безправдоподобными ». [13]
- Поскольку все вероятностные численные методы используют по существу один и тот же тип данных – меры вероятности – для количественной оценки неопределенности как в отношении входных, так и в отношении выходных данных, их можно объединить в цепочку для распространения неопределенности в крупномасштабных комплексных вычислениях.
- Источники из нескольких источников информации (например, алгебраические, механистические знания о форме дифференциального уравнения и наблюдения за траекторией системы, собранные в физическом мире) могут быть объединены естественным путем и внутри внутреннего цикла алгоритма, устраняя в противном случае необходимые вложенные циклы в вычислениях, например, в обратных задачах . [14]
Эти преимущества, по сути, эквивалентны аналогичным функциональным преимуществам, которыми обладают байесовские методы по сравнению с точечными оценками в машинном обучении, применяемыми или перенесенными в вычислительную область.
Числовые задачи [ править ]
Интеграция [ править ]

были разработаны вероятностные численные методы Для решения задач численного интегрирования , наиболее популярный из которых называется байесовской квадратурой . [15] [16] [17] [18]
При численном интегрировании оценки функций в ряде точек используются для оценки интеграла функции против какой-то меры . Байесовская квадратура состоит из указания предварительного распределения по и обусловливаем это предварительно чтобы получить апостериорное распределение по , затем вычисляем подразумеваемое апостериорное распределение на . Наиболее распространенным выбором априора является гауссов процесс , поскольку он позволяет нам получить апостериорное распределение замкнутой формы для интеграла, которое является одномерным гауссовским распределением. Байесовская квадратура особенно полезна, когда функция оценить дорого, а размер данных от малого до среднего.
Оптимизация [ править ]

Вероятностные числа также изучались для математической оптимизации , которая заключается в поиске минимума или максимума некоторой целевой функции. заданные (возможно, зашумленные или косвенные) оценки этой функции в наборе точек.
Возможно, наиболее заметной попыткой в этом направлении является байесовская оптимизация . [20] общий подход к оптимизации, основанный на байесовском выводе. Алгоритмы байесовской оптимизации работают, сохраняя вероятностное представление о на протяжении всей процедуры оптимизации; это часто принимает форму гауссовского процесса, заранее обусловленного наблюдениями. Это убеждение затем направляет алгоритм при получении наблюдений, которые могут способствовать продвижению процесса оптимизации. Политики байесовской оптимизации обычно реализуются путем преобразования апостериорной целевой функции в недорогую дифференцируемую функцию сбора данных , которая максимизируется для выбора каждого последующего места наблюдения. Одним из известных подходов является моделирование оптимизации с помощью байесовского последовательного экспериментального планирования , стремящегося получить последовательность наблюдений, дающую наибольший прогресс оптимизации, оцениваемый соответствующей функцией полезности . Положительным побочным эффектом этого подхода является то, что неопределенность в целевой функции, измеряемая лежащим в ее основе вероятностным убеждением, может определять политику оптимизации при решении классического компромисса между разведкой и эксплуатацией .
Локальная оптимизация [ править ]
Вероятностные численные методы были разработаны в контексте стохастической оптимизации для глубокого обучения , в частности, для решения таких основных проблем, как настройка скорости обучения и поиск строк , [21] выбор размера партии, [22] ранняя остановка , [23] обрезка, [24] и направления поиска первого и второго порядка. [25] [26]
В этой ситуации целью оптимизации часто является эмпирический риск в форме определяется набором данных , и потеря это количественно определяет, насколько хорошо прогнозирующая модель параметризованный выполняет прогнозирование цели из соответствующего входа .Эпистемическая неопределенность возникает, когда размер набора данных велик и не может быть обработан сразу, а это означает, что локальные количества (при наличии некоторых ), например, функция потерь сам по себе или его градиент невозможно вычислить за разумное время.Следовательно, обычно мини-пакетная обработка используется для построения оценок этих величин на случайном подмножестве данных. Вероятностные численные методы явно моделируют эту неопределенность и позволяют автоматически принимать решения и настраивать параметры.
Линейная алгебра [ править ]
Вероятностные численные методы линейной алгебры [7] [8] [27] [9] [28] [29] в первую очередь сосредоточились на решении систем линейных уравнений вида и вычисление определителей . [30] [31]

Большой класс методов носит итеративный характер и собирает информацию о линейной системе, подлежащей решению, путем многократного умножения матрицы на вектор. с системной матрицей с разными векторами . Такие методы можно грубо разделить на решения: [8] [28] и матричная перспектива, [7] [9] в зависимости от того, выражена ли вера в решение линейной системы или (псевдо)обратной матрицы . Обновление убеждений использует то, что выведенный объект связан с матричными умножениями. или с помощью и .Методы обычно предполагают распределение Гаусса из-за его замкнутости при линейном наблюдении задачи. Хотя эти два представления концептуально различны, они вычислительно эквивалентны и по своей сути связаны через правую часть через . [27]
Вероятностные численные процедуры линейной алгебры успешно применяются для масштабирования гауссовских процессов на большие наборы данных. [31] [32] В частности, они обеспечивают точное распространение ошибки аппроксимации на апостериорную совокупность гауссовского процесса, что количественно определяет неопределенность, возникающую как из-за данных конечного числа наблюдаемых , так и из-за конечного объема затраченных вычислений . [32]
Обыкновенные дифференциальные уравнения [ править ]

Вероятностно-численные методы для решения обыкновенных дифференциальных уравнений , разработаны для начальных и краевых задач. Было предложено множество различных вероятностных численных методов, разработанных для обыкновенных дифференциальных уравнений, и их можно в целом сгруппировать в две следующие категории:
- Методы, основанные на рандомизации, определяются посредством случайных возмущений стандартных детерминированных численных методов для обыкновенных дифференциальных уравнений. Например, это было достигнуто за счет добавления гауссовых возмущений к решению одношаговых интеграторов. [33] или путем случайного изменения их временного шага. [34] Это определяет вероятностную меру решения дифференциального уравнения, которое может быть выбрано.
- Методы регрессии гауссовского процесса основаны на постановке задачи решения рассматриваемого дифференциального уравнения как задачи регрессии гауссовского процесса, интерпретируя оценки правой части как данные о производной. [35] Эти методы напоминают байесовскую кубатуру, но используют разные и часто нелинейные модели наблюдения. [36] [37] В зачаточном состоянии этот класс методов был основан на наивной регрессии гауссовского процесса . Позже это было улучшено (с точки зрения эффективных вычислений) в пользу априорных подходов Гаусса – Маркова. [38] [39] моделируется стохастическим дифференциальным уравнением , где это -мерное векторное моделирование первого производные от , и где это -мерное броуновское движение . Таким образом, вывод может быть эффективно реализован с помощью методов, основанных на фильтрации Калмана .
Граница между этими двумя категориями не является резкой, более того, также был разработан подход регрессии гауссовского процесса, основанный на рандомизированных данных. [40] Эти методы были применены к задачам вычислительной римановой геометрии. [41] обратные задачи, модели скрытых сил и дифференциальные уравнения с геометрической структурой, такой как симплектичность.
Уравнения в частных производных [ править ]
Ряд вероятностных численных методов был также предложен для уравнений в частных производных . Как и в случае с обыкновенными дифференциальными уравнениями, подходы можно в общих чертах разделить на подходы, основанные на рандомизации, как правило, на некоторой базовой сетке конечных элементов. [33] [42] и те, которые основаны на регрессии гауссовского процесса. [4] [3] [43] [44]

Вероятностные численные решатели УЧП, основанные на регрессии гауссовского процесса, восстанавливают классические методы на линейных УЧП для определенных априорных значений, в частности методы средневзвешенных остатков , которые включают методы Галеркина , методы конечных элементов , а также спектральные методы . [44]
[ править ]
Взаимодействие между численным анализом и вероятностью затрагивается рядом других областей математики, включая в среднем случае анализ численных методов , сложность, основанную на информации , теорию игр и статистическую теорию принятия решений . Предшественники того, что сейчас называют «вероятностными числами», можно найти еще в конце 19-го и начале 20-го века.
Истоки вероятностных чисел можно проследить до обсуждения вероятностных подходов к полиномиальной интерполяции Анри Пуанкаре в его «Исчислении вероятностей» . [45] В современной терминологии Пуанкаре рассматривал априорное распределение Гаусса функции , выраженный в виде формального степенного ряда со случайными коэффициентами, и запрашивал «вероятные значения» учитывая это до и наблюдения для .
Более поздний плодотворный вклад во взаимодействие численного анализа и вероятности был внесен Альбертом Сульдином в контексте одномерной квадратуры . [46] Статистическая задача, рассматриваемая Сулдиным, заключалась в аппроксимации определенного интеграла функции , при броуновском движении до , имея доступ к точечной оценке в узлах . Сульдин показал, что для заданных квадратурных узлов правилом квадратур с минимальной среднеквадратичной ошибкой является правило трапеций ; при этом эта минимальная ошибка пропорциональна сумме кубов межузловых расстояний. В результате правило трапеций с равноотстоящими друг от друга узлами можно рассматривать как в некотором смысле статистически оптимальное — ранний пример в среднем случае анализа численного метода .Точку зрения Сулдина позже расширил Майк Ларкин. [47] Обратите внимание, что броуновское движение Сульдина априорно подынтегральной функции является гауссовской мерой и что операции интегрирования и точечной оценки обе линейные карты .Таким образом, определенный интеграл представляет собой действительную гауссову случайную величину.В частности, после обусловления наблюдаемыми точечными значениями , оно соответствует нормальному распределению со средним значением, равным правилу трапеций, и дисперсией, равной .Эта точка зрения очень близка к точке зрения байесовской квадратуры , рассматривающей результаты квадратурного метода не просто как точечную оценку, но и как самостоятельную оценку распределения вероятностей.
Как отметил Хоуман Овади и его коллеги, [3] [48] Взаимодействие между числовой аппроксимацией и статистическим выводом также можно проследить до Паласти и Реньи, [49] Сардиния, [50] Кимельдорф и Вахба [51] (о соответствии между байесовской оценкой и сплайновым сглаживанием/интерполяцией) и Ларкин [47] (о соответствии регрессии гауссовского процесса и численной аппроксимации). Хотя подход к моделированию совершенно известной функции как выборки случайного процесса может показаться нелогичным, естественную основу для его понимания можно найти в теории сложности, основанной на информации (IBC). [52] раздел вычислительной сложности, основанный на наблюдении, что численная реализация требует вычислений с частичной информацией и ограниченными ресурсами. В IBC производительность алгоритма, работающего с неполной информацией, может быть проанализирована в наихудшем или среднем случае (рандомизированном) в отношении недостающей информации. Более того, как сказал Паккель [53] Согласно наблюдениям, средний случай можно интерпретировать как смешанную стратегию в состязательной игре, полученную путем поднятия проблемы минмакса (наихудшего случая) до проблемы минмакса над смешанными (рандомизированными) стратегиями. Это наблюдение приводит к естественной связи [54] [3] между численной аппроксимацией и Вальда теорией принятия решений , очевидно, под влиянием фон Неймана теории игр . Чтобы описать эту связь, рассмотрим оптимальную настройку восстановления Микелли и Ривлина. [55] в котором пытаются аппроксимировать неизвестную функцию на основе конечного числа линейных измерений этой функции. Интерпретируя эту задачу оптимального восстановления как игру с нулевой суммой, где Игрок I выбирает неизвестную функцию, а Игрок II выбирает ее аппроксимацию, и используя относительные ошибки в квадратичной норме для определения потерь, возникают гауссовы априорные принципы. [3] в качестве оптимальных смешанных стратегий для таких игр, а ковариационный оператор оптимального гауссовского априора определяется квадратичной нормой, используемой для определения относительной ошибки восстановления.
Программное обеспечение [ править ]
- ProbNum : вероятностные числа в Python.
- ProbNumDiffEq.jl : Вероятностные численные решатели ОДУ, основанные на фильтрации, реализованной в Julia.
- Emukit : Адаптируемый набор инструментов Python для принятия решений в условиях неопределенности.
- BackPACK : создан на основе PyTorch. Он эффективно вычисляет величины, отличные от градиента.
См. также [ править ]
Ссылки [ править ]
- ^ Хенниг, П.; Осборн, Массачусетс; Керстинг, HP (2022). Вероятностные числа (PDF) . Издательство Кембриджского университета. ISBN 978-1107163447 .
- ^ Оутс, CJ; Салливан, Ти Джей (2019). «Современная ретроспектива вероятностных чисел». Стат. Вычислить . 29 (6): 1335–1351. arXiv : 1901.04457 . дои : 10.1007/s11222-019-09902-z . S2CID 67885786 .
- ^ Jump up to: Перейти обратно: а б с д и Охади, Хоуман; Сковел, Клинт (2019). Адаптированные к оператору вейвлеты, быстрые решатели и численная гомогенизация: от теоретико-игрового подхода к численному приближению и разработке алгоритмов . Кембриджские монографии по прикладной и вычислительной математике. Кембридж: Издательство Кембриджского университета. ISBN 978-1-108-48436-7 .
- ^ Jump up to: Перейти обратно: а б Охади, Хоуман (2015). «Байесовское числовое усреднение» . Многомасштабное моделирование . 13 (3): 812–828. arXiv : 1406.6668 . дои : 10.1137/140974596 . ISSN 1540-3459 . S2CID 7245255 .
- ^ Хенниг, П.; Осборн, Массачусетс; Джиролами, М. (2015). «Вероятностные числа и неопределенность в вычислениях» . Труды Королевского общества A: Математические, физические и технические науки . 471 (2179): 20150142, 17. arXiv : 1506.01326 . Бибкод : 2015RSPSA.47150142H . дои : 10.1098/rspa.2015.0142 . ПМЦ 4528661 . ПМИД 26346321 .
- ^ Кокейн, Дж.; Оутс, CJ; Салливан, Ти Джей; Джиролами, М. (2019). «Байесовские вероятностные численные методы» (PDF) . Обзор СИАМ . 61 (4): 756–789. дои : 10.1137/17M1139357 . S2CID 14696405 .
- ^ Jump up to: Перейти обратно: а б с Хенниг, П. (2015). «Вероятностная интерпретация линейных решателей». SIAM Journal по оптимизации . 25 (1): 2347–260. arXiv : 1402.2058 . дои : 10.1137/140955501 . S2CID 16121233 .
- ^ Jump up to: Перейти обратно: а б с Кокейн, Дж.; Оутс, К.; Ипсен, И .; Джиролами, М. (2019). «Метод байесовского сопряженного градиента» . Байесовский анализ . 14 (3). Международное общество байесовского анализа: 937–1012. дои : 10.1214/19-BA1145 . S2CID 12460125 .
- ^ Jump up to: Перейти обратно: а б с д Венгер, Дж.; Хенниг, П. (2020). Вероятностные линейные решатели для машинного обучения . Достижения в области нейронных систем обработки информации (NeurIPS) . Том. 33. С. 6731–6742. arXiv : 2010.09691 .
- ^ Карвонен, Тони; Сярккя, Симо (2017). Классические правила квадратур через гауссовы процессы . 27-й международный семинар IEEE по машинному обучению для обработки сигналов (MLSP), 2017 г.
- ^ Хенниг, Филипп; Кифель, Мартин (2013). «Квазиньютоновские методы: новое направление». Журнал исследований машинного обучения (JMLR) . 14 (1): 843–865. arXiv : 1206.4602 .
- ^ Марен Махсеречи; Филипп Хенниг (2015). Вероятностный поиск линий для стохастической оптимизации . Достижения в области нейронных систем обработки информации (NeurIPS).
- ^ Ганс Керстинг; Николас Кремер; Мартин Шигг; Кристиан Дэниел; Майкл Тиманн; Филипп Хенниг (2020). Дифференцируемые правдоподобия для быстрой инверсии «безправдоподобных» динамических систем . Международная конференция по машинному обучению (ICML).
- ^ Шмидт, Джонатан; Кремер, Питер Николас; Хенниг, Филипп (2021). Вероятностная модель пространства состояний для совместного вывода из дифференциальных уравнений и данных . Достижения в области нейронных систем обработки информации (NeurIPS).
- ^ Диаконис, П. (1988). «Байесовский численный анализ». Статистическая теория принятия решений и смежные темы IV : 163–175. doi : 10.1007/978-1-4613-8768-8_20 (неактивен 13 мая 2024 г.). ISBN 978-1-4613-8770-1 .
{{cite journal}}
: CS1 maint: DOI неактивен по состоянию на май 2024 г. ( ссылка ) - ^ О'Хаган, А. (1991). «Квадратура Байеса – Эрмита». Журнал статистического планирования и выводов . 29 (3): 245–260. дои : 10.1016/0378-3758(91)90002-В .
- ^ Расмуссен, К.; Гахрамани, З. (2002). «Байесовский Монте-Карло» (PDF) . Нейронные системы обработки информации : 489–496.
- ^ Бриоль, Ф.-Х.; Оутс, CJ; Джиролами, М.; Осборн, Массачусетс; Сейдинович, Д. (2019). «Вероятностная интеграция: роль в статистических вычислениях? (с обсуждением и ответом)». Статистическая наука . 34 (1): 1–22. arXiv : 1512.00933 . дои : 10.1214/18-STS660 . S2CID 13932715 .
- ^ Уилсон, Сэмюэл (22 ноября 2019 г.), пакет ParBayesianOptimization R , получено 12 декабря 2019 г.
- ^ Гарнетт, Роман (2021). Байесовская оптимизация . Кембридж: Издательство Кембриджского университета.
- ^ Махсеречи, М.; Хенниг, П. (2017). «Вероятностный поиск линий для стохастической оптимизации» . Журнал исследований машинного обучения . 18 (119): 1–59.
- ^ Баллес, Л.; Ромеро, Дж.; Хенниг, Х. (2017). «Сочетание адаптивных размеров пакетов со скоростью обучения» (PDF) . Материалы 33-й конференции по неопределенности в искусственном интеллекте (UAI) . arXiv : 1612.05086 .
- ^ Махсеречи, М.; Баллес, Л.; Ласснер, К.; Хенниг, Х. (2021). «Ранняя остановка без набора проверки». arXiv : 1703.09580 [ cs.LG ].
- ^ Сиемс Дж. Н.; Кляйн А.; Аршамбо К.; Махсеречи, М. (2021). «Динамическое сокращение нейронной сети посредством градиентного отношения сигнал/шум» . 8-й семинар ICML по автоматизированному машинному обучению (AutoML) .
- ^ Махсеречи, Марен (2018). «Глава 8: Фильтр первого порядка для градиентов; глава 9: Фильтр второго порядка для элементов Гессе» . Вероятностные подходы к стохастической оптимизации (Диссертация). Университет Тюбингена. doi : 10.15496/публикация-26116 .
- ^ Баллес, Л.; Хенниг, Х. (2018). «Рассечение Адама: знак, величина и дисперсия стохастических градиентов» . Материалы 35-й Международной конференции по машинному обучению : 404–413. arXiv : 1705.07774 .
- ^ Jump up to: Перейти обратно: а б Бартельс, С.; Кокейн, Дж.; Ипсен, И .; Хенниг, П. (2019). «Вероятностные линейные решатели: объединяющий взгляд» . Статистика и вычисления . 29 (6). Спрингер: 1249–1263. arXiv : 1810.03398 . дои : 10.1007/s11222-019-09897-7 . S2CID 53571618 .
- ^ Jump up to: Перейти обратно: а б Кокейн, Дж.; Ипсен, И .; Оутс, К.; Рид, Т. (2021). «Вероятностные итерационные методы для линейных систем» (PDF) . Журнал исследований машинного обучения . 22 (232): 1–34. arXiv : 2012.12615 .
- ^ Шефер, Флориан; Кацфусс, Матиас; Охади, Хоуман (2021). «Разреженная факторизация Холецкого путем минимизации Кульбака – Лейблера» . Журнал SIAM по научным вычислениям . 43 (3): А2019–А2046. arXiv : 2004.14455 . Бибкод : 2021SJSC...43A2019S . дои : 10.1137/20M1336254 . ISSN 1064-8275 . S2CID 216914317 .
- ^ Бартельс, Саймон (2020). «Вероятностная оценка детерминанта матрицы ядра» . Вероятностная линейная алгебра (Диссертация). doi : 10.15496/публикация-56119 .
- ^ Jump up to: Перейти обратно: а б Венгер, Дж.; Плейс, Г.; Хенниг, П.; Каннингем, JP; Гарднер, младший (2022). Предварительное условие для оптимизации гиперпараметров масштабируемого гауссовского процесса . Международная конференция по машинному обучению (ICML) . arXiv : 2107.00243 .
- ^ Jump up to: Перейти обратно: а б Венгер, Дж.; Пфёртнер, М.; Хенниг, П.; Каннингем, JP (2022). Апостериорная и вычислительная неопределенность в гауссовских процессах . Достижения в области нейронных систем обработки информации (NeurIPS) . arXiv : 2205.15449 .
- ^ Jump up to: Перейти обратно: а б с Конрад, PR; Джиролами, М.; Сярккя, С.; Стюарт, AM; Зигалакис, К. (2017). «Статистический анализ дифференциальных уравнений: введение вероятностных мер в числовые решения» . Стат. Вычислить . 27 (4): 1065–1082. дои : 10.1007/s11222-016-9671-0 . ПМК 7089645 . ПМИД 32226237 .
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Абдулле, А.; Гареньани, Г. (2020). «Вероятностные методы случайного шага по времени для количественной оценки неопределенности при хаотическом и геометрическом численном интегрировании». Стат. Вычислить . 30 (4): 907–932. arXiv : 1801.01340 . дои : 10.1007/s11222-020-09926-w . S2CID 42880142 .
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Скиллинг, Дж. (1992). Байесовское решение обыкновенных дифференциальных уравнений . Максимальная энтропия и байесовские методы . стр. 23–37.
- ^ Тронарп, Ф.; Керстинг, Х.; Сярккя, С.; Хенниг, П. (2019). «Вероятностные решения обыкновенных дифференциальных уравнений как нелинейная байесовская фильтрация: новый взгляд» . Статистика и вычисления . 29 (6): 1297–1315. arXiv : 1810.03440 . дои : 10.1007/s11222-019-09900-1 . S2CID 88517317 .
- ^ Тронарп, Ф.; Сярккя, С.; Хенниг, П. (2021). «Решатели байесовских ОДУ: максимальная апостериорная оценка» . Статистика и вычисления . 31 (3): 1–18. arXiv : 2004.00623 . дои : 10.1007/s11222-021-09993-7 . S2CID 214774980 .
- ^ Керстинг, Х.; Хенниг, П. (2016). Активная калибровка неопределенности в решателях байесовских ОДУ . Неопределенность в искусственном интеллекте . стр. 309–318.
- ^ Шобер, М.; Сярккя, С.; Хенниг, П. (2019). «Вероятностная модель численного решения начальных задач» . Статистика и вычисления . 29 (1): 99–122. arXiv : 1610.05261 . дои : 10.1007/s11222-017-9798-7 . S2CID 14299420 .
- ^ Чкребтий, О.; Кэмпбелл, Д.А.; Колдерхед, Б.; Джиролами, Массачусетс (2016). «Количественная оценка неопределенности байесовского решения для дифференциальных уравнений» . Байесовский анализ . 11 (4): 1239–1267. arXiv : 1306.2365 . дои : 10.1214/16-BA1017 . S2CID 14077995 .
- ^ Хенниг, П.; Хауберг, С. (2014). Вероятностные решения дифференциальных уравнений и их применение к римановой статистике . Искусственный интеллект и статистика . стр. 347–355.
- ^ Абдулле, А.; Гареньани, Г. (2021). «Вероятностный метод конечных элементов, основанный на случайных сетках: апостериорные оценки ошибок и байесовские обратные задачи». Вычислить. Методы Прикл. Мех. англ . 384 : 113961. arXiv : 2103.06204 . Бибкод : 2021CMAME.384k3961A . дои : 10.1016/j.cma.2021.113961 . S2CID 232170649 .
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Чкребтий Оксана А.; Кэмпбелл, Дэвид А.; Колдерхед, Бен; Джиролами, Марк А. (2016). «Количественная оценка неопределенности байесовского решения для дифференциальных уравнений» . Байесовский анализ . 11 (4): 1239–1267. arXiv : 1306.2365 . дои : 10.1214/16-BA1017 . ISSN 1936-0975 . S2CID 14077995 .
- ^ Jump up to: Перейти обратно: а б с Пфёртнер, М.; Стейнварт, И.; Хенниг, П.; Венгер, Дж. (2022). «Регрессия гауссовского процесса с учетом физики обобщает линейные решатели PDE». arXiv : 2212.12474 [ cs.LG ].
- ^ Пуанкаре, Анри (1912). Исчисление вероятностей (второе изд.). Готье-Виллар.
- ^ Сульдин А.В. (1959). «Мера Винера и ее приложения к методам аппроксимации. I». Изв. Выш. Учебн. Завед. Математика . 6 (13): 145–158.
- ^ Jump up to: Перейти обратно: а б Ларкин, FM (1972). «Гауссова мера в гильбертовом пространстве и приложения в численном анализе» . Роки Маунтин Дж. Математика . 2 (3): 379–421. дои : 10.1216/RMJ-1972-2-3-379 .
- ^ Охади, Хоуман; Сковел, Клинт; Шефер, Флориан (2019). «Статистическая численная аппроксимация» . Уведомления Американского математического общества . 66 (10): 1608–1617. дои : 10.1090/noti1963 . S2CID 204830421 .
- ^ Паласты, И.; Реньи, А (1956). «О теории интерполяции и теории игр». МТА Мат. Кэт. Межд. Козл . 1 : 529–540.
- ^ Сард, А. (1963). Линейное приближение . Математические обзоры и монографии. Том. 9. Американское математическое общество. дои : 10.1090/surv/009 . ISBN 9780821815090 .
- ^ Кимельдорф, Джордж С.; Вахба, Грейс (1970). «Соответствие между байесовской оценкой случайных процессов и сглаживанием сплайнами» . Энн. Математика. Статист . 41 (2): 495–502. дои : 10.1214/aoms/1177697089 .
- ^ Трауб, Дж. Ф.; Васильковски, Г.В.; Возняковский, Х. (1988). Информационная сложность . Информатика и научные вычисления. Бостон, Массачусетс: ISBN Academic Press, Inc. 0-12-697545-0 .
{{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка ) CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Пакел, Эдвард В. (1987). «Разработчик алгоритма против природы: теоретико-игровой подход к информационной сложности» . Дж. Сложность . 3 (3): 244–257. дои : 10.1016/0885-064X(87)90014-8 .
- ^ Охади, Х. (2017). «Мультисетка с грубыми коэффициентами и многоразрешающая операторная декомпозиция из иерархических информационных игр» . Обзор СИАМ . 59 (1): 99–149. arXiv : 1503.03467 . дои : 10.1137/15M1013894 . S2CID 5877877 .
- ^ Миккелли, Калифорния; Ривлин, Ти Джей (1977). «Обзор оптимального восстановления». Оптимальная оценка в теории приближения (Proc. Internat. Sympos., Freudenstadt, 1976. стр. 1–54. doi : 10.1007/978-1-4684-2388-4_1 . ISBN) . 978-1-4684-2390-7 .