Метод глубокого обратного стохастического дифференциального уравнения
Метод глубокого обратного стохастического дифференциального уравнения — это численный метод, сочетающий глубокое обучение с обратным стохастическим дифференциальным уравнением (BSDE). Этот метод особенно полезен для решения многомерных задач ценообразования на производные финансовые инструменты и управления рисками . Используя мощные возможности аппроксимации функций глубоких нейронных сетей , глубокий BSDE решает вычислительные проблемы, с которыми сталкиваются традиционные численные методы в многомерных условиях. [ 1 ]
История
[ редактировать ]Обратные стохастические дифференциальные уравнения
[ редактировать ]BSDE были впервые представлены Парду и Пэном в 1990 году и с тех пор стали важными инструментами в стохастическом управлении и финансовой математике . В 1990-х годах Этьен Парду и Шиге Пэн разработали теорию существования и уникальности решений BSDE, применив BSDE к финансовой математике и теории управления. Например, BSDE широко используются при ценообразовании опционов, измерении рисков и динамическом хеджировании. [ 2 ]
Глубокое обучение
[ редактировать ]Deep Learning — метод машинного обучения , основанный на многослойных нейронных сетях . Его основная концепция восходит к моделям нейронных вычислений 1940-х годов. В 1980-х годах предложение алгоритма обратного распространения ошибки сделало возможным обучение многослойных нейронных сетей. В 2006 году сеть Deep Belief Networks, предложенная Джеффри Хинтоном и другими, возродила интерес к глубокому обучению. С тех пор глубокое обучение привело к революционным достижениям в обработке изображений , распознавании речи , обработке естественного языка и других областях. [ 3 ]
Ограничения традиционных численных методов
[ редактировать ]Традиционные численные методы решения стохастических дифференциальных уравнений [ 4 ] включают метод Эйлера–Маруямы , метод Мильштейна , метод Рунге–Кутты (СДУ) и методы, основанные на различных представлениях повторных стохастических интегралов. [ 5 ] [ 6 ]
Но по мере усложнения финансовых проблем традиционные численные методы для BSDE (такие как метод Монте-Карло , метод конечных разностей и т. д.) показали ограничения, такие как высокая вычислительная сложность и проклятие размерности. [ 1 ]
- В сценариях большой размерности метод Монте-Карло требует многочисленных путей моделирования для обеспечения точности, что приводит к длительному времени вычислений. В частности, для нелинейных BSDE скорость сходимости низкая, что затрудняет решение сложных проблем ценообразования на производные финансовые инструменты. [ 7 ] [ 8 ]
- С другой стороны, метод конечных разностей испытывает экспоненциальный рост количества вычислительных сеток с увеличением размеров, что приводит к значительным требованиям к вычислениям и хранению. Этот метод обычно подходит для простых граничных условий и малоразмерных BSDE, но он менее эффективен в сложных ситуациях. [ 9 ]
Глубокий метод BSDE
[ редактировать ]Сочетание глубокого обучения с BSDE, известное как глубокий BSDE, было предложено Ханом, Дженценом и Э. в 2018 году как решение многомерных задач, с которыми сталкиваются традиционные численные методы. Подход Deep BSDE использует мощные возможности нелинейной аппроксимации глубокого обучения, аппроксимируя решение BSDE путем построения нейронных сетей. Конкретная идея состоит в том, чтобы представить решение BSDE как результат работы нейронной сети и обучить ее аппроксимировать решение. [ 1 ]
Модель
[ редактировать ]Математический метод
[ редактировать ]Обратные стохастические дифференциальные уравнения (BSDE) представляют собой мощный математический инструмент, широко применяемый в таких областях, как стохастический контроль , финансовая математика и других областях. В отличие от традиционных стохастических дифференциальных уравнений (СДУ), которые решаются вперед во времени, BSDE решаются в обратном направлении, начиная с будущего времени и двигаясь назад к настоящему. Эта уникальная характеристика делает BSDE особенно подходящими для решения задач, связанных с терминальными условиями и неопределенностями. [ 2 ]
Дифференциальные уравнения |
---|
Объем |
Классификация |
Решение |
Люди |
Обратное стохастическое дифференциальное уравнение (BSDE) можно сформулировать как: [ 10 ]
В этом уравнении:
- это терминальное состояние, указанное в момент времени .
- называется генератором BSDE
- решение состоит из случайных процессов и которые приспособлены к фильтрации
- является стандартным броуновским движением .
Цель – найти адаптированные процессы и которые удовлетворяют этому уравнению. Традиционные численные методы борются с BSDE из-за проклятия размерности, которое делает вычисления в многомерных пространствах чрезвычайно сложными. [ 1 ]
Обзор методологии
[ редактировать ]Источник: [ 1 ]
1. Полулинейные параболические УЧП.
[ редактировать ]Мы рассматриваем общий класс УЧП, представленный
В этом уравнении:
- это терминальное состояние, указанное в момент времени .
- и представляют время и -мерная пространственная переменная соответственно.
- — известная векторная функция, обозначает транспонирование, связанное с , и обозначает гессиан функции относительно .
- — известная векторная функция, а – известная нелинейная функция.
2. Представление случайного процесса
[ редактировать ]Позволять быть -мерное броуновское движение и быть -мерный случайный процесс, который удовлетворяет
3. Обратное стохастическое дифференциальное уравнение (BSDE).
[ редактировать ]Тогда решение УЧП удовлетворяет следующему BSDE:
4. Временная дискретизация
[ редактировать ]Дискретизировать временной интервал на шаги :
где и .
5. Аппроксимация нейронной сети
[ редактировать ]Используйте многослойную нейронную сеть прямого распространения для аппроксимации:
для , где – параметры нейронной сети, аппроксимирующие в .
6. Обучение нейронной сети
[ редактировать ]Сложите все подсети на этапе аппроксимации, чтобы сформировать глубокую нейронную сеть. Обучите сеть, используя пути и в качестве входных данных, минимизируя функцию потерь:
где является приближением .
Архитектура нейронной сети
[ редактировать ]Источник: [ 1 ]
Часть серии о |
Искусственный интеллект |
---|
Глубокое обучение включает в себя класс методов машинного обучения, которые изменили многие области, позволяя моделировать и интерпретировать сложные структуры данных. Эти методы, часто называемые глубоким обучением , отличаются своей иерархической архитектурой, состоящей из нескольких уровней взаимосвязанных узлов или нейронов. Эта архитектура позволяет глубоким нейронным сетям автономно изучать абстрактные представления данных, что делает их особенно эффективными в таких задачах, как распознавание изображений , обработка естественного языка и финансовое моделирование . Суть этого метода заключается в разработке соответствующей структуры нейронной сети (например, полностью связной сети или рекуррентной нейронной сети ) и выборе эффективных алгоритмов оптимизации. [ 3 ]
Выбор сетевой архитектуры глубокого BSDE, количества слоев и количества нейронов на слой являются важнейшими гиперпараметрами, которые существенно влияют на производительность метода глубокого BSDE. Метод глубокого BSDE строит нейронные сети для аппроксимации решений задачи. и и использует стохастический градиентный спуск и другие алгоритмы оптимизации для обучения. [ 1 ]
На рисунке показана сетевая архитектура для метода глубокого BSDE. Обратите внимание, что обозначает переменную, аппроксимируемую непосредственно подсетями, а обозначает переменную, вычисляемую итеративно в сети. В этой сети существует три типа соединений: [ 1 ]
я) это многослойная нейронная сеть прямого распространения, аппроксимирующая пространственные градиенты во времени . Веса этой подсети оптимизированы параметры.
2) — это прямая итерация, обеспечивающая окончательный результат работы сети как приближение , характеризуемый уравнениями 5 и 6. Оптимизированных параметров для данного типа подключения нет.
3) — это ярлык, соединяющий блоки в разное время, характеризуемый уравнениями. 4 и 6. Оптимизированных параметров при этом типе подключения также нет.
Алгоритмы
[ редактировать ]Адам оптимизатор
[ редактировать ]Эта функция реализует Адама [ 11 ] алгоритм минимизации целевой функции .
Функция: АДАМ( , , , , , ) является
// Initialize the first moment vector // Initialize the second moment vector // Initialize timestep // Step 1: Initialize parameters // Step 2: Optimization loop while has not converged do // Compute gradient of at timestep // Update biased first moment estimate // Update biased second raw moment estimate // Compute bias-corrected first moment estimate // Compute bias-corrected second moment estimate // Update parameters return
- Используя описанный выше алгоритм ADAM, мы теперь представляем псевдокод, соответствующий многослойной нейронной сети прямого распространения:
Алгоритм обратного распространения ошибки
[ редактировать ]Эта функция реализует алгоритм обратного распространения ошибки для обучения многослойной нейронной сети прямого распространения.
Функция: BackPropagation( set ) является
// Step 1: Random initialization // Step 2: Optimization loop repeat until termination condition is met: for each : // Compute output // Compute gradients for each output neuron : // Gradient of output neuron for each hidden neuron : // Gradient of hidden neuron // Update weights for each weight : // Update rule for weight for each weight : // Update rule for weight // Update parameters for each parameter : // Update rule for parameter for each parameter : // Update rule for parameter // Step 3: Construct the trained multi-layer feedforward neural network return trained neural network
- Объединив алгоритм ADAM и многослойную нейронную сеть прямого распространения, мы предоставляем следующий псевдокод для решения оптимального инвестиционного портфеля:
Численное решение для оптимального инвестиционного портфеля
[ редактировать ]Источник: [ 1 ]
Эта функция рассчитывает оптимальный инвестиционный портфель, используя заданные параметры и случайные процессы.
функция ОптимальныеИнвестиции( , , ) является
// Step 1: Initialization for to maxstep do , // Parameter initialization for to do // Update feedforward neural network unit // Step 2: Compute loss function // Step 3: Update parameters using ADAM optimization // Step 4: Return terminal state return
Приложение
[ редактировать ]Deep BSDE широко используется в области ценообразования на производные финансовые инструменты, управления рисками и распределения активов. Он особенно подходит для:
- Высокомерное ценообразование опционов: ценообразование сложных производных инструментов, таких как опционы на корзину и азиатские опционы , которые включают в себя несколько базовых активов. [ 1 ] Традиционные методы, такие как методы конечных разностей и моделирование Монте-Карло, борются с этими многомерными проблемами из-за проклятия размерности, когда вычислительные затраты растут экспоненциально с увеличением количества измерений. Методы Deep BSDE используют возможности аппроксимации функций глубоких нейронных сетей для управления этой сложностью и предоставления точных решений по ценообразованию. Подход глубокого BSDE особенно полезен в сценариях, где традиционные численные методы не справляются. Например, при ценообразовании опционов с высокой размерностью такие методы, как метод конечных разностей или моделирование Монте-Карло, сталкиваются со значительными трудностями из-за экспоненциального увеличения вычислительных требований с увеличением количества измерений. Методы Deep BSDE преодолевают эту проблему, используя глубокое обучение для эффективного аппроксимации решений многомерных PDE. [ 1 ]
- Измерение риска: расчет показателей риска, таких как условная стоимость риска (CVaR) и ожидаемый дефицит (ES). [ 12 ] Эти меры риска имеют решающее значение для финансовых учреждений для оценки потенциальных потерь в своих портфелях. Методы глубокого BSDE позволяют эффективно рассчитывать эти показатели риска даже в многомерных условиях, тем самым повышая точность и надежность оценок рисков. В управлении рисками методы глубокого BSDE улучшают расчет расширенных показателей риска, таких как CVaR и ES, которые необходимы для учета хвостового риска в портфелях. Эти меры обеспечивают более полное понимание потенциальных потерь по сравнению с более простыми показателями, такими как стоимость под риском (VaR). Использование глубоких нейронных сетей позволяет проводить эти вычисления даже в многомерных контекстах, обеспечивая точную и надежную оценку рисков. [ 12 ]
- Динамическое распределение активов: определение оптимальных стратегий распределения активов с течением времени в стохастической среде. [ 12 ] Это предполагает создание инвестиционных стратегий, которые адаптируются к меняющимся рыночным условиям и динамике цен на активы. Моделируя стохастическое поведение доходности активов и включая его в решения о распределении, глубокие методы BSDE позволяют инвесторам динамически корректировать свои портфели, максимизируя ожидаемую доходность и одновременно эффективно управляя рисками. Для динамического распределения активов методы глубокого BSDE предлагают значительные преимущества за счет оптимизации инвестиционных стратегий в ответ на изменения рынка. Этот динамический подход имеет решающее значение для управления портфелями в стохастической финансовой среде, где цены на активы подвержены случайным колебаниям. Методы Deep BSDE обеспечивают основу для разработки и реализации стратегий, которые адаптируются к этим колебаниям, что приводит к более устойчивому и эффективному управлению активами. [ 12 ]
Преимущества и недостатки
[ редактировать ]Преимущества
[ редактировать ]- Многомерные возможности: по сравнению с традиционными численными методами, глубокий BSDE исключительно хорошо работает при решении многомерных задач.
- Гибкость: использование глубоких нейронных сетей позволяет этому методу адаптироваться к различным типам BSDE и финансовым моделям.
- Параллельные вычисления. Платформы глубокого обучения поддерживают ускорение графического процессора, что значительно повышает эффективность вычислений.
Недостатки
[ редактировать ]- Время обучения. Обучение глубоких нейронных сетей обычно требует значительных данных и вычислительных ресурсов.
- Чувствительность параметров. Выбор архитектуры нейронной сети и гиперпараметров сильно влияет на результаты, часто требуя опыта и метода проб и ошибок.
См. также
[ редактировать ]- уравнение Беллмана
- Динамическое программирование
- Приложения искусственного интеллекта
- Список проектов искусственного интеллекта
- Обратное стохастическое дифференциальное уравнение
- Случайный процесс
- Стохастическая волатильность
- Стохастические уравнения в частных производных
- Процесс диффузии
- Стохастическое разностное уравнение
Ссылки
[ редактировать ]- ^ Перейти обратно: а б с д и ж г час я дж к л м Хан, Дж.; Дженцен, А.; Э, В. (2018). «Решение многомерных уравнений в частных производных с использованием глубокого обучения». Труды Национальной академии наук . 115 (34): 8505–8510.
- ^ Перейти обратно: а б Парду, Э.; Пэн, С. (1990). «Адаптированное решение обратного стохастического дифференциального уравнения». Системы и контрольные письма . 14 (1): 55–61.
- ^ Перейти обратно: а б ЛеКун, Янн; Бенджио, Йошуа; Хинтон, Джеффри (2015). «Глубокое обучение» (PDF) . Природа . 521 (7553): 436–444. Бибкод : 2015Natur.521..436L . дои : 10.1038/nature14539 . ПМИД 26017442 . S2CID 3074096 .
- ^ Клоден, П.Е., Платен Э. (1992). Численное решение стохастических дифференциальных уравнений. Шпрингер, Берлин, Гейдельберг. DOI: https://doi.org/10.1007/978-3-662-12616-5.
- ^ Кузнецов, Д.Ф. (2023). Сильная аппроксимация повторных стохастических интегралов Ито и Стратоновича: метод обобщенных кратных рядов Фурье. Приложение к численному интегрированию СДУ Ито и полулинейных СДУ. Отличие. Уравн. Процесы Упр., нет. 1. DOI: https://doi.org/10.21638/11701/spbu35.2023.110.
- ^ Рыбаков, К.А. (2023). Спектральные представления повторных стохастических интегралов и их применение для моделирования нелинейной стохастической динамики. Математика, вып. 11, 4047. DOI: https://doi.org/10.3390/math11194047.
- ^ «Реальные опционы с моделированием Монте-Карло» . Архивировано из оригинала 18 марта 2010 г. Проверено 24 сентября 2010 г.
- ^ «Моделирование Монте-Карло» . Корпорация Палисейд. 2010 . Проверено 24 сентября 2010 г.
- ^ Кристиан Гроссманн; Ханс-Г. Роос; Мартин Стайнс (2007). Численная обработка уравнений в частных производных . Springer Science & Business Media. п. 23 . ISBN 978-3-540-71584-9 .
- ^ Ма, Джин; Ён, Чжионгмин (2007). Стохастические дифференциальные уравнения прямого и обратного направления и их приложения . Конспект лекций по математике. Том. 1702. Шпрингер Берлин, Гейдельберг. дои : 10.1007/978-3-540-48831-6 . ISBN 978-3-540-65960-0 .
- ^ Кингма, Дидерик; Ба, Джимми (2014). «Адам: метод стохастической оптимизации». arXiv : 1412.6980 [ cs.LG ].
- ^ Перейти обратно: а б с д и ж Бек, К.; Э, В.; Дженцен, А. (2019). «Алгоритмы аппроксимации машинного обучения для многомерных полностью нелинейных уравнений в частных производных и обратных стохастических дифференциальных уравнений второго порядка». Журнал нелинейной науки . 29 (4): 1563–1619.
Дальнейшее чтение
[ редактировать ]- Бишоп Кристофер М.; Бишоп, Хью (2024). Глубокое обучение: основы и концепции . Спрингер. ISBN 978-3-031-45467-7 .
- Гудфеллоу, Ян ; Бенджио, Йошуа ; Курвиль, Аарон (2016). Глубокое обучение . МТИ Пресс. ISBN 978-0-26203561-3 . Архивировано из оригинала 16 апреля 2016 г. Проверено 9 мая 2021 г. , вводный учебник.
{{cite book}}
: CS1 maint: постскриптум ( ссылка ) - Эванс, Лоуренс С. (2013). Введение в стохастические дифференциальные уравнения Американское математическое общество.
- Хайэм., Десмонд Дж. (январь 2001 г.). «Алгоритмическое введение в численное моделирование стохастических дифференциальных уравнений». Обзор СИАМ . 43 (3): 525–546. Бибкод : 2001SIAMR..43..525H . CiteSeerX 10.1.1.137.6375 . дои : 10.1137/S0036144500378302 .
- Десмонд Хайэм и Питер Клоден: «Введение в численное моделирование стохастических дифференциальных уравнений», SIAM, ISBN 978-1-611976-42-7 (2021 г.).