Нейронные сети, основанные на физике

Нейронные сети, основанные на физике ( PINN ), ^[1] также называемые теоретически обученными нейронными сетями ( TTN ), ^[2] представляют собой тип аппроксиматоров универсальных функций, которые могут внедрять знания о любых физических законах, которые управляют заданным набором данных в процессе обучения, и могут быть описаны уравнениями в частных производных (PDE). Они преодолевают низкую доступность данных некоторых биологических и инженерные системы, из-за которых большинству современных методов машинного обучения недостает надежности, что делает их неэффективными в этих сценариях. ^[1] Априорные знания общих физических законов действуют при обучении нейронных сетей (НС) как агент регуляризации, ограничивающий пространство допустимых решений, повышая корректность аппроксимации функции. Таким образом, встраивание этой предварительной информации в нейронную сеть приводит к повышению информативности доступных данных, помогая алгоритму обучения найти правильное решение и хорошо обобщить даже при небольшом количестве обучающих примеров.

Аппроксимация функции

Большинство физических законов, управляющих динамикой системы, можно описать уравнениями в частных производных. Например, уравнения Навье–Стокса ^[3] представляют собой набор уравнений в частных производных, выведенных из законов сохранения (т. е. сохранения массы, импульса и энергии), которые управляют механикой жидкости . Решение уравнений Навье – Стокса с соответствующими начальными и граничными условиями позволяет количественно оценить динамику потока в точно определенной геометрии. Однако эти уравнения не могут быть решены точно, и поэтому необходимо использовать численные методы (такие как конечные разности , конечные элементы и конечные объемы ). В этой ситуации эти основные уравнения должны быть решены с учетом предшествующих предположений, линеаризации и адекватной дискретизации во времени и пространстве.

В последнее время решение основных дифференциальных уравнений в частных производных физических явлений с использованием глубокого обучения стало новой областью научного машинного обучения (SciML), использующей универсальную теорему аппроксимации. ^[4] и высокая выразительность нейронных сетей. В общем, глубокие нейронные сети могут аппроксимировать любую многомерную функцию при условии, что предоставлено достаточное количество обучающих данных. ^[5] Однако такие сети не учитывают физические характеристики, лежащие в основе проблемы, и уровень точности аппроксимации, обеспечиваемый ими, по-прежнему сильно зависит от тщательного определения геометрии задачи, а также начальных и граничных условий. Без этой предварительной информации решение не является единственным и может потерять физическую корректность. С другой стороны, нейронные сети с учетом физики (PINN) используют физические уравнения при обучении нейронных сетей. А именно, PINN предназначены для обучения с целью удовлетворения заданным обучающим данным, а также наложенным управляющим уравнениям. Таким образом, нейронная сеть может управляться обучающими данными, которые не обязательно должны быть большими и полными. ^[5] Потенциально точное решение уравнений в частных производных можно найти, не зная граничных условий. ^[6] Следовательно, при наличии некоторых знаний о физических характеристиках задачи и некоторой форме обучающих данных (даже скудных и неполных) PINN можно использовать для поиска оптимального решения с высокой точностью.

PINN позволяют решать широкий спектр проблем в области вычислительной техники и представляют собой новаторскую технологию, ведущую к разработке новых классов числовых решателей для уравнений с частными уравнениями. PINN можно рассматривать как бессеточную альтернативу традиционным подходам (например, CFD для гидродинамики) и новым подходам, основанным на данных, для инверсии модели и идентификации системы. ^[7] Примечательно, что обученная сеть PINN может использоваться для прогнозирования значений на сетках моделирования различного разрешения без необходимости повторного обучения. ^[8] Кроме того, они позволяют использовать автоматическое дифференцирование (AD). ^[9] для вычисления необходимых производных в уравнениях в частных производных — новый класс методов дифференцирования, широко используемый для получения нейронных сетей, которые, по оценкам, превосходят числовое или символьное дифференцирование .

Моделирование и расчеты

Общее нелинейное уравнение в частных производных может быть:

$u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]$

где $u(t,x)$ обозначает решение, $N[\cdot ;\lambda ]$ — нелинейный оператор, параметризованный $\lambda$ , и $\Omega$ является подмножеством $\mathbb {R} ^{D}$ . Эта общая форма основных уравнений обобщает широкий круг проблем математической физики, таких как консервативные законы, процесс диффузии, системы адвекции-диффузии и кинетические уравнения. Учитывая зашумленные измерения общей динамической системы, описываемой приведенным выше уравнением, PINN можно спроектировать для решения двух классов задач:

решение, управляемое данными
обнаружение уравнений в частных производных на основе данных.

Решение уравнений в частных производных на основе данных

Управляемое данными решение PDE ^[1] вычисляет скрытое состояние $u(t,x)$ системы с учетом граничных данных и/или измерений $z$ и фиксированные параметры модели $\lambda$ . Мы решаем:

$u_{t}+N[u]=0,\quad x\in \Omega ,\quad t\in [0,T]$ .

Определив остаток $f(t,x)$ как

$f:=u_{t}+N[u]=0$ ,

и аппроксимация $u(t,x)$ с помощью глубокой нейронной сети. Эту сеть можно дифференцировать с помощью автоматического дифференцирования. Параметры $u(t,x)$ и $f(t,x)$ затем можно изучить, минимизировав следующую функцию потерь $L_{tot}$ :

$L_{tot}=L_{u}+L_{f}$ .

Где $L_{u}=\Vert u-z\Vert _{\Gamma }$ это ошибка между PINN $u(t,x)$ и набор граничных условий и измеренных данных на множестве точек $\Gamma$ где определены граничные условия и данные, и $L_{f}=\Vert f\Vert _{\Gamma }$ – среднеквадратическая ошибка функции невязки. Этот второй термин побуждает PINN изучать структурную информацию, выраженную уравнением в частных производных, во время процесса обучения.

Этот подход использовался для создания эффективных с точки зрения вычислений суррогатных моделей с учетом физики, которые можно применять в прогнозировании физических процессов, прогнозирующем управлении моделями, мультифизическом и многомасштабном моделировании, а также симуляции. ^[10] Было показано, что оно сходится к решению УЧП. ^[11]

Открытие уравнений в частных производных на основе данных

Учитывая зашумленные и неполные измерения $z$ состояния системы, обнаружение PDE на основе данных ^[7] приводит к вычислению неизвестного состояния $u(t,x)$ и параметры модели обучения $\lambda$ которые лучше всего описывают наблюдаемые данные, и выглядят следующим образом:

$u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]$ .

Определив $f(t,x)$ как

$f:=u_{t}+N[u;\lambda ]=0$ ,

и аппроксимация $u(t,x)$ с помощью глубокой нейронной сети, $f(t,x)$ приводит к PINN. Эту сеть можно получить с помощью автоматического дифференцирования. Параметры $u(t,x)$ и $f(t,x)$ , вместе с параметром $\lambda$ дифференциального оператора можно затем изучить путем минимизации следующей функции потерь $L_{tot}$ :

$L_{tot}=L_{u}+L_{f}$ .

Где $L_{u}=\Vert u-z\Vert _{\Gamma }$ , с $u$ и $z$ государственные решения и измерения в редких местах $\Gamma$ соответственно и $L_{f}=\Vert f\Vert _{\Gamma }$ остаточная функция. Этот второй термин требует, чтобы структурированная информация, представленная уравнениями в частных производных, была удовлетворена в процессе обучения.

Эта стратегия позволяет обнаруживать динамические модели, описываемые нелинейными PDE, объединяя вычислительно эффективные и полностью дифференцируемые суррогатные модели, которые могут найти применение в прогнозном прогнозировании, управлении и ассимиляции данных . ^[12]^[13]^[14]^[15]

Физические нейронные сети для кусочной аппроксимации функций

PINN не может аппроксимировать PDE, которые имеют сильную нелинейность или резкие градиенты, которые обычно возникают в практических задачах потока жидкости. Кусочная аппроксимация была старой практикой в области численной аппроксимации. Благодаря способности аппроксимировать сильную нелинейность чрезвычайно легкие PINN используются для решения УЧП в гораздо более крупных дискретных подобластях, что существенно повышает точность, а также снижает вычислительную нагрузку. ^[16]^[17] DPINN (Распределенные нейронные сети, основанные на физике) и DPIELM (Распределенные машины экстремального обучения, основанные на физике) представляют собой обобщаемую дискретизацию в пространственно-временной области для лучшего приближения. ^[16] DPIELM — чрезвычайно быстрый и легкий аппроксиматор с конкурентоспособной точностью. Масштабирование домена сверху имеет особый эффект. ^[17] Другая школа мысли - дискретизация для параллельных вычислений, чтобы максимально эффективно использовать доступные вычислительные ресурсы.

XPINN ^[18] - это обобщенный подход к декомпозиции пространственно-временной области для нейронных сетей с учетом физики (PINN) для решения нелинейных уравнений в частных производных в произвольных областях сложной геометрии. XPINN еще больше расширяет границы как PINN, так и консервативных PINN (cPINN). ^[19] это подход к разложению пространственной области в рамках PINN, адаптированный к законам сохранения. По сравнению с PINN, метод XPINN обладает большими возможностями представления и распараллеливания благодаря свойству развертывания нескольких нейронных сетей в меньших поддоменах. В отличие от cPINN, XPINN можно расширить до любого типа PDE. Более того, домен можно разложить любым произвольным образом (в пространстве и времени), что невозможно в cPINN. Таким образом, XPINN предлагает распараллеливание как в пространстве, так и во времени, тем самым более эффективно снижая затраты на обучение. XPINN особенно эффективен для крупномасштабных задач (включающих большие наборы данных), а также для многомерных задач, где PINN на основе одной сети не подходит. Доказаны строгие оценки ошибок, возникающих в результате аппроксимации нелинейных УЧП (несжимаемых уравнений Навье–Стокса) с помощью PINN и XPINN. ^[15]

Нейронные сети, основанные на физике, и функциональная интерполяция

В рамках PINN начальные и граничные условия не удовлетворяются аналитически, поэтому их необходимо включить в функцию потерь сети, которая будет обучаться одновременно с неизвестными функциями дифференциального уравнения (DE). Наличие конкурирующих целей во время обучения сети может привести к несбалансированным градиентам при использовании методов, основанных на градиентах, из-за чего PINN часто не могут точно изучить базовое решение DE. Этот недостаток преодолевается за счет использования методов функциональной интерполяции, таких как ограниченное выражение Теории функциональных связей (TFC) в структуре Deep-TFC, которая сводит пространство поиска решений ограниченных задач к подпространству нейронной сети, которое аналитически удовлетворяет ограничения. ^[20] однослойная нейронная сеть и алгоритм машинного обучения с экстремальным обучением . Дальнейшее усовершенствование подхода PINN и функциональной интерполяции обеспечивается структурой экстремальной теории функциональных связей (X-TFC), в которой используются ^[21] X-TFC позволяет повысить точность и производительность обычных PINN, а его надежность и надежность доказаны для решения жестких задач, оптимального управления, аэрокосмической отрасли и приложений динамики разреженного газа. ^[22]^[23]^[24]

PointNet с учетом физики (PIPN) для нескольких наборов неправильной геометрии

Обычные PINN могут получить решение прямой или обратной задачи только в одной геометрии. Это означает, что для любой новой геометрии (расчетной области) необходимо переобучить PINN. Это ограничение обычных PINN влечет за собой высокие вычислительные затраты, особенно для комплексного исследования геометрических параметров в промышленных образцах. PointNet с учетом физики (PIPN) ^[25] по сути является результатом комбинации функции потерь PINN и PointNet. ^[26] Фактически, вместо использования простой полностью связанной нейронной сети, PIPN использует PointNet в качестве ядра своей нейронной сети. PointNet был в первую очередь разработан для глубокого изучения классификации и сегментации трехмерных объектов исследовательской группой Леонидаса Дж. Гибаса . PointNet извлекает геометрические характеристики входных вычислительных областей в PIPN. Таким образом, PIPN способен одновременно решать основные уравнения в нескольких вычислительных областях (а не только в одной области) с неправильной геометрией. Эффективность PIPN была показана для несжимаемого потока , теплопередачи и линейной упругости . ^[25]^[27]

Нейронные сети, основанные на физике (PINN), для обратных вычислений

Нейронные сети, основанные на физике (PINN), оказались особенно эффективными при решении обратных задач в рамках дифференциальных уравнений. ^[28] демонстрируя их применимость в науке, технике и экономике. Они оказались полезными для решения обратных задач в различных областях, включая нанооптику, ^[29] оптимизация/характеристика топологии, ^[30] многофазное течение в пористых средах, ^[31]^[32] и высокоскоростной поток жидкости. ^[33]^[13] PINN продемонстрировали гибкость при работе с зашумленными и неопределенными наборами данных наблюдений. Они также продемонстрировали явные преимущества при обратном вычислении параметров для наборов данных с разной точностью, то есть наборов данных с разным качеством, количеством и типами наблюдений. Неопределенности в расчетах можно оценить с помощью ансамблевых или байесовских расчетов. ^[34]

Физикоинформированные нейронные сети (PINN) с обратным стохастическим дифференциальным уравнением

Метод глубокого обратного стохастического дифференциального уравнения — это численный метод, который сочетает глубокое обучение с обратным стохастическим дифференциальным уравнением (BSDE) для решения многомерных задач финансовой математики. Используя мощные возможности аппроксимации функций глубоких нейронных сетей , глубокий BSDE решает вычислительные проблемы, с которыми сталкиваются традиционные численные методы, такие как методы конечных разностей или моделирование Монте-Карло, которые борются с проклятием размерности. Методы Deep BSDE используют нейронные сети для аппроксимации решений многомерных уравнений в частных производных (PDE), что эффективно снижает вычислительную нагрузку. Кроме того, интеграция нейронных сетей с учетом физики (PINN) в глубокую структуру BSDE расширяет ее возможности за счет внедрения основных физических законов в архитектуру нейронной сети, гарантируя, что решения соответствуют управляющим стохастическим дифференциальным уравнениям, что приводит к более точным и надежным решениям. ^[35]

Ограничения

Трансляцию и прерывистое поведение трудно аппроксимировать с помощью PINN. ^[17] Они терпят неудачу при решении дифференциальных уравнений с небольшим адвективным доминированием. ^[17] Трудность обучения PINN в PDE с преобладанием адвекции можно объяснить колмогоровской n-шириной решения. ^[36]Они также не могут решить систему динамических систем и, следовательно, не добились успеха в решении хаотических уравнений. ^[37] Одной из причин неудачи обычных PINN является мягкое ограничение граничных условий Дирихле и Неймана, которые создают задачу многокритериальной оптимизации, требующую ручного взвешивания условий потерь для возможности оптимизации. ^[17] Другая причина — сама оптимизация. Представление решения PDE как проблемы оптимизации приводит к появлению всех проблем, с которыми сталкиваются в мире оптимизации, основная из которых довольно часто застревает в локальном оптимуме. ^[17]^[38]

Ссылки

^ Jump up to: ^а ^б ^с Раисси, Мазиар; Пердикарис, Париж; Карниадакис, Джордж Эм (28 ноября 2017 г.). «Глубокое обучение на основе физики (часть I): решения нелинейных дифференциальных уравнений в частных производных на основе данных». arXiv : 1711.10561 [ cs.AI ].
^ Тораби Рад, М.; Виарден, А.; Шмитц, Г.Дж.; Апель, М. (01 марта 2020 г.). «Теория обучения глубоких нейронных сетей для решения эталонной задачи затвердевания сплава» . Вычислительное материаловедение . 18 . arXiv : 1912.09800 . doi : 10.1016/j.commatsci.2020.109687 . ISSN 0893-6080 .
^ Бэтчелор, ГК (2000). Введение в гидродинамику (2-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 978-0-521-66396-0 .
^ Хорник, Курт; Тинчкомб, Максвелл; Уайт, Халберт (1 января 1989 г.). «Многослойные сети прямого распространения являются универсальными аппроксиматорами» . Нейронные сети . 2 (5): 359–366. дои : 10.1016/0893-6080(89)90020-8 . ISSN 0893-6080 . S2CID 2757547 .
^ Jump up to: ^а ^б Арзани, Амирхоссейн; Доусон, Скотт ТМ (2021). «Моделирование сердечно-сосудистых потоков на основе данных: примеры и возможности» . Журнал интерфейса Королевского общества . 18 (175): 20200802.arXiv : 2010.00131 . дои : 10.1098/rsif.2020.0802 . ПМЦ 8086862 . ПМИД 33561376 .
^ Арзани, Амирхоссейн; Ван, Цзянь-Сюнь; Д'Суза, Рошан М. (07.06.2021). «Обнаружение пристеночного кровотока на основе скудных данных с помощью нейронных сетей, основанных на физике». Физика жидкостей . 33 (7): 071905. arXiv : 2104.08249 . Бибкод : 2021ФФл...33г1905А . дои : 10.1063/5.0055600 . S2CID 233289904 .
^ Jump up to: ^а ^б Раисси, Мазиар; Пердикарис, Париж; Карниадакис, Джордж Эм (01 февраля 2019 г.). «Нейронные сети, основанные на физике: система глубокого обучения для решения прямых и обратных задач, включающих нелинейные уравнения в частных производных» . Журнал вычислительной физики . 378 : 686–707. Бибкод : 2019JCoPh.378..686R . дои : 10.1016/j.jcp.2018.10.045 . ISSN 0021-9991 . ОСТИ 1595805 . S2CID 57379996 .
^ Маркидис, Стефано (11 марта 2021 г.). «Глубокое обучение на основе физики для научных вычислений». arXiv : 2103.09655 [ math.NA ].
^ Байдин, Атилим Гюнес; Перлмуттер, Барак А.; Радуль Алексей Андреевич; Сискинд, Джеффри Марк (5 февраля 2018 г.). «Автоматическая дифференциация в машинном обучении: опрос». arXiv : 1502.05767 [ cs.SC ].
^ Раисси, Мазиар; Яздани, Алиреза; Карниадакис, Джордж Эм (13 августа 2018 г.). «Механика скрытой жидкости: основа глубокого обучения на основе информации Навье-Стокса для ассимиляции данных визуализации потока». arXiv : 1808.04327 [ cs.CE ].
^ Думеш, Натан; Био, Жерар; Бойер, Клэр (2 мая 2023 г.). «Сходимость и анализ ошибок PINN». arXiv : 2305.01240 [ math.ST ].
^ Фу, Цзиньлун; Сяо, Дуньхуэй; Фу, Руи; Ли, Чэньфэн; Чжу, Чуаньхуа; Аркуччи, Росселла; Навон, Ионел М. (февраль 2023 г.). «Комбинированное машинное обучение физики и данных для параметрического моделирования нелинейных динамических систем пониженного порядка в режимах малых данных». Компьютерные методы в прикладной механике и технике . 404 : 115771. Бибкод : 2023CMAME.404k5771F . дои : 10.1016/j.cma.2022.115771 . S2CID 254397985 .
^ Jump up to: ^а ^б Раисси, Мазиар; Яздани, Алиреза; Карниадакис, Джордж Эм (28 февраля 2020 г.). «Скрытая механика жидкости: изучение полей скорости и давления на основе визуализации потока» . Наука . 367 (6481): 1026–1030. Бибкод : 2020Sci...367.1026R . дои : 10.1126/science.aaw4741 . ISSN 0036-8075 . ПМК 7219083 . ПМИД 32001523 .
^ Мишра, Сиддхартха; Молинаро, Роберто (01 апреля 2021 г.). «Оценки ошибки обобщения нейронных сетей, основанных на физике (PINN), для аппроксимации класса обратных задач для PDE». arXiv : 2007.01138 [ math.NA ].
^ Jump up to: ^а ^б Рик, Тим Де; Джагтап, Амея Д.; Мишра, Сиддхартха (2022). «Оценки ошибок для нейронных сетей, основанных на физике, аппроксимирующих уравнения Навье – Стокса». arXiv : 2203.09346 [ мат.NA ].
^ Jump up to: ^а ^б Двиведи, Викас; Парашар, Нишант; Шринивасан, Баладжи (08 января 2021 г.). «Машины распределенного обучения для решения прямых и обратных задач в уравнениях в частных производных» . Нейрокомпьютинг . 420 : 299–316. arXiv : 1907.08967 . doi : 10.1016/j.neucom.2020.09.006 . ISSN 0925-2312 . S2CID 225014697 .
^ Jump up to: ^а ^б ^с ^д ^и ^ж [1] Рут, Сиддхарт (2019). «Численная аппроксимация задач CFD с использованием машинного обучения на основе физики». arXiv : 2111.02987 [ cs.LG ].
^ Джагтап, Амея Д.; Карниадакис, Джордж Эм (2020). «Расширенные нейронные сети с учетом физики (xpinns): обобщенная структура глубокого обучения на основе декомпозиции пространственно-временной области для нелинейных уравнений в частных производных». Коммуникации в вычислительной физике . 28 (5): 2002–2041. Бибкод : 2020CCoPh..28.2002K . doi : 10.4208/cicp.OA-2020-0164 . ОСТИ 2282003 . S2CID 229083388 .
^ Джагтап, Амея Д.; Харазми, Эхсан; Карниадакис, Джордж Эм (2020). «Консервативные нейронные сети, основанные на физике, в дискретных областях для законов сохранения: приложения для решения прямых и обратных задач» . Компьютерные методы в прикладной механике и технике . 365 : 113028. Бибкод : 2020CMAME.365k3028J . дои : 10.1016/j.cma.2020.113028 . S2CID 216333271 .
^ Лик, Карл; Мортари, Даниэле (12 марта 2020 г.). «Глубокая теория функциональных связей: новый метод оценки решений уравнений в частных производных» . Машинное обучение и извлечение знаний . 2 (1): 37–55. дои : 10.3390/make2010004 . ПМЦ 7259480 . ПМИД 32478283 .
^ Скьяси, Энрико; Фурфаро, Роберто; Лик, Карл; Де Флорио, Марио; Джонстон, Хантер; Мортари, Даниэле (октябрь 2021 г.). «Экстремальная теория функциональных связей: быстрый метод нейронных сетей с учетом физики для решения обыкновенных уравнений и уравнений в частных производных» . Нейрокомпьютинг . 457 : 334–356. doi : 10.1016/j.neucom.2021.06.015 . S2CID 236290147 .
^ Скьяси, Энрико; Де Флорио, Марио; Ганапол, Барри Д.; Пикка, Паоло; Фурфаро, Роберто (март 2022 г.). «Физические нейронные сети для уравнений точечной кинетики динамики ядерного реактора». Летопись атомной энергетики . 167 : 108833. Бибкод : 2022AnNuE.16708833S . doi : 10.1016/j.anucene.2021.108833 . S2CID 244913655 .
^ Скьяси, Энрико; Д'Амброзио, Андреа; Дрозд, Кристофер; Курти, Фабио; Фурфаро, Роберто (4 января 2022 г.). «Нейронные сети, основанные на физике, для оптимального перемещения по плоской орбите». Журнал космических кораблей и ракет . 59 (3): 834–849. Бибкод : 2022JSpRo..59..834S . дои : 10.2514/1.A35138 . S2CID 245725265 .
^ Де Флорио, Марио; Скьяси, Энрико; Ганапол, Барри Д.; Фурфаро, Роберто (апрель 2021 г.). «Нейронные сети на основе физики для динамики разреженного газа: тепловое ползущее течение в приближении Бхатнагара – Гросса – Крука». Физика жидкостей . 33 (4): 047110. Бибкод : 2021ФФл...33д7110Д . дои : 10.1063/5.0046181 . S2CID 234852360 .
^ Jump up to: ^а ^б Кашефи, Али; Мукерджи, Тапан (2022). «PointNet с учетом физики: решатель глубокого обучения для стационарных несжимаемых течений и тепловых полей в нескольких наборах нерегулярной геометрии». Журнал вычислительной физики . 468 : 111510. arXiv : 2202.05476 . Бибкод : 2022JCoPh.46811510K . дои : 10.1016/j.jcp.2022.111510 . S2CID 246823515 .
^ Ци, Чарльз; Су, Хао; Мо, Кайчун; Гибас, Леонидас (2017). «Pointnet: глубокое изучение наборов точек для 3D-классификации и сегментации» (PDF) . Материалы конференции IEEE по компьютерному зрению и распознаванию образов : 652–660. arXiv : 1612.00593 .
^ Кашефи, Али; Мукерджи, Тапан (2023). «PointNet с учетом физики: на скольких неправильных геометриях он может одновременно решить обратную задачу? Приложение к линейной упругости». arXiv : 2303.13634 [ cs.LG ].
^ Танасутивес, Понгписит; Морита, Такаши; Нумао, Масаюки; Фукуи, Кен-ичи (01 февраля 2023 г.). «Машинное обучение с учетом шума и физики для надежного открытия PDE» . Машинное обучение: наука и технологии . 4 (1): 015009. doi : 10.1088/2632-2153/acb1f0 . ISSN 2632-2153 .
^ «Издательская группа «Оптика» . opg.optica.org . Проверено 18 марта 2024 г.
^ Чжан, Энжуй; Дао, Мин; Карниадакис, Джордж Эм; Суреш, Субра (18 февраля 2022 г.). «Анализ внутренних структур и дефектов материалов с использованием нейронных сетей, основанных на физике» . Достижения науки . 8 (7): eabk0644. Бибкод : 2022SciA....8..644Z . дои : 10.1126/sciadv.abk0644 . ISSN 2375-2548 . ПМЦ 8849303 . ПМИД 35171670 .
^ Серебренникова Александра; Тойблер, Раймунд; Хоффельнер, Лиза; Лейтнер, Эрих; Хирн, Ульрих; Зойер, Карин (01 декабря 2022 г.). «Перенос органических летучих веществ через бумагу: нейронные сети с учетом физики для решения обратных и прямых задач» . Транспорт в пористых средах . 145 (3): 589–612. Бибкод : 2022TPMed.145..589S . дои : 10.1007/s11242-022-01864-7 . ISSN 1573-1634 .
^ Аббаси, Джассем; Андерсен, Пол Остебё (1 января 2024 г.). «Применение нейронных сетей, основанных на физике, для оценки функций насыщения на основе тестов противоточного спонтанного впитывания» . Журнал SPE . 29 (4): 1710–1729. дои : 10.2118/218402-PA . ISSN 1086-055X .
^ Джагтап, Амея Д.; Мао, Чжипин; Адамс, Николаус; Карниадакис, Джордж Эм (октябрь 2022 г.). «Физико-информированные нейронные сети для обратных задач в сверхзвуковых потоках» . Журнал вычислительной физики . 466 : 111402. arXiv : 2202.11821 . Бибкод : 2022JCoPh.46611402J . дои : 10.1016/j.jcp.2022.111402 . ISSN 0021-9991 .
^ Ян, Лю; Мэн, Сюйхуэй; Карниадакис, Джордж Эм (январь 2021 г.). «B-PINN: нейронные сети с учетом байесовской физики для прямых и обратных задач PDE с зашумленными данными» . Журнал вычислительной физики . 425 : 109913. arXiv : 2003.06097 . Бибкод : 2021JCoPh.42509913Y . дои : 10.1016/j.jcp.2020.109913 . ISSN 0021-9991 .
^ Хан, Дж.; Дженцен, А.; Э, В. (2018). «Решение многомерных уравнений в частных производных с использованием глубокого обучения». Труды Национальной академии наук . 115 (34): 8505–8510.
^ Моджгани, Рамбод; Балаевич, Мацей; Хасанзаде, Педрам (февраль 2023 г.). «Колмогоровская n-ширина и лагранжева нейронная сеть, основанная на физике: многообразие, соответствующее причинности, для PDE с преобладанием конвекции». Компьютерные методы в прикладной механике и технике . 404 : 115810. arXiv : 2205.02902 . дои : 10.1016/j.cma.2022.115810 .
^ Эрик Эйслан Антонело; Кампоногара, Эдуардо; Лайус Ориэл Семан; Эдуардо Ребейн де Соуза; Жордану, Жан П.; Хабнер, Джоми Ф. (2024). «Физико-информированные нейронные сети для управления динамическими системами». Нейрокомпьютинг . 579 . arXiv : 2104.02556 . дои : 10.1016/j.neucom.2024.127419 .
^ Ван, Сифан; Тенг, Юджун; Пердикарис, Париж (13 января 2020 г.). «Понимание и смягчение градиентных патологий в нейронных сетях, основанных на физике». arXiv : 2001.04536 [ cs.LG ].

Внешние ссылки

PINN - репозиторий для реализации нейронной сети с учетом физики на Python
XPINN - репозиторий для реализации расширенной нейронной сети с учетом физики (XPINN) на Python.
PIPN [2] - репозиторий для реализации PointNet с учетом физики (PIPN) на Python.

[:0-1] Jump up to: ^а ^б ^с Раисси, Мазиар; Пердикарис, Париж; Карниадакис, Джордж Эм (28 ноября 2017 г.). «Глубокое обучение на основе физики (часть I): решения нелинейных дифференциальных уравнений в частных производных на основе данных». arXiv : 1711.10561 [ cs.AI ].

[2] Тораби Рад, М.; Виарден, А.; Шмитц, Г.Дж.; Апель, М. (01 марта 2020 г.). «Теория обучения глубоких нейронных сетей для решения эталонной задачи затвердевания сплава» . Вычислительное материаловедение . 18 . arXiv : 1912.09800 . doi : 10.1016/j.commatsci.2020.109687 . ISSN 0893-6080 .

[3] Бэтчелор, ГК (2000). Введение в гидродинамику (2-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 978-0-521-66396-0 .

[4] Хорник, Курт; Тинчкомб, Максвелл; Уайт, Халберт (1 января 1989 г.). «Многослойные сети прямого распространения являются универсальными аппроксиматорами» . Нейронные сети . 2 (5): 359–366. дои : 10.1016/0893-6080(89)90020-8 . ISSN 0893-6080 . S2CID 2757547 .

[:1-5] Jump up to: ^а ^б Арзани, Амирхоссейн; Доусон, Скотт ТМ (2021). «Моделирование сердечно-сосудистых потоков на основе данных: примеры и возможности» . Журнал интерфейса Королевского общества . 18 (175): 20200802.arXiv : 2010.00131 . дои : 10.1098/rsif.2020.0802 . ПМЦ 8086862 . ПМИД 33561376 .

[6] Арзани, Амирхоссейн; Ван, Цзянь-Сюнь; Д'Суза, Рошан М. (07.06.2021). «Обнаружение пристеночного кровотока на основе скудных данных с помощью нейронных сетей, основанных на физике». Физика жидкостей . 33 (7): 071905. arXiv : 2104.08249 . Бибкод : 2021ФФл...33г1905А . дои : 10.1063/5.0055600 . S2CID 233289904 .

[sciencedirect.com-7] Jump up to: ^а ^б Раисси, Мазиар; Пердикарис, Париж; Карниадакис, Джордж Эм (01 февраля 2019 г.). «Нейронные сети, основанные на физике: система глубокого обучения для решения прямых и обратных задач, включающих нелинейные уравнения в частных производных» . Журнал вычислительной физики . 378 : 686–707. Бибкод : 2019JCoPh.378..686R . дои : 10.1016/j.jcp.2018.10.045 . ISSN 0021-9991 . ОСТИ 1595805 . S2CID 57379996 .

[8] Маркидис, Стефано (11 марта 2021 г.). «Глубокое обучение на основе физики для научных вычислений». arXiv : 2103.09655 [ math.NA ].

[9] Байдин, Атилим Гюнес; Перлмуттер, Барак А.; Радуль Алексей Андреевич; Сискинд, Джеффри Марк (5 февраля 2018 г.). «Автоматическая дифференциация в машинном обучении: опрос». arXiv : 1502.05767 [ cs.SC ].

[10] Раисси, Мазиар; Яздани, Алиреза; Карниадакис, Джордж Эм (13 августа 2018 г.). «Механика скрытой жидкости: основа глубокого обучения на основе информации Навье-Стокса для ассимиляции данных визуализации потока». arXiv : 1808.04327 [ cs.CE ].

[11] Думеш, Натан; Био, Жерар; Бойер, Клэр (2 мая 2023 г.). «Сходимость и анализ ошибок PINN». arXiv : 2305.01240 [ math.ST ].

[12] Фу, Цзиньлун; Сяо, Дуньхуэй; Фу, Руи; Ли, Чэньфэн; Чжу, Чуаньхуа; Аркуччи, Росселла; Навон, Ионел М. (февраль 2023 г.). «Комбинированное машинное обучение физики и данных для параметрического моделирования нелинейных динамических систем пониженного порядка в режимах малых данных». Компьютерные методы в прикладной механике и технике . 404 : 115771. Бибкод : 2023CMAME.404k5771F . дои : 10.1016/j.cma.2022.115771 . S2CID 254397985 .

[:4-13] Jump up to: ^а ^б Раисси, Мазиар; Яздани, Алиреза; Карниадакис, Джордж Эм (28 февраля 2020 г.). «Скрытая механика жидкости: изучение полей скорости и давления на основе визуализации потока» . Наука . 367 (6481): 1026–1030. Бибкод : 2020Sci...367.1026R . дои : 10.1126/science.aaw4741 . ISSN 0036-8075 . ПМК 7219083 . ПМИД 32001523 .

[14] Мишра, Сиддхартха; Молинаро, Роберто (01 апреля 2021 г.). «Оценки ошибки обобщения нейронных сетей, основанных на физике (PINN), для аппроксимации класса обратных задач для PDE». arXiv : 2007.01138 [ math.NA ].

[ErrorBounds-15] Jump up to: ^а ^б Рик, Тим Де; Джагтап, Амея Д.; Мишра, Сиддхартха (2022). «Оценки ошибок для нейронных сетей, основанных на физике, аппроксимирующих уравнения Навье – Стокса». arXiv : 2203.09346 [ мат.NA ].

[:3-16] Jump up to: ^а ^б Двиведи, Викас; Парашар, Нишант; Шринивасан, Баладжи (08 января 2021 г.). «Машины распределенного обучения для решения прямых и обратных задач в уравнениях в частных производных» . Нейрокомпьютинг . 420 : 299–316. arXiv : 1907.08967 . doi : 10.1016/j.neucom.2020.09.006 . ISSN 0925-2312 . S2CID 225014697 .

[:2-17] Jump up to: ^а ^б ^с ^д ^и ^ж [1] Рут, Сиддхарт (2019). «Численная аппроксимация задач CFD с использованием машинного обучения на основе физики». arXiv : 2111.02987 [ cs.LG ].

[18] Джагтап, Амея Д.; Карниадакис, Джордж Эм (2020). «Расширенные нейронные сети с учетом физики (xpinns): обобщенная структура глубокого обучения на основе декомпозиции пространственно-временной области для нелинейных уравнений в частных производных». Коммуникации в вычислительной физике . 28 (5): 2002–2041. Бибкод : 2020CCoPh..28.2002K . doi : 10.4208/cicp.OA-2020-0164 . ОСТИ 2282003 . S2CID 229083388 .

[19] Джагтап, Амея Д.; Харазми, Эхсан; Карниадакис, Джордж Эм (2020). «Консервативные нейронные сети, основанные на физике, в дискретных областях для законов сохранения: приложения для решения прямых и обратных задач» . Компьютерные методы в прикладной механике и технике . 365 : 113028. Бибкод : 2020CMAME.365k3028J . дои : 10.1016/j.cma.2020.113028 . S2CID 216333271 .

[20] Лик, Карл; Мортари, Даниэле (12 марта 2020 г.). «Глубокая теория функциональных связей: новый метод оценки решений уравнений в частных производных» . Машинное обучение и извлечение знаний . 2 (1): 37–55. дои : 10.3390/make2010004 . ПМЦ 7259480 . ПМИД 32478283 .

[21] Скьяси, Энрико; Фурфаро, Роберто; Лик, Карл; Де Флорио, Марио; Джонстон, Хантер; Мортари, Даниэле (октябрь 2021 г.). «Экстремальная теория функциональных связей: быстрый метод нейронных сетей с учетом физики для решения обыкновенных уравнений и уравнений в частных производных» . Нейрокомпьютинг . 457 : 334–356. doi : 10.1016/j.neucom.2021.06.015 . S2CID 236290147 .

[22] Скьяси, Энрико; Де Флорио, Марио; Ганапол, Барри Д.; Пикка, Паоло; Фурфаро, Роберто (март 2022 г.). «Физические нейронные сети для уравнений точечной кинетики динамики ядерного реактора». Летопись атомной энергетики . 167 : 108833. Бибкод : 2022AnNuE.16708833S . doi : 10.1016/j.anucene.2021.108833 . S2CID 244913655 .

[23] Скьяси, Энрико; Д'Амброзио, Андреа; Дрозд, Кристофер; Курти, Фабио; Фурфаро, Роберто (4 января 2022 г.). «Нейронные сети, основанные на физике, для оптимального перемещения по плоской орбите». Журнал космических кораблей и ракет . 59 (3): 834–849. Бибкод : 2022JSpRo..59..834S . дои : 10.2514/1.A35138 . S2CID 245725265 .

[24] Де Флорио, Марио; Скьяси, Энрико; Ганапол, Барри Д.; Фурфаро, Роберто (апрель 2021 г.). «Нейронные сети на основе физики для динамики разреженного газа: тепловое ползущее течение в приближении Бхатнагара – Гросса – Крука». Физика жидкостей . 33 (4): 047110. Бибкод : 2021ФФл...33д7110Д . дои : 10.1063/5.0046181 . S2CID 234852360 .

[:PIPN-25] Jump up to: ^а ^б Кашефи, Али; Мукерджи, Тапан (2022). «PointNet с учетом физики: решатель глубокого обучения для стационарных несжимаемых течений и тепловых полей в нескольких наборах нерегулярной геометрии». Журнал вычислительной физики . 468 : 111510. arXiv : 2202.05476 . Бибкод : 2022JCoPh.46811510K . дои : 10.1016/j.jcp.2022.111510 . S2CID 246823515 .

[26] Ци, Чарльз; Су, Хао; Мо, Кайчун; Гибас, Леонидас (2017). «Pointnet: глубокое изучение наборов точек для 3D-классификации и сегментации» (PDF) . Материалы конференции IEEE по компьютерному зрению и распознаванию образов : 652–660. arXiv : 1612.00593 .

[:PIPNelasticity-27] Кашефи, Али; Мукерджи, Тапан (2023). «PointNet с учетом физики: на скольких неправильных геометриях он может одновременно решить обратную задачу? Приложение к линейной упругости». arXiv : 2303.13634 [ cs.LG ].

[28] Танасутивес, Понгписит; Морита, Такаши; Нумао, Масаюки; Фукуи, Кен-ичи (01 февраля 2023 г.). «Машинное обучение с учетом шума и физики для надежного открытия PDE» . Машинное обучение: наука и технологии . 4 (1): 015009. doi : 10.1088/2632-2153/acb1f0 . ISSN 2632-2153 .

[29] «Издательская группа «Оптика» . opg.optica.org . Проверено 18 марта 2024 г.

[30] Чжан, Энжуй; Дао, Мин; Карниадакис, Джордж Эм; Суреш, Субра (18 февраля 2022 г.). «Анализ внутренних структур и дефектов материалов с использованием нейронных сетей, основанных на физике» . Достижения науки . 8 (7): eabk0644. Бибкод : 2022SciA....8..644Z . дои : 10.1126/sciadv.abk0644 . ISSN 2375-2548 . ПМЦ 8849303 . ПМИД 35171670 .

[31] Серебренникова Александра; Тойблер, Раймунд; Хоффельнер, Лиза; Лейтнер, Эрих; Хирн, Ульрих; Зойер, Карин (01 декабря 2022 г.). «Перенос органических летучих веществ через бумагу: нейронные сети с учетом физики для решения обратных и прямых задач» . Транспорт в пористых средах . 145 (3): 589–612. Бибкод : 2022TPMed.145..589S . дои : 10.1007/s11242-022-01864-7 . ISSN 1573-1634 .

[32] Аббаси, Джассем; Андерсен, Пол Остебё (1 января 2024 г.). «Применение нейронных сетей, основанных на физике, для оценки функций насыщения на основе тестов противоточного спонтанного впитывания» . Журнал SPE . 29 (4): 1710–1729. дои : 10.2118/218402-PA . ISSN 1086-055X .

[33] Джагтап, Амея Д.; Мао, Чжипин; Адамс, Николаус; Карниадакис, Джордж Эм (октябрь 2022 г.). «Физико-информированные нейронные сети для обратных задач в сверхзвуковых потоках» . Журнал вычислительной физики . 466 : 111402. arXiv : 2202.11821 . Бибкод : 2022JCoPh.46611402J . дои : 10.1016/j.jcp.2022.111402 . ISSN 0021-9991 .

[34] Ян, Лю; Мэн, Сюйхуэй; Карниадакис, Джордж Эм (январь 2021 г.). «B-PINN: нейронные сети с учетом байесовской физики для прямых и обратных задач PDE с зашумленными данными» . Журнал вычислительной физики . 425 : 109913. arXiv : 2003.06097 . Бибкод : 2021JCoPh.42509913Y . дои : 10.1016/j.jcp.2020.109913 . ISSN 0021-9991 .

[Han2018-35] Хан, Дж.; Дженцен, А.; Э, В. (2018). «Решение многомерных уравнений в частных производных с использованием глубокого обучения». Труды Национальной академии наук . 115 (34): 8505–8510.

[36] Моджгани, Рамбод; Балаевич, Мацей; Хасанзаде, Педрам (февраль 2023 г.). «Колмогоровская n-ширина и лагранжева нейронная сеть, основанная на физике: многообразие, соответствующее причинности, для PDE с преобладанием конвекции». Компьютерные методы в прикладной механике и технике . 404 : 115810. arXiv : 2205.02902 . дои : 10.1016/j.cma.2022.115810 .

[37] Эрик Эйслан Антонело; Кампоногара, Эдуардо; Лайус Ориэл Семан; Эдуардо Ребейн де Соуза; Жордану, Жан П.; Хабнер, Джоми Ф. (2024). «Физико-информированные нейронные сети для управления динамическими системами». Нейрокомпьютинг . 579 . arXiv : 2104.02556 . дои : 10.1016/j.neucom.2024.127419 .

[38] Ван, Сифан; Тенг, Юджун; Пердикарис, Париж (13 января 2020 г.). «Понимание и смягчение градиентных патологий в нейронных сетях, основанных на физике». arXiv : 2001.04536 [ cs.LG ].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]