Модель интервального прогнозирования

В регрессионном анализе модель интервального прогнозирования ( IPM ) представляет собой подход к регрессии, при котором получаются границы аппроксимируемой функции.Это отличается от других методов машинного обучения , где обычно требуется оценить значения точек или все распределение вероятностей.Интервальные модели прогнозирования иногда называют методом непараметрической регрессии , поскольку IPM содержит потенциально бесконечный набор функций, и для регрессированных переменных не предполагается никакого конкретного распределения.

Недавно были разработаны IPM с несколькими входами и несколькими выходами для многоточечных данных, обычно используемых для представления функций. ^[1] Эти IPM предписывают параметры модели как связанный по путям полуалгебраический набор с использованием срезов нормалей. ^[2] или срезно-экспоненциальные распределения. ^[3] Ключевым преимуществом этого подхода является его способность характеризовать сложные зависимости параметров с различными уровнями точности. Эта практика позволяет аналитику регулировать желаемый уровень консерватизма в прогнозе.

Как следствие теории оптимизации сценариев , во многих случаях можно сделать точные прогнозы относительно производительности модели во время тестирования. ^[4] Следовательно, модель интервального прогнозирования можно рассматривать как гарантированную границу квантильной регрессии .Модели интервальных предикторов также можно рассматривать как способ предписать поддержку которых является гауссовский процесс моделей случайных предикторов, частным случаем .. ^[5]

Модели прогнозирования выпуклых интервалов

Обычно модель интервального предиктора создается путем указания параметрической функции, которая обычно выбирается как произведение вектора параметров и базиса.Обычно базис состоит из полиномиальных признаков или иногда используется радиальный базис.Затем вектору параметров присваивается выпуклый набор, и размер выпуклого набора минимизируется так, что каждую возможную точку данных можно предсказать по одному возможному значению параметров.Кампи (2009) использовал наборы эллипсоидальных параметров, что позволило получить программу выпуклой оптимизации для обучения IPM. ^[4]Креспо (2016) предложил использовать гиперпрямоугольный набор параметров, что приводит к удобной линейной форме границ IPM. ^[6]Следовательно, IPM можно обучить с помощью программы линейной оптимизации:

\operatorname {arg\,min} _{p}\left\{\mathbb {E} _{x}({\bar {y}}_{p}(x)-{\underline {y}}_{p}(x)):{\bar {y}}_{p}(x^{(i)})>y^{(i)}>{\underline {y}}_{p}(x^{(i)}),i=1,\ldots ,N\right\}

где приведены примеры обучающих данных $y^{(i)}$ и $x^{(i)}$ и границы модели интервального предиктора ${\underline {y}}_{p}(x)$ и ${\overline {y}}_{p}(x)$ параметризуются вектором параметров $p$ .Надежность такого IPM достигается, если отметить, что для выпуклого IPM количество опорных ограничений меньше размерности обучаемых параметров , и, следовательно, можно применить сценарный подход.

Ласерда (2017) продемонстрировал, что этот подход можно распространить на ситуации, когда обучающие данные оцениваются интервально, а не точечно. ^[7]

Модели прогнозирования невыпуклых интервалов

В Кампи (2015) была предложена невыпуклая теория оптимизации сценариев. ^[8]Это включает в себя измерение количества ограничений поддержки, $S$ , для модели интервального предиктора после обучения и, следовательно, для прогнозирования надежности модели.Это позволяет создавать невыпуклые IPM, например однослойную нейронную сеть.Кампи (2015) демонстрирует, что алгоритм, в котором решается только программа оптимизации сценария $S$ время, которое может определить надежность модели во время тестирования без предварительной оценки на проверочном наборе. ^[8]Это достигается решением программы оптимизации

\operatorname {arg\,min} _{p}\left\{h:|{\hat {y}}_{p}(x^{(i)})-y^{(i)}|<h,i=1,\ldots ,N\right\},

где центральная линия интервальной модели предиктора ${\hat {y}}_{p}(x)=({\overline {y}}_{p}(x)+{\underline {y}}_{p}(x))\times 1/2$ и ширина модели $h=({\overline {y}}_{p}(x)-{\underline {y}}_{p}(x))\times 1/2$ . В результате получается IPM, который делает прогнозы с гомоскедастической неопределенностью.

Садеги (2019) демонстрирует, что подход невыпуклого сценария Кампи (2015) можно расширить для обучения более глубоких нейронных сетей, которые прогнозируют интервалы с гетероскедастической неопределенностью на наборах данных с неточностью. ^[9]Это достигается путем предложения обобщений функции потерь с максимальной ошибкой, определяемой формулой

{\mathcal {L}}_{\text{max-error}}=\max _{i}|y^{(i)}-{\hat {y}}_{p}(x^{(i)})|,

что эквивалентно решению программы оптимизации, предложенной Кампи (2015).

Приложения

Первоначально оптимизация сценариев применялась к задачам устойчивого управления. ^[10]

Креспо (2015) и (2021) применили модели интервального прогнозирования для проектирования защиты от космического излучения. ^[11] и для идентификации системы. ^[12]

В работах Пателли (2017), Фаеса (2019) и Креспо (2018) модели Interval Predictor применялись к задаче анализа надежности конструкций . ^[13]^[5]^[14]Брандт (2017) применяет модели интервального прогнозирования для оценки усталостных повреждений опорных конструкций кожухов морских ветряных турбин. ^[15]

Гаратти (2019) доказал, что слои Чебышева (т. е. минимаксные слои вокруг функций, аппроксимируемые линейными $\ell _{\infty }$ -регрессия) принадлежат к определенному классу интервальных моделей-предсказателей, для которых надежность инвариантна относительно распределения данных. ^[16]

Реализации программного обеспечения

OpenCOSSAN предоставляет реализацию в Matlab работы Crespo (2015). ^[13]

Ссылки

^ Креспо, Луис Г.; Кенни, Шон П.; Кольбер, Брендон К.; Слагель, Таннер (2021). «Модели интервального прогнозирования для надежной идентификации систем». 2021 60-я конференция IEEE по принятию решений и управлению (CDC) . стр. 872–879. дои : 10.1109/CDC45484.2021.9683582 . ISBN 978-1-6654-3659-5 . S2CID 246479771 .
^ Креспо, Луис; Кольбер, Брендон; Кенни, Шон; Гизи, Дэниел (2019). «О количественной оценке алеаторной и эпистемической неопределенности с использованием срезно-нормального распределения» . Системы и контрольные письма . 34 : 104560. doi : 10.1016/j.sysconle.2019.104560 . S2CID 209339118 .
^ Креспо, Луис Г.; Кольбер, Брендон К.; Слэгер, Таннер; Кенни, Шон П. (2021). «Надежная оценка срезно-экспоненциальных распределений» ^⋆". 60-я конференция IEEE по принятию решений и управлению (CDC), 2021 г. , стр. 6742–6748. doi : 10.1109/CDC45484.2021.9683584 . ISBN 978-1-6654-3659-5 . S2CID 246476974 .
^ Jump up to: ^а ^б Кампи, MC; Калафиоре, Г.; Гаратти, С. (2009). «Интервальные модели прогнозирования: идентификация и надежность». Автоматика . 45 (2): 382–392. дои : 10.1016/j.automatica.2008.09.004 . ISSN 0005-1098 .
^ Jump up to: ^а ^б Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П. (2018). «Лестничные прогностические модели для анализа надежности и рисков». Структурная безопасность . 75 : 35–44. doi : 10.1016/j.strusafe.2018.05.002 . ISSN 0167-4730 . S2CID 126167977 .
^ Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П. (2016). «Интервальные предсказательные модели с линейной зависимостью параметров». Журнал проверки, валидации и количественной оценки неопределенности . 1 (2): 021007. дои : 10.1115/1.4032070 . ISSN 2377-2158 .
^ Ласерда, Марсио Х.; Креспо, Луис Г. (2017). «Интервальные модели прогнозирования для данных с неопределенностью измерения». Американская конференция по контролю (ACC) 2017 г. стр. 1487–1492. дои : 10.23919/ACC.2017.7963163 . hdl : 2060/20170005690 . ISBN 978-1-5090-5992-8 . S2CID 3713493 .
^ Jump up to: ^а ^б Кампи, Марко К.; Гаратти, Симона; Рампони, Федерико А. (2015). «Оптимизация невыпуклого сценария с применением к идентификации системы». 2015 54-я конференция IEEE по принятию решений и управлению (CDC) . стр. 4023–4028. дои : 10.1109/CDC.2015.7402845 . ISBN 978-1-4799-7886-1 . S2CID 127406 .
^ Садеги, Джонатан К.; Де Анджелис, Марко; Пателли, Эдоардо (2019). «Эффективное обучение интервальных нейронных сетей неточным обучающим данным» . Нейронные сети . 118 : 338–351. дои : 10.1016/j.neunet.2019.07.005 . ПМИД 31369950 . S2CID 199383010 .
^ Кампи, Марко К.; Гаратти, Симона; Прандини, Мария (2009). «Сценарный подход к проектированию систем и средств управления». Ежегодные обзоры под контролем . 33 (2): 149–157. doi : 10.1016/j.arcontrol.2009.07.001 . ISSN 1367-5788 .
^ Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П.; Норман, Райан Б.; Блаттниг, Стив (2016). «Применение моделей интервального прогнозирования для защиты от космического излучения». 18-я конференция AIAA по недетерминированным подходам . дои : 10.2514/6.2016-0431 . hdl : 2060/20160007750 . ISBN 978-1-62410-397-1 . S2CID 124192684 .
^ Креспо, Луис Г.; Кенни, Шон П.; Кольбер, Брендон К.; Слагель, Таннер (2021). «Модели интервального прогнозирования для надежной идентификации систем». 2021 60-я конференция IEEE по принятию решений и управлению (CDC) . стр. 872–879. дои : 10.1109/CDC45484.2021.9683582 . ISBN 978-1-6654-3659-5 . S2CID 246479771 .
^ Jump up to: ^а ^б Пателли, Эдоардо; Брогги, Маттео; Толо, Сильвия; Садеги, Джонатан (2017). «Программное обеспечение Cossan: междисциплинарное программное обеспечение для совместной работы для количественной оценки неопределенности». Материалы 2-й Международной конференции по количественной оценке неопределенности в вычислительных науках и технике (UNCECOMP, 2017) . стр. 212–224. дои : 10.7712/120217.5364.16982 . ISBN 978-618-82844-4-9 .
^ Фаес, Матиас; Садеги, Джонатан; Брогги, Маттео; Де Анджелис, Марко; Пателли, Эдоардо; Пиво, Майкл; Моенс, Дэвид (2019). «Об робастной оценке малых вероятностей отказа для сильных нелинейных моделей» . Журнал ASCE-ASME о рисках и неопределенности в инженерных системах, Часть B: Машиностроение . 5 (4). дои : 10.1115/1.4044044 . ISSN 2332-9017 . S2CID 197472507 .
^ Брандт, Себастьян; Брогги, Маттео; Хафеле, Ян; Гильермо Гебхардт, Кристиан; Рольфес, Раймунд; Бир, Майкл (2017). «Метамодели для оценки усталостных повреждений опорных конструкций кожухов морских ветряных турбин» . Процедия Инжиниринг . 199 : 1158–1163. дои : 10.1016/j.proeng.2017.09.292 . ISSN 1877-7058 .
^ Гаратти, С.; Кампи, MC; Каре, А. (2019). «О классе интервальных моделей-предсказателей с универсальной надежностью». Автоматика . 110 : 108542. doi : 10.1016/j.automatica.2019.108542 . hdl : 11311/1121161 . ISSN 0005-1098 . S2CID 204188183 .

[1] Креспо, Луис Г.; Кенни, Шон П.; Кольбер, Брендон К.; Слагель, Таннер (2021). «Модели интервального прогнозирования для надежной идентификации систем». 2021 60-я конференция IEEE по принятию решений и управлению (CDC) . стр. 872–879. дои : 10.1109/CDC45484.2021.9683582 . ISBN 978-1-6654-3659-5 . S2CID 246479771 .

[2] Креспо, Луис; Кольбер, Брендон; Кенни, Шон; Гизи, Дэниел (2019). «О количественной оценке алеаторной и эпистемической неопределенности с использованием срезно-нормального распределения» . Системы и контрольные письма . 34 : 104560. doi : 10.1016/j.sysconle.2019.104560 . S2CID 209339118 .

[3] Креспо, Луис Г.; Кольбер, Брендон К.; Слэгер, Таннер; Кенни, Шон П. (2021). «Надежная оценка срезно-экспоненциальных распределений» ^⋆". 60-я конференция IEEE по принятию решений и управлению (CDC), 2021 г. , стр. 6742–6748. doi : 10.1109/CDC45484.2021.9683584 . ISBN 978-1-6654-3659-5 . S2CID 246476974 .

[CampiCalafiore2009-4] Jump up to: ^а ^б Кампи, MC; Калафиоре, Г.; Гаратти, С. (2009). «Интервальные модели прогнозирования: идентификация и надежность». Автоматика . 45 (2): 382–392. дои : 10.1016/j.automatica.2008.09.004 . ISSN 0005-1098 .

[CrespoKenny2018-5] Jump up to: ^а ^б Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П. (2018). «Лестничные прогностические модели для анализа надежности и рисков». Структурная безопасность . 75 : 35–44. doi : 10.1016/j.strusafe.2018.05.002 . ISSN 0167-4730 . S2CID 126167977 .

[CrespoKenny2016-6] Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П. (2016). «Интервальные предсказательные модели с линейной зависимостью параметров». Журнал проверки, валидации и количественной оценки неопределенности . 1 (2): 021007. дои : 10.1115/1.4032070 . ISSN 2377-2158 .

[LacerdaCrespo2017-7] Ласерда, Марсио Х.; Креспо, Луис Г. (2017). «Интервальные модели прогнозирования для данных с неопределенностью измерения». Американская конференция по контролю (ACC) 2017 г. стр. 1487–1492. дои : 10.23919/ACC.2017.7963163 . hdl : 2060/20170005690 . ISBN 978-1-5090-5992-8 . S2CID 3713493 .

[CampiGaratti2015-8] Jump up to: ^а ^б Кампи, Марко К.; Гаратти, Симона; Рампони, Федерико А. (2015). «Оптимизация невыпуклого сценария с применением к идентификации системы». 2015 54-я конференция IEEE по принятию решений и управлению (CDC) . стр. 4023–4028. дои : 10.1109/CDC.2015.7402845 . ISBN 978-1-4799-7886-1 . S2CID 127406 .

[Sadeghi2019-9] Садеги, Джонатан К.; Де Анджелис, Марко; Пателли, Эдоардо (2019). «Эффективное обучение интервальных нейронных сетей неточным обучающим данным» . Нейронные сети . 118 : 338–351. дои : 10.1016/j.neunet.2019.07.005 . ПМИД 31369950 . S2CID 199383010 .

[CampiGaratti2009-10] Кампи, Марко К.; Гаратти, Симона; Прандини, Мария (2009). «Сценарный подход к проектированию систем и средств управления». Ежегодные обзоры под контролем . 33 (2): 149–157. doi : 10.1016/j.arcontrol.2009.07.001 . ISSN 1367-5788 .

[CrespoKenny2016a-11] Креспо, Луис Г.; Кенни, Шон П.; Гизи, Дэниел П.; Норман, Райан Б.; Блаттниг, Стив (2016). «Применение моделей интервального прогнозирования для защиты от космического излучения». 18-я конференция AIAA по недетерминированным подходам . дои : 10.2514/6.2016-0431 . hdl : 2060/20160007750 . ISBN 978-1-62410-397-1 . S2CID 124192684 .

[12] Креспо, Луис Г.; Кенни, Шон П.; Кольбер, Брендон К.; Слагель, Таннер (2021). «Модели интервального прогнозирования для надежной идентификации систем». 2021 60-я конференция IEEE по принятию решений и управлению (CDC) . стр. 872–879. дои : 10.1109/CDC45484.2021.9683582 . ISBN 978-1-6654-3659-5 . S2CID 246479771 .

[PatelliBroggi2017-13] Jump up to: ^а ^б Пателли, Эдоардо; Брогги, Маттео; Толо, Сильвия; Садеги, Джонатан (2017). «Программное обеспечение Cossan: междисциплинарное программное обеспечение для совместной работы для количественной оценки неопределенности». Материалы 2-й Международной конференции по количественной оценке неопределенности в вычислительных науках и технике (UNCECOMP, 2017) . стр. 212–224. дои : 10.7712/120217.5364.16982 . ISBN 978-618-82844-4-9 .

[FaesSadeghi2019-14] Фаес, Матиас; Садеги, Джонатан; Брогги, Маттео; Де Анджелис, Марко; Пателли, Эдоардо; Пиво, Майкл; Моенс, Дэвид (2019). «Об робастной оценке малых вероятностей отказа для сильных нелинейных моделей» . Журнал ASCE-ASME о рисках и неопределенности в инженерных системах, Часть B: Машиностроение . 5 (4). дои : 10.1115/1.4044044 . ISSN 2332-9017 . S2CID 197472507 .

[BrandtBroggi2017-15] Брандт, Себастьян; Брогги, Маттео; Хафеле, Ян; Гильермо Гебхардт, Кристиан; Рольфес, Раймунд; Бир, Майкл (2017). «Метамодели для оценки усталостных повреждений опорных конструкций кожухов морских ветряных турбин» . Процедия Инжиниринг . 199 : 1158–1163. дои : 10.1016/j.proeng.2017.09.292 . ISSN 1877-7058 .

[GarCamCar2019-16] Гаратти, С.; Кампи, MC; Каре, А. (2019). «О классе интервальных моделей-предсказателей с универсальной надежностью». Автоматика . 110 : 108542. doi : 10.1016/j.automatica.2019.108542 . hdl : 11311/1121161 . ISSN 0005-1098 . S2CID 204188183 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]