серия Вольтерра

— Ряд Вольтерра это модель нелинейного поведения, аналогичная ряду Тейлора . Он отличается от серии Тейлора способностью улавливать эффекты «памяти». Ряд Тейлора можно использовать для аппроксимации реакции нелинейной системы на заданный входной сигнал, если выходной сигнал системы строго зависит от входного сигнала в данный конкретный момент времени. В серии Вольтерра выходные данные нелинейной системы зависят от входных данных системы в любое другое время. Это обеспечивает возможность улавливать эффект «памяти» таких устройств, как конденсаторы и катушки индуктивности .

Он нашел применение в областях медицины ( биомедицинской инженерии ) и биологии, особенно нейробиологии . Он также используется в электротехнике для моделирования интермодуляционных искажений во многих устройствах, включая усилители мощности и смесители частоты . Его главное преимущество заключается в его обобщаемости: он может представлять широкий спектр систем. Таким образом, иногда ее считают непараметрической моделью.

В математике ряд Вольтерра обозначает функциональное разложение динамического, нелинейного , не зависящего от времени функционала . Серия Volterra часто используется для идентификации систем . Ряд Вольтерра, который используется для доказательства теоремы Вольтерра, представляет собой бесконечную сумму многомерных сверточных интегралов.

История

Ряд Вольтерра — это модернизированная версия теории аналитических функционалов итальянского математика Вито Вольтерра в его работе, датируемой 1887 годом. Норберт Винер заинтересовался этой теорией в 1920-х годах благодаря контакту с учеником Вольтерры Полем Леви . Винер применил свою теорию броуновского движения для интегрирования аналитических функционалов Вольтерра. Использование серии Вольтерра для системного анализа возникло из ограниченного отчета военного времени 1942 года. Винера, который тогда был профессором математики в Массачусетском технологическом институте . Он использовал эту серию для приблизительного анализа влияния радиолокационного шума в цепи нелинейного приемника. Отчет стал достоянием общественности после войны. В качестве общего метода анализа нелинейных систем серия Вольтерра стала использоваться примерно после 1957 года в результате серии отчетов, сначала распространявшихся в частном порядке из Массачусетского технологического института и других источников. Само название, серия Volterra , вошло в обиход несколько лет спустя.

Математическая теория

Теорию серии Вольтерра можно рассматривать с двух разных точек зрения:

• Операторное отображение ( между двумя функциональными пространствами действительными или комплексными)
• Действительное или комплексное функциональное отображение функционального пространства в действительные или комплексные числа.

Последняя перспектива функционального отображения используется чаще из-за предполагаемой инвариантности системы во времени.

Непрерывное время

Непрерывная нестационарная система с x ( t ) в качестве входных данных и y ( t ) в качестве выходных данных может быть расширена в ряд Вольтерра как

$y(t)=h_{0}+\sum _{n=1}^{N}\int _{a}^{b}\cdots \int _{a}^{b}h_{n}(\tau _{1},\dots ,\tau _{n})\prod _{j=1}^{n}x(t-\tau _{j})\,d\tau _{j}.$

Здесь постоянный член $h_{0}$ в правой части обычно принимается равным нулю при соответствующем выборе выходного уровня. $y$. Функция $h_{n}(\tau _{1},\dots ,\tau _{n})$ называется n -го порядка Вольтерра ядром . Его можно рассматривать как импульсную характеристику системы более высокого порядка. Чтобы представление было уникальным, ядра должны быть симметричны по n переменным. $\tau$. Если оно не симметрично, его можно заменить симметризованным ядром, которое является средним по n ! перестановки этих n переменных $\tau$.

Если N конечно, ряд называется усеченным . Если a , b и N конечны, ряд называется дважды конечным .

Иногда член n -го порядка делится на n !, это соглашение удобно, когда выход одной системы Вольтерра принимается за вход другой («каскадирование»).

Условие причинности : поскольку в любой физически реализуемой системе выходной сигнал может зависеть только от предыдущих значений входных данных, ядра $h_{n}(t_{1},t_{2},\ldots ,t_{n})$ будет равна нулю, если какая-либо из переменных $t_{1},t_{2},\ldots ,t_{n}$ являются отрицательными. Затем интегралы можно записать в полудиапазоне от нуля до бесконечности.Итак, если оператор причинный, $a\geq 0$.

Аппроксимационная теорема Фреше : Использование ряда Вольтерра для представления неизменного во времени функционального отношения часто оправдывается обращением к теореме Фреше . Эта теорема утверждает, что стационарное функциональное соотношение (удовлетворяющее некоторым очень общим условиям) может быть аппроксимировано равномерно и с произвольной степенью точности достаточно высоким рядом Вольтерра конечного порядка. Среди прочих условий набор допустимых входных функций $x(t)$ для которого будет выполняться приближение, требуется, чтобы оно было компактным . Обычно под ним понимают эквинепрерывное , равномерно ограниченное множество функций, компактное по теореме Арсела–Асколи . Во многих физических ситуациях это предположение о входном множестве является разумным. Теорема, однако, не дает никаких указаний на то, сколько членов необходимо для хорошего приближения, что является важным вопросом в приложениях.

Дискретное время

Случай дискретного времени аналогичен случаю непрерывного времени, за исключением того, что интегралы заменяются суммами:

$$y(n)=h_{0}+\sum _{p=1}^{P}\sum _{\tau _{1}=a}^{b}\cdots \sum _{\tau _{p}=a}^{b}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}),$$где $P\in \{1,2,\dots \}\cup \{\infty \}.$Каждая функция $h_{p}$ называется ядром Вольтерра с дискретным временем .Если P конечно, оператор ряда называется усеченным . Если a , b и P конечны, то последовательный оператор называется двояко конечным рядом Вольтерра . Если $a\geq 0$оператор называется причинным .

Всегда можно без ограничения общности рассмотреть ядро $h_{p}(\tau _{1},\dots ,\tau _{p})$ как симметричный. Действительно, для коммутативности умножения всегда можно его симметризировать, образовав новое ядро, взятое как среднее ядер для всех перестановок переменных $\tau _{1},\dots ,\tau _{p}$.

Для причинной системы -й член можно переписать с симметричными ядрами n приблизительно в треугольном виде

$\sum _{\tau _{1}=0}^{M}\sum _{\tau _{2}=\tau _{1}}^{M}\cdots \sum _{\tau _{p}=\tau _{p-1}}^{M}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}).$

Методы оценки коэффициентов ядра

Оценка коэффициентов Вольтерра по отдельности затруднена, поскольку базисные функционалы ряда Вольтерра коррелированы. Это приводит к проблеме одновременного решения системы интегральных уравнений для коэффициентов. Следовательно, оценка коэффициентов Вольтерра обычно выполняется путем оценки коэффициентов ортогонального ряда, например ряда Винера , а затем пересчета коэффициентов исходного ряда Вольтерра. Основная привлекательность ряда Вольтерра по сравнению с ортогонализированными рядами заключается в его интуитивной канонической структуре, то есть все взаимодействия входных данных имеют одну фиксированную степень. Ортогональные базисные функционалы обычно будут довольно сложными.

Важным аспектом, по которому различаются следующие методы, является то, должна ли ортогонализация базисных функционалов выполняться по идеализированной спецификации входного сигнала (например, гауссову, белому шуму ) или по фактической реализации входного сигнала (т. е. псевдослучайная, ограниченная, почти белая версия гауссовского белого шума или любого другого стимула). Последние методы, несмотря на отсутствие математической элегантности, оказались более гибкими (поскольку можно легко использовать произвольные входные данные) и точными (из-за того, что идеализированная версия входного сигнала не всегда реализуема).

Метод кросскорреляции

Этот метод, разработанный Ли и Шетценом, ортогонализируется по отношению к реальному математическому описанию сигнала, т.е. проекция на новые базисные функционалы основана на знании моментов случайного сигнала.

Мы можем записать ряд Вольтерра в терминах однородных операторов, как

$y(n)=h_{0}+\sum _{p=1}^{P}H_{p}x(n),$

где

$H_{p}x(n)=\sum _{\tau _{1}=a}^{b}\cdots \sum _{\tau _{p}=a}^{b}h_{p}(\tau _{1},\dots ,\tau _{p})\prod _{j=1}^{p}x(n-\tau _{j}).$

Чтобы обеспечить ортогонализацию идентификации, ряды Вольтерра необходимо переставить в терминах ортогональных неоднородных G- операторов ( ряд Винера ):

$y(n)=\sum _{p}H_{p}x(n)\equiv \sum _{p}G_{p}x(n).$

Операторы G могут быть определены следующим образом:

$E\{H_{i}x(n)G_{j}x(n)\}=0;\quad i<j,$

$E\{G_{i}x(n)G_{j}x(n)\}=0;\quad i\neq j,$

в любое время $H_{i}x(n)$ — произвольный однородный Вольтерра, x ( n некоторый стационарный белый шум (SWN) с нулевым средним и дисперсией A. ) —

Вспоминая, что каждый функционал Вольтерра ортогонален всем функционалам Винера большего порядка, и рассматривая следующий функционал Вольтерра:

$H_{\overline {p}}^{*}x(n)=\prod _{j=1}^{\overline {p}}x(n-\tau _{j}),$

мы можем написать

$E\left\{y(n)H_{\overline {p}}^{*}x(n)\right\}=E\left\{\sum _{p=0}^{\infty }G_{p}x(n)H_{\overline {p}}^{*}x(n)\right\}.$

Если x — SWN, $\tau _{1}\neq \tau _{2}\neq \ldots \neq \tau _{P}$ и позволяя $A=\sigma _{x}^{2}$, у нас есть

$E\left\{y(n)\prod _{j=1}^{\overline {p}}x(n-\tau _{j})\right\}=E\left\{G_{\overline {p}}x(n)\prod _{j=1}^{\overline {p}}x(n-\tau _{j})\right\}={\overline {p}}!A^{\overline {p}}k_{\overline {p}}(\tau _{1},\dots ,\tau _{\overline {p}}).$

Итак, если мы исключим диагональные элементы, ${\tau _{i}\neq \tau _{j},\ \forall i,j}$, это

$k_{p}(\tau _{1},\dots ,\tau _{p})={\frac {E\left\{y(n)x(n-\tau _{1})\cdots x(n-\tau _{p})\right\}}{p!A^{p}}}.$

Если мы хотим рассмотреть диагональные элементы, решение, предложенное Ли и Шетценом, будет следующим:

$k_{p}(\tau _{1},\dots ,\tau _{p})={\frac {E\left\{\left(y(n)-\sum \limits _{m=0}^{p-1}G_{m}x(n)\right)x(n-\tau _{1})\cdots x(n-\tau _{p})\right\}}{p!A^{p}}}.$

Основным недостатком этого метода является то, что ошибки оценивания, сделанные для всех элементов ядер более низкого порядка, будут влиять на каждый диагональный элемент порядка p посредством суммирования $\sum \limits _{m=0}^{p-1}G_{m}x(n)$, задуманный как решение для оценки самих диагональных элементов. Существуют эффективные формулы, позволяющие избежать этого недостатка, и ссылки для оценки элементов диагонального ядра.

После того, как ядра Винера были идентифицированы, ядра Вольтерра можно получить с помощью формул Винера-Вольтерра, которые приведены ниже для ряда Вольтерра пятого порядка:

$h_{5}=k_{5},$

$h_{4}=k_{4},$

$h_{3}=k_{3}-10A\sum _{\tau _{4}}k_{5}(\tau _{1},\tau _{2},\tau _{3},\tau _{4},\tau _{4}),$

$h_{2}=k_{2}-6A\sum _{\tau _{3}}k_{4}(\tau _{1},\tau _{2},\tau _{3},\tau _{3}),$

$h_{1}=k_{1}-3A\sum _{\tau _{2}}k_{3}(\tau _{1},\tau _{2},\tau _{2})+15A^{2}\sum _{\tau 2}\sum _{\tau _{3}}k_{5}(\tau _{1},\tau _{2},\tau _{2},\tau _{3},\tau _{3}),$

$h_{0}=k_{0}-A\sum _{\tau _{1}}k_{2}(\tau _{1},\tau _{1})+3A^{2}\sum _{\tau _{1}}\sum _{\tau _{2}}k_{4}(\tau _{1},\tau _{1},\tau _{2},\tau _{2}).$

Многовариантный метод

В традиционном ортогональном алгоритме, используя входные данные с высоким $\sigma _{x}$ имеет то преимущество, что стимулирует нелинейность высокого порядка, чтобы обеспечить более точную идентификацию ядра высокого порядка.Недостатком является использование высоких $\sigma _{x}$ значения вызывают высокую ошибку идентификации в ядрах более низкого порядка, в основном из-за неидеальности ввода и ошибок усечения.

Напротив, использование более низких $\sigma _{x}$ в процессе идентификации может привести к лучшей оценке ядра низшего порядка, но может оказаться недостаточным для стимулирования нелинейности высокого порядка.

Это явление, которое можно назвать локальностью усеченного ряда Вольтерра, можно обнаружить, рассчитав ошибку вывода ряда как функцию различных дисперсий входных данных.Этот тест можно повторить с сериями, идентифицированными с различными входными дисперсиями, получая разные кривые, каждая из которых имеет минимум, соответствующий дисперсии, использованной при идентификации.

Чтобы преодолеть это ограничение, используется низкий $\sigma _{x}$ Значение следует использовать для ядра низшего порядка и постепенно увеличивать для ядер более высокого порядка.Это не теоретическая проблема идентификации ядра Винера, поскольку функционалы Винера ортогональны друг другу, но необходима соответствующая нормализация в формулах преобразования Винера в Вольтерра для учета использования различных дисперсий.Кроме того, необходимы новые формулы преобразования Винера в Вольтерру.

Традиционную идентификацию ядра Винера следует изменить следующим образом:

$k_{0}^{(0)}=E\{y^{(0)}(n)\},$

$k_{1}^{(1)}(\tau _{1})={\frac {1}{A_{1}}}E\left\{y^{(1)}(n)x^{(1)}(n-\tau _{1})\right\},$

$k_{2}^{(2)}(\tau _{1},\tau _{2})={\frac {1}{2!A_{2}^{2}}}\left\{E\left\{y^{(2)}(n)\prod _{i=1}^{2}x^{(2)}(n-\tau _{i})\right\}-A_{2}k_{0}^{(2)}\delta _{\tau _{1}\tau _{2}}\right\},$

$k_{3}^{(3)}(\tau _{1},\tau _{2},\tau _{3})={\frac {1}{3!A_{3}^{3}}}\left\{E\left\{y^{(3)}(n)\prod _{i=1}^{3}x^{(3)}(n-\tau _{i})\right\}-A_{3}^{2}\left[k_{1}^{(3)}(\tau _{1})\delta _{\tau _{2}\tau _{3}}+k_{1}^{(3)}(\tau _{2})\delta _{\tau _{1}\tau _{3}}+k_{1}^{(3)}(\tau _{3})\delta _{\tau _{1}\tau _{2}}\right]\right\}.$

В приведенных выше формулах введены импульсные функции для идентификации диагональных точек ядра.Если ядра Винера извлекаются с помощью новых формул, потребуются следующие формулы Винера-Вольтерра (выраженные до пятого порядка):

$h_{5}=k_{5}^{(5)},$

$h_{4}=k_{4}^{(4)},$

$h_{3}=k_{3}^{(3)}-10A_{3}\sum _{\tau _{4}}k_{5}^{(5)}(\tau _{1},\tau _{2},\tau _{3},\tau _{4},\tau _{4}),$

$h_{2}=k_{2}^{(2)}-6A_{2}\sum _{\tau _{3}}k_{4}^{(4)}(\tau _{1},\tau _{2},\tau _{3},\tau _{3}),$

$h_{1}=k_{1}^{(1)}-3A_{1}\sum _{\tau _{2}}k_{3}^{(3)}(\tau _{1},\tau _{2},\tau _{2})+15A_{1}^{2}\sum _{\tau 2}\sum _{\tau _{3}}k_{5}^{(5)}(\tau _{1},\tau _{2},\tau _{2},\tau _{3},\tau _{3}),$

$h_{0}=k_{0}^{(0)}-A_{0}\sum _{\tau _{1}}k_{2}^{(2)}(\tau _{1},\tau _{1})+3A_{0}^{2}\sum _{\tau _{1}}\sum _{\tau _{2}}k_{4}^{(4)}(\tau _{1},\tau _{1},\tau _{2},\tau _{2}).$

Как видно, недостаток по отношению к предыдущей формуле заключается в том, что для идентификации ядра n -го порядка все ядра более низкого порядка должны быть снова идентифицированы с более высокой дисперсией.Однако значительное улучшение выходного MSE будет получено, если ядра Винера и Вольтерра будут получены с помощью новых формул.

Сеть прямой связи

Этот метод был разработан Рэем и Грином (1994) и использует тот факт, что простая двухуровневая полносвязная нейронная сеть (т. е. многослойный персептрон ) вычислительно эквивалентна серии Вольтерра и, следовательно, содержит ядра, скрытые в ее архитектуре. После того, как такая сеть обучена успешно прогнозировать выходные данные на основе текущего состояния и памяти системы, ядра можно вычислить на основе весов и смещений этой сети.

Общие обозначения ядра Вольтерра n -го порядка имеют вид

$h_{n}(\tau _{1},\dots ,\tau _{n})=\sum _{i=1}^{M}(c_{i}a_{ni}\omega _{\tau _{1}i}\dots \omega _{\tau _{n}i}),$

где $n$ это порядок, $c_{i}$ веса для линейного выходного узла, $a_{ji}$ коэффициенты полиномиального разложения выходной функции скрытых узлов, и $\omega _{ji}$ — это веса от входного слоя до нелинейного скрытого слоя. Важно отметить, что этот метод позволяет извлекать ядро ​​вплоть до количества входных задержек в архитектуре сети. Более того, очень важно тщательно определить размер входного слоя сети, чтобы он представлял собой эффективную память системы.

Точный ортогональный алгоритм

Этот метод и его более эффективная версия (быстрый ортогональный алгоритм) были изобретены Коренбергом. В этом методе ортогонализация выполняется эмпирически над фактическими входными данными. Было показано, что он работает более точно, чем метод кросскорреляции. Еще одним преимуществом является то, что для ортогонализации можно использовать произвольные входные данные и что для достижения желаемого уровня точности достаточно меньшего количества точек данных. Кроме того, оценка может выполняться постепенно, пока не будет выполнен какой-либо критерий.

Линейная регрессия

Линейная регрессия — стандартный инструмент линейного анализа. Следовательно, одним из его основных преимуществ является широкое распространение стандартных инструментов для эффективного решения линейных регрессий. Оно имеет некоторую образовательную ценность, поскольку подчеркивает основное свойство рядов Вольтерра: линейную комбинацию нелинейных базисных функционалов. Для оценки порядок оригинала должен быть известен, поскольку базисные функционалы Вольтерра не ортогональны, и, следовательно, оценка не может выполняться постепенно.

Метод ядра

Этот метод изобрели Франц и Шёлкопф. и основан на статистической теории обучения . Следовательно, этот подход также основан на минимизации эмпирической ошибки (часто называемой минимизацией эмпирического риска ). Франц и Шёлкопф предположили, что метод ядра может по существу заменить представление ряда Вольтерра, хотя и отметили, что последнее более интуитивно понятно.

Дифференциальная выборка

Этот метод был разработан ван Хемменом и его коллегами. и использует дельта-функции Дирака для выборки коэффициентов Вольтерра.

См. также

• Винерская серия
• Полиномиальная обработка сигналов

Дальнейшее чтение

• Барретт Дж. Ф.: Библиография серий Вольтерры, функциональных расширений Эрмита и связанных с ними тем . Отдел электр. инженер, технический университет. Эйндховен, Нидерланды, 1977 г., отчет TH 77-E-71. (Хронологический список ранних статей до 1977 г.) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
• Буссганг, Джей Джей; Эрман, Л.; Грэм, Дж.В.: Анализ нелинейных систем с несколькими входами, Proc. IEEE, том 62, № 8, стр. 1088–1119, август 1974 г.
• Яннакис ГБ и Серпендин Э: Библиография по идентификации нелинейных систем. Обработка сигналов, 81 2001 533–580. (Алфавитный список на 2001 год) www.elsevier.nl/locate/sigpro
• Коренберг М.Дж. Хантер И.В.: Идентификация нелинейных биологических систем: подходы ядра Вольтерра , Анналы биомедицинской инженерии (1996), том 24, номер 2.
• Куо Ю.Л. Анализ слабонелинейных сетей в частотной области , IEEE Trans. Схемы и системы, том CS-11(4), август 1977 г.; том CS-11(5), октябрь 1977 г., 2–6.
• Раг В.Дж.: Теория нелинейных систем: подход Вольтерра – Винера. Балтимор, 1981 (издательство Университета Джонса Хопкинса) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf
• Шетцен М: Теории Вольтерра и Винера нелинейных систем , Нью-Йорк: Wiley, 1980.