Числовое дифференцирование

Конечно-разностная оценка производной

В численном анализе алгоритмы дифференцирования численного оценивают производную математической функции или подпрограммы функции , используя значения функции и, возможно, другие знания о функции.

Конечные разности

Дополнительная информация: Конечные разности.

Самый простой метод — использовать конечно-разностные аппроксимации.

Простая оценка по двум точкам заключается в вычислении наклона ближайшей секущей линии, проходящей через точки ( x , f ( x )) и ( x + h , f ( x + h )) . При выборе небольшого числа h h . представляет собой небольшое изменение x и может быть как положительным, так и отрицательным Наклон этой линии

$${\frac {f(x+h)-f(x)}{h}}.$$

Это выражение представляет собой Ньютона разностный коэффициент первого порядка (также известный как разделенная разность ).

Наклон этой секущей линии отличается от наклона касательной на величину, примерно пропорциональную h . Когда h приближается к нулю, наклон секущей линии приближается к наклону касательной. Следовательно, истинная производная f в точке x является пределом значения разностного коэффициента, поскольку секущие линии становятся все ближе и ближе к касательной линии:

$$f'(x)=\lim _{h\to 0}{\frac {f(x+h)-f(x)}{h}}.$$

Поскольку непосредственная замена на 0 h приводит к ${\frac {0}{0}}$ неопределенная форма , непосредственное вычисление производной может быть неинтуитивным.

Эквивалентно, наклон можно оценить, используя позиции x - h и x .

Другая двухточечная формула предназначена для вычисления наклона ближайшей секущей линии, проходящей через точки ( x − h , f ( x − h )) и ( x + h , f ( x + h ) ) . Наклон этой линии

$${\frac {f(x+h)-f(x-h)}{2h}}.$$

Эта формула известна как симметричный разностный коэффициент . В этом случае ошибки первого порядка компенсируются, поэтому наклон этих секущих линий отличается от наклона касательной на величину, примерно пропорциональную $h^{2}$. Следовательно, для малых значений h это более точное приближение к касательной, чем односторонняя оценка. Однако, хотя наклон вычисляется в точке x , значение функции в точке x не участвует.

Ошибка оценки определяется выражением

$$R={\frac {-f^{(3)}(c)}{6}}h^{2},$$

где $c$ это какая-то точка между $x-h$ и $x+h$. Эта ошибка не включает ошибку округления из-за представления чисел и выполнения вычислений с ограниченной точностью.

Коэффициент симметричной разности используется в качестве метода аппроксимации производной во многих калькуляторах, включая TI-82 , TI-83 , TI-84 , TI-85 , все из которых используют этот метод с h = 0,001 .

Размер шага

См. также: Адаптивный размер шага.

Пример, показывающий сложность выбора h из-за ошибки округления и ошибки формулы

Важным соображением на практике, когда функция вычисляется с использованием арифметики с плавающей запятой конечной точности, является выбор размера шага h . Если выбрано слишком маленькое значение, вычитание приведет к большой ошибке округления . На самом деле все формулы конечных разностей плохо обусловлены. и из-за отмены выдаст нулевое значение, если h достаточно мало. Если слишком большое значение, расчет наклона секущей будет более точным, но оценка наклона касательной с использованием секущей может быть хуже.

Для основных центральных разностей оптимальным шагом является извлечение кубического корня из машинного эпсилона . Для формулы числовой производной, вычисляемой по значениям x и x + h , выбор h без большой ошибки округления равен небольшого значения ${\sqrt {\varepsilon }}x$ (хотя и не тогда, когда x = 0), где машинный эпсилон ε обычно имеет порядок 2,2 × 10 ⁻¹⁶ для двойной точности . Формула для h , которая уравновешивает ошибку округления и секущую ошибку для достижения оптимальной точности:

$$h=2{\sqrt {\varepsilon \left|{\frac {f(x)}{f''(x)}}\right|}}$$

(правда, не тогда, когда $f''(x)=0$), и для его использования потребуются знания функции.

Для компьютерных вычислений проблемы усугубляются, поскольку, хотя x обязательно содержит представимое число с плавающей запятой с некоторой точностью (32 или 64 бита и т. д .), x + h почти наверняка не будет точно представимым с этой точностью. Это означает, что x + h будет изменено (путем округления или усечения) на ближайшее машинно представимое число, в результате чего ( x + h ) − x будет не равно h ; два вычисления функции не будут находиться на расстоянии ровно h друг от друга. В этом отношении, поскольку большинство десятичных дробей представляют собой повторяющиеся последовательности в двоичном формате (точно так же, как 1/3 в десятичном формате), кажущийся круглым шаг, такой как h = 0,1, не будет круглым числом в двоичном формате; это 0,000110011001100... ₂ Возможный подход следующий:

ч: = sqrt (eps) * x;
 хф := х + ч;
 дх := хф - х;
 наклон := (F(xph) - F(x)) / dx;
 

Однако в случае компьютеров средства оптимизации компилятора могут не учитывать детали реальной компьютерной арифметики и вместо этого применять математические аксиомы, чтобы сделать вывод, что dx и h одинаковы. В C директива, указывающая, что xph является изменчивой переменной и подобных языках это предотвратит .

Другие методы

Методы высшего порядка

Дополнительная информация: Коэффициент конечной разности.

Существуют методы высшего порядка аппроксимации производной, а также методы для высших производных.

Ниже приведен пятиточечный метод для первой производной ( пятиточечный трафарет в одном измерении):

$$f'(x)={\frac {-f(x+2h)+8f(x+h)-8f(x-h)+f(x-2h)}{12h}}+{\frac {h^{4}}{30}}f^{(5)}(c),$$

где $c\in [x-2h,x+2h]$.

Для других конфигураций трафарета и производных порядков Калькулятор конечных разностных коэффициентов представляет собой инструмент, который можно использовать для создания методов аппроксимации производных для любого трафарета с любым производным порядком (при условии, что решение существует).

Высшие производные

Используя разностный коэффициент Ньютона,

$$f'(x)=\lim _{h\to 0}{\frac {f(x+h)-f(x)}{h}}$$

можно показать следующее (для n > 0 ):

$$f^{(n)}(x)=\lim _{h\to 0}{\frac {1}{h^{n}}}\sum _{k=0}^{n}(-1)^{k+n}{\binom {n}{k}}f(x+kh)$$

Методы комплексных переменных

Классические конечно-разностные приближения для численного дифференцирования плохо обусловлены. Однако, если $f$ — голоморфная функция , имеющая действительное значение на действительной прямой, которую можно вычислить в точках комплексной плоскости вблизи $x$, то есть стабильные методы. Например, первую производную можно вычислить по формуле производной комплексного шага:

$$f'(x)={\frac {\Im (f(x+\mathrm {i} h))}{h}}+O(h^{2}),\quad \mathrm {i^{2}} :=-1.$$

Рекомендуемый размер шага для получения точных производных для ряда условий: $h=10^{-200}$. Эту формулу можно получить разложением в ряд Тейлора :

$$f(x+\mathrm {i} h)=f(x)+\mathrm {i} hf'(x)-{\tfrac {1}{2!}}h^{2}f''(x)-{\tfrac {\mathrm {i} }{3!}}h^{3}f^{(3)}(x)+\cdots .$$

Формула производной комплексного шага действительна только для расчета производных первого порядка. Обобщение вышеизложенного для вычисления производных любого порядка использует мультикомплексные числа , что приводит к мультикомплексным производным.

$$f^{(n)}(x)\approx {\frac {{\mathcal {C}}_{n^{2}-1}^{(n)}(f(x+\mathrm {i} ^{(1)}h+\cdots +\mathrm {i} ^{(n)}h))}{h^{n}}}$$

где $\mathrm {i} ^{(k)}$ обозначаем мультикомплексные мнимые единицы; $\mathrm {i} ^{(1)}\equiv \mathrm {i}$. ${\mathcal {C}}_{k}^{(n)}$ оператор извлекает $k$-я компонента мультикомплексного числа уровня $n$, например, ${\mathcal {C}}_{0}^{(n)}$ извлекает реальный компонент и ${\mathcal {C}}_{n^{2}-1}^{(n)}$извлекает последний, «самый воображаемый» компонент. Этот метод можно применять к смешанным производным, например, к производной второго порядка.

$${\frac {\partial ^{2}f(x,y)}{\partial x\,\partial y}}\approx {\frac {{\mathcal {C}}_{3}^{(2)}(f(x+\mathrm {i} ^{(1)}h,y+\mathrm {i} ^{(2)}h))}{h^{2}}}$$

Доступна реализация мультикомплексной арифметики на языке C++.

В общем случае производные любого порядка можно вычислить по интегральной формуле Коши :

$$f^{(n)}(a)={\frac {n!}{2\pi i}}\oint _{\gamma }{\frac {f(z)}{(z-a)^{n+1}}}\,\mathrm {d} z,$$

где интегрирование производится численно .

Использование комплексных переменных для численного дифференцирования было начато Лайнсом и Молером в 1967 году. Их алгоритм применим к производным более высокого порядка.

Метод, основанный на численном обращении комплексного преобразования Лапласа, был разработан Абате и Дубнером. Алгоритм, который можно использовать, не требуя знаний о методе или характере функции, был разработан Форнбергом.

Дифференциальная квадратура

Дифференциальная квадратура — это аппроксимация производных с использованием взвешенных сумм значений функций. Дифференциальная квадратура представляет практический интерес, поскольку позволяет вычислять производные по зашумленным данным. Название по аналогии с квадратурой , что означает числовое интегрирование , где взвешенные суммы используются в таких методах, как метод Симпсона или правило трапеций . Существуют различные методы определения весовых коэффициентов, например, фильтр Савицкого–Голея . Дифференциальная квадратура используется для решения уравнений в частных производных . Существуют и другие методы вычисления производных на основе зашумленных данных.

См. также

• Автоматическое дифференцирование . Численные расчеты с производными.
• Пятиточечный трафарет - точка и четыре ее ближайших соседа.
• Фильтр Савицкого-Голея — алгоритм сглаживания точек данных. Страницы с краткими описаниями целей перенаправления.
• Численное интегрирование - Методы вычисления определенных интегралов.
• Численные обыкновенные дифференциальные уравнения — методы, используемые для поиска численных решений обыкновенных дифференциальных уравнений. Страницы с краткими описаниями целей перенаправления.
• Числовое сглаживание и дифференциация — алгоритм сглаживания точек данных. Страницы с краткими описаниями целей перенаправления.
• Список программного обеспечения для численного анализа

Внешние ссылки

• Числовая дифференциация с сайта wolfram.com
• Процедуры численного дифференцирования библиотеки NAG
• Способствовать росту. Математическое численное дифференцирование, включая конечные разности и комплексную ступенчатую производную
• Дифференциация без различия, Николас Хайэм , SIAM News.