Приблизительная энтропия

В статистике приблизительная энтропия ( ApEn ) — это метод, используемый для количественной оценки регулярности и непредсказуемости колебаний данных временных рядов . Например, рассмотрим две серии данных:

Серия A: (0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, ...), в которой чередуются 0 и 1.

Серия B: (0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 1, 1, 0, 0, 1, ...), которая имеет значение 0 или 1. , выбранных случайно, каждый с вероятностью 1/2.

Моментная статистика , такая как среднее значение и дисперсия , не различает эти два ряда. также не В статистике ранжирования эти ряды различаются. Тем не менее, ряд A совершенно регулярен: знание того, что терм имеет значение 1, позволяет с уверенностью предсказать, что следующий член будет иметь значение 0. Напротив, ряд B оценивается случайным образом: знание того, что терм имеет значение 1, дает нет понимания того, какую ценность будет иметь следующий термин.

Первоначально регулярность измерялась с помощью точной статистики регулярности, которая в основном основывалась на различных мерах энтропии. Однако точный расчет энтропии требует огромных объемов данных, и на результаты будет сильно влиять системный шум. поэтому применять эти методы к экспериментальным данным нецелесообразно. ApEn был разработан Стивом М. Пинкусом, чтобы справиться с этими ограничениями путем изменения точной статистики регулярности, энтропии Колмогорова-Синая . ApEn изначально был разработан для анализа медицинских данных, таких как частота сердечных сокращений, а позже распространил свои приложения в области финансов , физиология , инженерия человеческого фактора , и климатические науки.

Алгоритм

Доступно подробное пошаговое руководство с объяснением теоретических основ приближенной энтропии. Алгоритм:

Шаг 1

Предположим, временной ряд данных $u(1),u(2),\ldots ,u(N)$. Это $N$ значения необработанных данных измерений, равномерно распределенных во времени.

Шаг 2

Позволять $m\in \mathbb {Z} ^{+}$ быть положительным целым числом , причем $m\leq N$, который представляет длину серии данных (по сути, окна ).
Позволять $r\in \mathbb {R} ^{+}$ быть положительным действительным числом , которое определяет уровень фильтрации.
Позволять $n=N-m+1$.

Шаг 3

Определять $\mathbf {x} (i)={\big [}u(i),u(i+1),\ldots ,u(i+m-1){\big ]}$ для каждого $i$ где $1\leq i\leq n$. Другими словами, $\mathbf {x} (i)$ это $m$-мерный вектор , содержащий серию данных, начинающуюся с $u(i)$.
Определить расстояние между двумя векторами $\mathbf {x} (i)$ и $\mathbf {x} (j)$ как максимум расстояний между их соответствующими компонентами, определяемый формулой

${\begin{aligned}d[\mathbf {x} (i),\mathbf {x} (j)]&=\max _{k}{\big (}|\mathbf {x} (i)_{k}-\mathbf {x} (j)_{k}|{\big )}\\&=\max _{k}{\big (}|u(i+k-1)-u(j+k-1)|{\big )}\\\end{aligned}}$

для $1\leq k\leq m$.

Шаг 4

Определение количества $C_{i}^{m}$ как

$C_{i}^{m}(r)={({\text{number of }}j{\text{ such that }}d[\mathbf {x} (i),\mathbf {x} (j)]\leq r) \over n}$

для каждого $i$ где $1\leq i,j\leq n$. Обратите внимание, что поскольку $j$ принимает все значения от 1 до $n$, совпадение будет засчитано, когда $j=i$ (т.е. когда тестовая подпоследовательность, $\mathbf {x} (j)$, сопоставляется сам с собой, $\mathbf {x} (i)$).

Шаг 5

Определять

$\phi ^{m}(r)={1 \over n}\sum _{i=1}^{n}\log(C_{i}^{m}(r))$

где $\log$ – натуральный логарифм , а для фиксированного $m$, $r$, и $n$ как установлено в шаге 2.

Шаг 6

Определим приблизительную энтропию ( $\mathrm {ApEn}$) как

$\mathrm {ApEn} (m,r,N)(u)=\phi ^{m}(r)-\phi ^{m+1}(r)$

Выбор параметров

Обычно выбирают $m=2$ или $m=3$, тогда как $r$ сильно зависит от приложения.

Реализация на Physionet, который основан на Пинкусе, использовать $d[\mathbf {x} (i),\mathbf {x} (j)]<r$ вместо $d[\mathbf {x} (i),\mathbf {x} (j)]\leq r$ на шаге 4. Хотя это касается искусственно созданных примеров, на практике это обычно не вызывает беспокойства.

Пример

Иллюстрация последовательности сердечного ритма

Рассмотрим последовательность $N=51$ образцы частоты сердечных сокращений, равноотстоящие во времени:

$\ S_{N}=\{85,80,89,85,80,89,\ldots \}$

Обратите внимание, что последовательность периодическая с периодом 3. Выберем $m=2$ и $r=3$ (значения $m$ и $r$ можно варьировать, не влияя на результат).

Сформируем последовательность векторов:

${\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)]=[85\ 80]\\\mathbf {x} (2)&=[u(2)\ u(3)]=[80\ 89]\\\mathbf {x} (3)&=[u(3)\ u(4)]=[89\ 85]\\\mathbf {x} (4)&=[u(4)\ u(5)]=[85\ 80]\\&\ \ \vdots \end{aligned}}$

Расстояние рассчитывается повторно следующим образом. В первом расчете

$\ d[\mathbf {x} (1),\mathbf {x} (1)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (1)_{k}|=0$ что меньше, чем $r$.

Во втором расчете заметим, что $|u(2)-u(3)|>|u(1)-u(2)|$, так

$\ d[\mathbf {x} (1),\mathbf {x} (2)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (2)_{k}|=|u(2)-u(3)|=9$ что больше, чем $r$.

Сходным образом,

${\begin{aligned}d[\mathbf {x} (1)&,\mathbf {x} (3)]=|u(2)-u(4)|=5>r\\d[\mathbf {x} (1)&,\mathbf {x} (4)]=|u(1)-u(4)|=|u(2)-u(5)|=0<r\\&\vdots \\d[\mathbf {x} (1)&,\mathbf {x} (j)]=\cdots \\&\vdots \\\end{aligned}}$

В результате всего получается 17 терминов. $\mathbf {x} (j)$ такой, что $d[\mathbf {x} (1),\mathbf {x} (j)]\leq r$. К ним относятся $\mathbf {x} (1),\mathbf {x} (4),\mathbf {x} (7),\ldots ,\mathbf {x} (49)$. В этих случаях $C_{i}^{m}(r)$ является

$\ C_{1}^{2}(3)={\frac {17}{50}}$

$\ C_{2}^{2}(3)={\frac {17}{50}}$

$\ C_{3}^{2}(3)={\frac {16}{50}}$

$\ C_{4}^{2}(3)={\frac {17}{50}}\ \cdots$

Обратите внимание на шаг 4: $1\leq i\leq n$ для $\mathbf {x} (i)$. Итак, условия $\mathbf {x} (j)$ такой, что $d[\mathbf {x} (3),\mathbf {x} (j)]\leq r$ включать $\mathbf {x} (3),\mathbf {x} (6),\mathbf {x} (9),\ldots ,\mathbf {x} (48)$, а общее число равно 16.

В конце этих вычислений мы имеем

$\phi ^{2}(3)={1 \over 50}\sum _{i=1}^{50}\log(C_{i}^{2}(3))\approx -1.0982$

Затем повторяем описанные выше шаги для $m=3$. Сначала сформируйте последовательность векторов:

${\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)\ u(3)]=[85\ 80\ 89]\\\mathbf {x} (2)&=[u(2)\ u(3)\ u(4)]=[80\ 89\ 85]\\\mathbf {x} (3)&=[u(3)\ u(4)\ u(5)]=[89\ 85\ 80]\\\mathbf {x} (4)&=[u(4)\ u(5)\ u(6)]=[85\ 80\ 89]\\&\ \ \vdots \end{aligned}}$

Путем расчета расстояний между векторами $\mathbf {x} (i),\mathbf {x} (j),1\leq i\leq 49$, мы находим, что векторы, удовлетворяющие уровню фильтрации, имеют следующую характеристику:

$d[\mathbf {x} (i),\mathbf {x} (i+3)]=0<r$

Поэтому,

$\ C_{1}^{3}(3)={\frac {17}{49}}$

$\ C_{2}^{3}(3)={\frac {16}{49}}$

$\ C_{3}^{3}(3)={\frac {16}{49}}$

$\ C_{4}^{3}(3)={\frac {17}{49}}\ \cdots$

В конце этих вычислений мы имеем

$\phi ^{3}(3)={1 \over 49}\sum _{i=1}^{49}\log(C_{i}^{3}(3))\approx -1.0982$

Окончательно,

$\mathrm {ApEn} =\phi ^{2}(3)-\phi ^{3}(3)\approx 0.000010997$

Значение очень мало, поэтому оно означает, что последовательность регулярна и предсказуема, что согласуется с наблюдением.

Реализация Python

import numpy as np


def ApEn(U, m, r) -> float:
    """Approximate_entropy."""

    def _maxdist(x_i, x_j):
        return max([abs(ua - va) for ua, va in zip(x_i, x_j)])

    def _phi(m):
        x = [[U[j] for j in range(i, i + m - 1 + 1)] for i in range(N - m + 1)]
        C = [
            len([1 for x_j in x if _maxdist(x_i, x_j) <= r]) / (N - m + 1.0)
            for x_i in x
        ]
        return (N - m + 1.0) ** (-1) * sum(np.log(C))

    N = len(U)

    return abs(_phi(m + 1) - _phi(m))

Пример использования:

>>> U = np.array([85, 80, 89] * 17)
>>> print(ApEn(U, 2, 3))
1.0996541105257052e-05
>>> randU = np.random.choice([85, 80, 89], size=17*3)
>>> print(ApEn(randU, 2, 3))
0.8626664154888908

Реализация MATLAB

• Быстрая приближенная энтропия от MatLab Central
• приблизительнаяЭнтропия

Интерпретация

Наличие повторяющихся закономерностей колебаний во временном ряду делает его более предсказуемым, чем временной ряд, в котором такие закономерности отсутствуют. ApEn отражает вероятность того, что за аналогичными закономерностями наблюдений не последуют дополнительные аналогичные наблюдения. Временной ряд, содержащий множество повторяющихся шаблонов, имеет относительно небольшой ApEn; менее предсказуемый процесс имеет более высокий ApEn.

Преимущества

К преимуществам ApEn относятся:

• Меньшая вычислительная потребность. ApEn может быть разработан для работы с небольшими выборками данных ( $N<50$ баллов) и могут применяться в режиме реального времени.
• Меньший эффект от шума. Если данные зашумлены, показатель ApEn можно сравнить с уровнем шума в данных, чтобы определить, какое качество истинной информации может присутствовать в данных.

Ограничения

Алгоритм ApEn считает каждую последовательность совпадающей, чтобы избежать возникновения ошибок. $\log(0)$ в расчетах. Этот шаг может привести к смещению ApEn, из-за чего на практике ApEn будет иметь два плохих свойства:

1. ApEn сильно зависит от длины записи и равномерно ниже ожидаемого для коротких записей.
2. Ему не хватает относительной последовательности. То есть, если ApEn одного набора данных выше, чем у другого, оно должно, но не остается, оставаться выше для всех тестируемых условий.

Приложения

ApEn применялся для классификации электроэнцефалографии (ЭЭГ) при психиатрических заболеваниях, таких как шизофрения, эпилепсия, и зависимость.

См. также

• Количественный анализ рецидивов
• Выборочная энтропия