Статистическое расстояние

В статистике , теории вероятностей и теории информации статистическое расстояние количественно определяет расстояние между двумя статистическими объектами, которые могут быть двумя случайными величинами , двумя распределениями вероятностей или выборками , или расстояние может быть между отдельной точкой выборки и генеральной совокупностью или совокупностью. более широкая выборка точек.

Расстояние между популяциями можно интерпретировать как измерение расстояния между двумя распределениями вероятностей , и, следовательно, они, по сути, являются мерами расстояний между мерами вероятности . Если статистические меры расстояния связаны с различиями между случайными величинами , они могут иметь статистическую зависимость . ^[1] и, следовательно, эти расстояния не связаны напрямую с мерами расстояний между вероятностными мерами. Опять же, мера расстояния между случайными величинами может относиться к степени зависимости между ними, а не к их индивидуальным значениям.

Многие статистические меры расстояния не являются метриками , а некоторые не симметричны. Некоторые типы мер расстояния, которые обобщают квадрат расстояния, называются (статистическими) расхождениями .

Терминология

Многие термины используются для обозначения различных понятий расстояния; они часто схожи до степени смешения и могут использоваться по-разному между авторами и с течением времени, либо в общих чертах, либо с точным техническим смыслом. Помимо «расстояния», подобные термины включают отклонение , отклонение , несоответствие , дискриминацию и дивергенцию , а также другие, такие как функция контраста и метрика . Термины теории информации включают перекрестную энтропию , относительную энтропию , информацию о дискриминации и прирост информации .

Расстояния как метрики

Метрики

Метрикой X множестве X является функция (называемая функцией расстояния или просто расстоянием ) d : на × X → R ⁺(где Р ⁺ — множество неотрицательных действительных чисел ). Для всех x , y , z в X эта функция должна удовлетворять следующим условиям:

d ( x , y ) ≥ 0 ( неотрицательность )
d ( x , y ) = 0 тогда и только тогда, когда x = y ( тождество неразличимых . Обратите внимание, что условия 1 и 2 вместе производят положительную определенность )
d ( Икс , y ) знак равно d ( y , Икс ) ( симметрия )
d ( x , z ) ≤ d ( x , y ) + d ( y , z ) ( субаддитивность / неравенство треугольника ).

Обобщенные метрики

Многие статистические расстояния не являются метриками , поскольку им не хватает одного или нескольких свойств правильных метрик. Например, псевдометрика нарушает свойство (2) тождество неразличимых; квазиметрика нарушает свойство (3) – симметрию; а полуметрики нарушают свойство (4) — неравенство треугольника. Статистические расстояния, удовлетворяющие (1) и (2), называются дивергенциями .

Статистически близко

Суммарное расстояние вариации двух распределений $X$ и $Y$ в конечной области $D$ , (часто называемая статистической разницей ^[2]или статистическое расстояние ^[3] в криптографии) определяется как

$\Delta (X,Y)={\frac {1}{2}}\sum _{\alpha \in D}|\Pr[X=\alpha ]-\Pr[Y=\alpha ]|$ .

Мы говорим, что два вероятностных ансамбля $\{X_{k}\}_{k\in \mathbb {N} }$ и $\{Y_{k}\}_{k\in \mathbb {N} }$ статистически близки, если $\Delta (X_{k},Y_{k})$ является незначительной функцией в $k$ .