Принцип групп трансформации

Принцип групп преобразований — это методология назначения априорных вероятностей в вопросах статистического вывода , первоначально предложенная Э. Т. Джейнсом . Это рассматривается как расширение принципа безразличия .

Априорные вероятности, определенные этим принципом, объективны в том смысле, что они полагаются исключительно на внутренние характеристики проблемы, гарантируя, что любые два человека, применяющие этот принцип к одной и той же проблеме, присвоят идентичные априорные вероятности. Таким образом, этот принцип является неотъемлемой частью объективной байесовской интерпретации вероятности .

Мотивация и описание метода

Этот принцип мотивирован следующим нормативным принципом или желанием:

В сценариях, где априорная информация идентична, люди должны присваивать одинаковые априорные вероятности.

Реализация этого правила предполагает выявление симметрий внутри задачи, которые позволяют преобразовать ее в эквивалентную, и использование этих симметрий для расчета априорных вероятностей. Эти симметрии определяются группами преобразований .

Для задач с дискретными переменными (такими как игральные кости, карты или категориальные данные ) симметрии характеризуются группами перестановок , и в этих случаях принцип упрощается до принципа безразличия. В случаях, когда используются непрерывные переменные, симметрии могут быть представлены другими типами групп преобразований. Определение априорных вероятностей в таких случаях часто требует решения дифференциального уравнения, которое может не дать однозначного решения. Однако многие задачи с непрерывными переменными имеют априорные вероятности, однозначно определяемые принципом групп преобразований, которые Джейнс называл « корректно поставленными » задачами.

Примеры

Дискретный случай: подбрасывание монеты

Рассмотрим монету с головой (H) и хвостом (T). Обозначим эту информацию через I. Для данного подбрасывания монеты обозначим вероятность выпадения орла как $P(H|I)$. Обозначим вероятность выпадения решки через $P(T|I)$.

Применяя желаемое, учитывайте информацию, содержащуюся в случае подбрасывания монеты, как оформленную. Он не описывает никакого различия между орелом и решкой. При отсутствии другой информации элементы «голова» и «хвост» взаимозаменяемы. Применение желаемого тогда требует, чтобы:

$P(H|I)=P(T|I)$

Вероятности должны в сумме равняться 1, таким образом:

$P(H|I)+P(T|I)=1\rightarrow 2P(H|I)=1\rightarrow P(H|I)=0.5$.

Этот аргумент распространяется на N категорий, чтобы дать «плоскую» априорную вероятность 1/N .

Это обеспечивает основанный на последовательности аргумент в пользу принципа безразличия: если кто-то действительно не знает о дискретном или счетном наборе результатов, помимо их потенциального существования, но не приписывает им равные априорные вероятности, тогда он присваивает разные вероятности, когда даны одинаковые информация .

Альтернативно это можно сформулировать так: тот, кто не использует принцип безразличия для присвоения априорных вероятностей дискретным переменным, либо обладает информацией об этих переменных, либо рассуждает непоследовательно .

Непрерывный случай: параметр местоположения

Это самый простой пример для непрерывных переменных. Это определяется утверждением, что человек «не знает» параметра местоположения в данной задаче. Утверждение о том, что параметр является «параметром местоположения», означает, что распределение выборки или вероятность наблюдения X зависит от параметра. $\mu$ только через разницу.

$p(X|\mu ,I)=f(X-\mu )$

для некоторого нормализованного распределения вероятностей f(.) .

Обратите внимание, что данная информация о том, что f (.) является нормализованным распределением, является важной предпосылкой для получения окончательного вывода о равномерном априорном распределении, поскольку равномерные распределения вероятностей могут быть нормализованы только с учетом конечной входной области. Другими словами, предположение о том, что f(.) неявно нормализовано, также требует, чтобы параметр местоположения $\mu$ не простирается до бесконечности ни в одном из своих измерений. В противном случае единообразный априор не был бы нормализуем.

Примеры параметров местоположения включают средний параметр нормального распределения с известной дисперсией и медианный параметр распределения Коши с известным межквартильным диапазоном.

Две «эквивалентные проблемы» в этом случае, учитывая знание распределения выборки $p(X|\mu ,I)=f(X-\mu )$, но никаких других знаний о $\mu$, определяется «сдвигом» равной величины по X и $\mu$. Это происходит из-за отношения:

$f(X-\mu )=f([X+b]-[\mu +b])=f(X^{(1)}-\mu ^{(1)})$

«Сдвиг» всех величин вверх на некоторое число b и решение в «сдвинутом пространстве», а затем «сдвиг» обратно в исходное должно дать точно такой же ответ, как если бы мы только что работали в исходном пространстве. Выполняем трансформацию из $\mu$ к $\mu ^{(1)}$ имеет якобиан просто 1, а априорная вероятность $g(\mu )=p(\mu |I)$ должно удовлетворять функциональному уравнению:

$g(\mu )=\left|{\partial \mu ^{(1)} \over \partial \mu }\right|g(\mu ^{(1)})=g(\mu +b)$

И единственная функция, которая удовлетворяет этому уравнению, — это «постоянный априор»:

$p(\mu |I)\propto 1$

Следовательно, единообразный априор оправдан для выражения полного незнания нормализованного априорного распределения конечного непрерывного параметра местоположения.

Непрерывный случай: параметр масштаба

Как и в приведенном выше аргументе, утверждение о том, что $\sigma$ параметр масштаба означает, что выборочное распределение имеет функциональную форму:

$p(X|\sigma ,I)={1 \over \sigma }f\left({X \over \sigma }\right)$

Где, как прежде, $f(\cdot )$ — нормированная функция плотности вероятности. Требование конечности и положительности вероятностей приводит к выполнению условия $\sigma >0$. Примеры включают стандартное отклонение нормального распределения с известным средним значением или гамма-распределение . «Симметрию» в этой задаче можно найти, заметив это.

${X \over \sigma }={Xa \over \sigma a};a>0$

и настройка $X^{(1)}=Xa$ и $\sigma ^{(1)}=\sigma a.$ Но, в отличие от случая параметра местоположения, якобиан этого преобразования в пространстве выборки и пространстве параметров равен a , а не 1. Таким образом, вероятность выборки изменяется на:

$p(X^{(1)}|\sigma ,I)={1 \over a}\cdot {1 \over \sigma }f\left({Xa \over \sigma a}\right)={1 \over \sigma ^{(1)}}f\left({X^{(1)} \over \sigma ^{(1)}}\right)$

Который является инвариантным (т. е. имеет одинаковую форму до и после преобразования), а априорная вероятность изменяется на:

$p(\sigma |I)={1 \over a}p(\sigma ^{(1)}|I)={1 \over a}p\left({\sigma \over a}|I\right)$

Который имеет единственное решение (с точностью до константы пропорциональности):

$p(\sigma |I)\propto {1 \over \sigma }\rightarrow p(\log(\sigma )|I)\propto 1$

Это хорошо известный априор Джеффриса для параметров масштаба, который является «плоским» в логарифмическом масштабе, хотя он получен с использованием другого аргумента, чем здесь, на основе информационной функции Фишера . То, что эти два метода дают одинаковые результаты, в данном случае вовсе не означает этого.

Непрерывный случай: парадокс Бертрана

Эдвин Джейнс использовал этот принцип, чтобы разрешить парадокс Бертрана. заявив о своем незнании точного положения круга.

Обсуждение

Этот аргумент решающим образом зависит от I ; изменение информации может привести к другому назначению вероятности. Это так же важно, как изменение аксиом в дедуктивной логике : небольшие изменения в информации могут привести к большим изменениям в вероятностных распределениях, допускаемых «последовательным рассуждением».

Для иллюстрации предположим, что в примере с подбрасыванием монеты в качестве части информации также указывается, что у монеты есть сторона (S) (т. е. это настоящая монета ). Обозначим эту новую информацию N. через Тот же аргумент с использованием «полного незнания», или, точнее, фактически описанной информации, дает:

$P(H|I,N)=P(T|I,N)=P(S|I,N)=1/3$

Интуиция подсказывает нам, что P(S) должно быть очень близко к нулю. Это связано с тем, что интуиция большинства людей не видит «симметрии» между падением монеты на бок и падением орла. Наша интуиция подсказывает, что отдельные «ярлыки» на самом деле несут некоторую информацию о проблеме. Чтобы сделать это более формальным с математической точки зрения, можно использовать простой аргумент (например, физика задачи затрудняет падение подброшенной монеты на бок) — мы проводим различие между «толстыми» монетами и «тонкими» монетами (здесь толщина измеряется относительно диаметра монеты). Разумно было бы предположить, что:

$P(S|{\text{thin coin}})\neq P(S|{\text{thick coin}})$

Обратите внимание, что эта новая информация, вероятно, не нарушит симметрию между «орлом» и «решкой», так что перестановка по-прежнему будет применяться при описании «эквивалентных задач», и нам потребуется:

$P(T|{\text{thin coin}})=P(H|{\text{thin coin}})\neq P(H|{\text{thick coin}})=P(T|{\text{thick coin}})$

Это хороший пример того, как принцип трансформационных групп можно использовать для «конкретизации» личных мнений. Вся информация, используемая при выводе, указывается явно. Если априорное распределение вероятностей не «кажется правильным» в соответствии с тем, что подсказывает вам ваша интуиция, то должна быть некоторая «исходная информация», которая не была учтена в задаче. Затем задача состоит в том, чтобы попытаться выяснить, что это за информация. В каком-то смысле сочетание метода групп преобразований с интуицией можно использовать для «отсеивания» имеющихся у человека фактических предположений. Это делает его очень мощным инструментом для предварительного выявления.

Вводить толщину монеты в качестве переменной допустимо, поскольку ее существование подразумевалось (поскольку это настоящая монета), но ее стоимость не была указана в задаче. Введение «неудобного параметра» и последующее создание инварианта ответа к этому параметру — очень полезный метод для решения предположительно «некорректных» задач, таких как парадокс Бертрана . Некоторые называют это «стратегией удачного позирования».

Сильная сторона этого принципа заключается в его применении к непрерывным параметрам, где понятие «полного игнорирования» не так четко определено, как в дискретном случае. Однако, если его применять с бесконечными пределами, это часто дает неправильные априорные распределения. Обратите внимание, что дискретный случай счетного бесконечного множества, такого как (0,1,2...), также дает несобственный дискретный априор. В большинстве случаев, когда вероятность достаточно «крутая», это не представляет проблемы. Однако, чтобы быть абсолютно уверенным во избежание бессвязных результатов и парадоксов, к априорному распределению следует подходить с помощью четко определенного и хорошо управляемого ограничивающего процесса. Одним из таких процессов является использование последовательности априорных значений с возрастающим диапазоном, таких как $f(M)={I(M\in [-b,b]) \over 2b}$ где предел $b\rightarrow \infty$ следует принимать в конце расчета , т.е. после нормализации апостериорного распределения. Фактически это гарантирует, что вы берете предел отношения, а не соотношение двух пределов. См. Предел функции#Свойства для получения подробной информации об ограничениях и о том, почему такой порядок операций важен.

Если предел отношения не существует или расходится, то это дает несобственный апостериор (т. е. апостериор, который не объединяется ни в один). Это указывает на то, что данные настолько неинформативны о параметрах, что априорная вероятность сколь угодно больших значений по-прежнему имеет значение для окончательного ответа. В некотором смысле неправильный апостериорный результат означает, что информация, содержащаяся в данных, не «исключила» сколь угодно большие значения. Глядя на неправильные априорные значения с этой точки зрения, кажется, что имеет некоторый смысл, что априорные значения «полного незнания» должны быть неправильными, поскольку информация, используемая для их получения, настолько скудна, что она не может сама по себе исключить абсурдные значения. Из состояния полного незнания исключить подобные нелепости могут только данные или какая-то иная форма дополнительной информации.

Дальнейшее чтение

• Эдвин Томпсон Джейнс. Теория вероятностей: логика науки . Издательство Кембриджского университета, 2003. ISBN   0-521-59271-2 .