Теорема Кокса

Теорема Кокса , названная в честь физика Ричарда Трелкелда Кокса , представляет собой вывод законов теории вероятностей из определенного набора постулатов . ^{[ 1 ]}^{[ 2 ]} Этот вывод оправдывает так называемую «логическую» интерпретацию вероятности, поскольку законы вероятности, выведенные теоремой Кокса, применимы к любому предложению. Логическая (также известная как объективная байесовская) вероятность — это разновидность байесовской вероятности . Другие формы байесовства, такие как субъективная интерпретация, получают иные обоснования.

Предположения Кокса

Кокс хотел, чтобы его система удовлетворяла следующим условиям:

Делимость и сопоставимость. Правдоподобность предложения представляет собой действительное число и зависит от информации, которую мы имеем с этим предложением.
Здравый смысл. Правдоподобия должны существенно меняться в зависимости от оценки правдоподобия в модели.
Последовательность. Если правдоподобность предложения можно определить разными способами, все результаты должны быть равными.

Постулаты, изложенные здесь, взяты из Арнборга и Сьёдина. ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]} « Здравый смысл » включает в себя согласованность с аристотелевской логикой в том смысле, что логически эквивалентные предложения должны иметь одинаковую правдоподобность.

Постулаты, первоначально сформулированные Коксом, не были математически обоснованы. строгий (хотя и в большей степени, чем неофициальное описание выше), как отмечает Халперн . ^{[ 6 ]}^{[ 7 ]} Однако это представляется возможным дополнить их различными математическими предположениями, сделанными либо неявно или явно Кокса для получения достоверного доказательства.

Обозначение Кокса:

Правдоподобность предложения

A

предоставлена некоторая сопутствующая информация

X

обозначается

A\mid X

.

Постулаты Кокса и функциональные уравнения:

Правдоподобие союза $AB$ из двух предложений $A$ , $B$ , учитывая некоторую сопутствующую информацию $X$ , определяется правдоподобием $A$ данный $X$ и что из $B$ данный $AX$ .

В виде функционального уравнения

AB\mid X=g(A\mid X,B\mid AX)

Из-за ассоциативной природы союза в логике высказываний согласованность с логикой дает функциональное уравнение, говорящее, что функция

g

является ассоциативной бинарной операцией.

Кроме того, Кокс постулирует функцию $g$ быть монотонным .

Все строго возрастающие ассоциативные бинарные операции над действительными числами изоморфны умножению чисел на [ подинтервале

0, +\infty]

, что означает, что существует монотонная функция

w

отображает правдоподобия на

[0, +\infty]

так, что

w(AB\mid X)=w(A\mid X)w(B\mid AX)

В случае $A$ данный $X$ это точно, у нас есть $AB\mid X=B\mid X$ и $B\mid AX=B\mid X$ из-за требования последовательности. Тогда общее уравнение приводит к

w(B\mid X)=w(A\mid X)w(B\mid X)

Это справедливо для любого предложения

B

, что приводит к

w(A\mid X)=1

В случае $A$ данный $X$ невозможно, у нас есть $AB\mid X=A\mid X$ и $A\mid BX=A\mid X$ из-за требования последовательности. Общее уравнение (с перепутанными факторами A и B) приводит тогда к

w(A\mid X)=w(B\mid X)w(A\mid X)

Это справедливо для любого предложения

B

, что без ограничения общности приводит к решению

w(A\mid X)=0

Ввиду требования монотонности это означает, что

w

отображает правдоподобия в интервал

[0, 1]

.

Правдоподобность предложения определяет правдоподобность его отрицания .

Это постулирует существование функции

f

такой, что

w({\text{not }}A\mid X)=f(w(A\mid X))

Поскольку «двойное отрицание является утвердительным», согласованность с логикой дает функциональное уравнение.

f(f(x))=x,

говоря, что функция

f

является инволюцией , т. е. является инверсией самой себе.

Более того, Кокс постулирует функцию $f$ быть монотонным.

Из приведенных выше функциональных уравнений и их соответствия логике следует, что

w(AB\mid X)=w(A\mid X)f(w({\text{not }}B\mid AX))=w(A\mid X)f\left({w(A{\text{ not }}B\mid X) \over w(A\mid X)}\right)

С

AB

логически эквивалентно

BA

, мы также получаем

w(A\mid X)f\left({w(A{\text{ not }}B\mid X) \over w(A\mid X)}\right)=w(B\mid X)f\left({w(B{\text{ not }}A\mid X) \over w(B\mid X)}\right)

Если, в частности,

B={\text{ not }}(AD)

, тогда также

A{\text{ not }}B={\text{not }}B

и

B{\text{ not }}A={\text{ not }}A

и мы получаем

w(A{\text{ not }}B\mid X)=w({\text{not }}B\mid X)=f(w(B\mid X))

и

w(B{\text{ not }}A\mid X)=w({\text{not }}A\mid X)=f(w(A\mid X))

Сокращение

w(A\mid X)=x

и

w(B\mid X)=y

мы получаем функциональное уравнение

x\,f\left({f(y) \over x}\right)=y\,f\left({f(x) \over y}\right)

Последствия постулатов Кокса

Законы вероятности, вытекающие из этих постулатов, заключаются в следующем. ^{[ 8 ]} Позволять $A\mid B$ быть правдоподобным предложением $A$ данный $B$ удовлетворяющие постулатам Кокса. Тогда есть функция $w$ отображение правдоподобий на интервал [0,1] и положительное число $m$ такой, что

Уверенность представлена $w(A\mid B)=1.$
$w^{m}(A|B)+w^{m}({\text{not }}A\mid B)=1.$
$w(AB\mid C)=w(A\mid C)w(B\mid AC)=w(B\mid C)w(A\mid BC).$

Важно отметить, что постулаты подразумевают только эти общие свойства. Мы можем восстановить обычные законы вероятности, задав новую функцию, условно обозначаемую $P$ или $\Pr$ , равный $w^{m}$ . Тогда мы получим законы вероятности в более привычном виде:

Определенная истина представлена $\Pr(A\mid B)=1$ и определенная ложь со стороны $\Pr(A\mid B)=0.$
$\Pr(A\mid B)+\Pr({\text{not }}A\mid B)=1.$
$\Pr(AB\mid C)=\Pr(A\mid C)\Pr(B\mid AC)=\Pr(B\mid C)\Pr(A\mid BC).$

Правило 2 — это правило отрицания, а правило 3 — правило соединения. Учитывая, что любое предложение, содержащее соединение, дизъюнкция и отрицание, может быть эквивалентно перефразировано, используя только соединение и отрицание ( конъюнктивная нормальная форма ), мы теперь можем обрабатывать любое сложное предложение.

Выведенные таким образом законы дают конечную аддитивность вероятности, но не счетную аддитивность . Теоретико -мерная формулировка Колмогорова предполагает, что вероятностная мера счетно-аддитивна. Это несколько более сильное условие необходимо для получения определенных результатов. Элементарный пример (в котором это предположение просто упрощает расчет, а не является необходимым для него) состоит в том, что вероятность увидеть орла в первый раз после четного числа подбрасываний в последовательности подбрасываний монеты равна ${\tfrac {1}{3}}$ . ^{[ 9 ]}

Интерпретация и дальнейшее обсуждение

Теорема Кокса стала использоваться как одно из оправданий использования байесовской теории вероятностей . Например, у Джейнса это подробно обсуждается в главах 1 и 2 и является краеугольным камнем всей остальной книги. ^{[ 8 ]} Вероятность интерпретируется как формальная система логики (в которой каждое утверждение либо истинно, либо ложно ) , естественное расширение аристотелевской логики в область рассуждений в присутствии неопределенности.

Были дебаты о том, в какой степени теорема исключает альтернативные модели рассуждений о неопределенности . Например, если отбросить некоторые «неинтуитивные» математические предположения, то можно будет разработать альтернативы, например, пример, предоставленный Халперном. ^{[ 6 ]} Однако Арнборг и Сьёдин ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]} предложить дополнительные постулаты «здравого смысла», которые позволили бы в некоторых случаях смягчить предположения, но при этом исключили бы пример Халперна. Другие подходы были разработаны Харди. ^{[ 10 ]} или Дюпре и Типлер. ^{[ 11 ]}

Исходная формулировка теоремы Кокса содержится в книге Кокса (1946) , которая расширена дополнительными результатами и дополнительным обсуждением в книге Кокса (1961) . Джейнс ^{[ 8 ]} цитирует Авеля ^{[ 12 ]} для первого известного использования функционального уравнения ассоциативности. Янош Ачел ^{[ 13 ]} приводит подробное доказательство «уравнения ассоциативности» (стр. 256–267). Джейнс ^{[ 8 ]}^: 27 воспроизводит более короткое доказательство Кокса, в котором предполагается дифференцируемость. Руководство Ван Хорна по теореме Кокса призвано всесторонне познакомить читателя со всеми этими ссылками. ^{[ 14 ]}

Баодин Лю, основатель теории неопределенности , критикует теорему Кокса за предположение, что значение конъюнкции истинное $P\land Q$ это дважды дифференцируемая функция $f$ истинностных значений двух предложений $P$ и $Q$ , то есть, $T(P\land Q)=f(T(P),T(Q))$ , что исключает «неопределенную меру» теории неопределенности с самого начала, поскольку функция $f(x,y)=x\land y$ , ^{[ а ]} используемый в теории неопределенности, не дифференцируем по $x$ и $y$ . ^{[ 15 ]} По словам Лю, «не существует никаких доказательств того, что истинностное значение конъюнкции полностью определяется истинностными значениями отдельных предложений, не говоря уже о дважды дифференцируемой функции». ^{[ 15 ]}

См. также

Примечания

^ Лю использует символ ∧ как «оператор минимума», скорее всего, имея в виду бинарную операцию, которая принимает два числа и возвращает меньшее (или минимум) из двух.

Ссылки

^ Кокс, RT (1946). «Вероятность, частота и разумные ожидания». Американский журнал физики . 14 (1): 1–10. Бибкод : 1946AmJPh..14....1C . дои : 10.1119/1.1990764 .
^ Кокс, RT (1961). Алгебра вероятного вывода . Балтимор, Мэриленд: Издательство Университета Джонса Хопкинса.
^ Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Шёдин, «Об основах байесианства», препринт: Nada, KTH (1999) — http://www.stats.org.uk/cox-theorems/ArnborgSjodin2001.pdf
^ Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Сьёдин, Заметка об основах байесианства, Препринт: Nada, KTH (2000a) — http://www.stats.org.uk/bayesian/ArnborgSjodin1999.pdf
^ Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Шёдин, «Правила Байеса в конечных моделях», Европейская конференция по искусственному интеллекту, Берлин, (2000b) — https://frontiersinai.com/ecai/ecai2000/pdf/p0571.pdf
^ Перейти обратно: ^а ^б Джозеф Ю. Халперн, «Контрпример к теоремам Кокса и Файна», Journal of AI Research, 10, 67–85 (1999) — http://www.jair.org/media/536/live-536-2054- jair.ps.Z. Архивировано 25 ноября 2015 г. в Wayback Machine.
^ Джозеф Ю. Халперн, «Техническое приложение, пересмотренная теорема Кокса», Журнал исследований искусственного интеллекта, 11, 429–435 (1999) — http://www.jair.org/media/644/live-644-1840-jair .ps.Z. Архивировано 25 ноября 2015 г. на Wayback Machine.
^ Перейти обратно: ^а ^б ^с ^д Эдвин Томпсон Джейнс , Теория вероятностей: логика науки, издательство Кембриджского университета (2003). - препринтная версия (1996 г.) на «Архивная копия» . Архивировано из оригинала 19 января 2016 г. Проверено 19 января 2016 г. {{cite web}}: CS1 maint: архивная копия как заголовок ( ссылка ) ; Главы 1–3 опубликованной версии на http://bayes.wustl.edu/etj/prob/book.pdf.
^ Прайс, Дэвид Т. (1974), «Счетная аддитивность для вероятностных мер», American Mathematical Monthly , 81 : 886–889, doi : 10.2307/2319450 , JSTOR 2319450 , MR 0350798
^ Майкл Харди, «Масштабированные булевы алгебры», «Достижения в области прикладной математики» , август 2002 г., страницы 243–292 (или препринт ); Харди сказал: «Я утверждаю, что считаю предположения Кокса слишком сильными, хотя на самом деле я не говорю, почему. Я говорю, чем бы я их заменил». (Цитата взята со страницы обсуждения в Википедии, а не из статьи.)
^ Дюпре, Морис Дж. и Типлер, Фрэнк Дж. (2009). «Новые аксиомы строгой байесовской вероятности» , Байесовский анализ , 4 (3): 599-606.
^ Нильс Хенрик Абель «Исследование функций двух независимо переменных величин x и y , таких как f ( x , y ), которые обладают тем свойством, что f [ z , f ( x , y )] является симметричной функцией z , x и y есть.», Жур. Рейне У. Математика (Журнал Крелля), 1, 11–15 (1826).
^ Янош Ачель , Лекции по функциональным уравнениям и их приложениям, Academic Press, Нью-Йорк (1966).
^ Ван Хорн, Канзас (2003). «Построение логики правдоподобного вывода: руководство к теореме Кокса». Международный журнал приближенного рассуждения . 34 : 3–24. дои : 10.1016/S0888-613X(03)00051-3 .
^ Перейти обратно: ^а ^б Лю, Баодин (2015). Теория неопределенности . Springer Uncertainty Research (4-е изд., 2015 г.). Берлин, Гейдельберг: Springer Берлин Гейдельберг : Выходные данные: Springer. стр. 459–460. ISBN 978-3-662-44354-5 .

Дальнейшее чтение

Прекрасно, Терренс Л. (1973). Теории вероятностей: исследование основ . Нью-Йорк: Академическая пресса. ISBN 0-12-256450-2 .
Смит, К. Рэй; Эриксон, Гэри (1989). «От рациональности и непротиворечивости к байесовской вероятности». В Скиллинге, Джон (ред.). Максимальная энтропия и байесовские методы . Дордрехт: Клювер. стр. 29–44. дои : 10.1007/978-94-015-7860-8_2 . ISBN 0-7923-0224-9 .

[15] Лю использует символ ∧ как «оператор минимума», скорее всего, имея в виду бинарную операцию, которая принимает два числа и возвращает меньшее (или минимум) из двух.

[1] Кокс, RT (1946). «Вероятность, частота и разумные ожидания». Американский журнал физики . 14 (1): 1–10. Бибкод : 1946AmJPh..14....1C . дои : 10.1119/1.1990764 .

[2] Кокс, RT (1961). Алгебра вероятного вывода . Балтимор, Мэриленд: Издательство Университета Джонса Хопкинса.

[AS1999-3] Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Шёдин, «Об основах байесианства», препринт: Nada, KTH (1999) — http://www.stats.org.uk/cox-theorems/ArnborgSjodin2001.pdf

[AS2000a-4] Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Сьёдин, Заметка об основах байесианства, Препринт: Nada, KTH (2000a) — http://www.stats.org.uk/bayesian/ArnborgSjodin1999.pdf

[AS2000b-5] Перейти обратно: ^а ^б Стефан Арнборг и Гуннар Шёдин, «Правила Байеса в конечных моделях», Европейская конференция по искусственному интеллекту, Берлин, (2000b) — https://frontiersinai.com/ecai/ecai2000/pdf/p0571.pdf

[H99a-6] Перейти обратно: ^а ^б Джозеф Ю. Халперн, «Контрпример к теоремам Кокса и Файна», Journal of AI Research, 10, 67–85 (1999) — http://www.jair.org/media/536/live-536-2054- jair.ps.Z. Архивировано 25 ноября 2015 г. в Wayback Machine.

[H99b-7] Джозеф Ю. Халперн, «Техническое приложение, пересмотренная теорема Кокса», Журнал исследований искусственного интеллекта, 11, 429–435 (1999) — http://www.jair.org/media/644/live-644-1840-jair .ps.Z. Архивировано 25 ноября 2015 г. на Wayback Machine.

[Jaynes2003-8] Перейти обратно: ^а ^б ^с ^д Эдвин Томпсон Джейнс , Теория вероятностей: логика науки, издательство Кембриджского университета (2003). - препринтная версия (1996 г.) на «Архивная копия» . Архивировано из оригинала 19 января 2016 г. Проверено 19 января 2016 г. {{cite web}}: CS1 maint: архивная копия как заголовок ( ссылка ) ; Главы 1–3 опубликованной версии на http://bayes.wustl.edu/etj/prob/book.pdf.

[9] Прайс, Дэвид Т. (1974), «Счетная аддитивность для вероятностных мер», American Mathematical Monthly , 81 : 886–889, doi : 10.2307/2319450 , JSTOR 2319450 , MR 0350798

[10] Майкл Харди, «Масштабированные булевы алгебры», «Достижения в области прикладной математики» , август 2002 г., страницы 243–292 (или препринт ); Харди сказал: «Я утверждаю, что считаю предположения Кокса слишком сильными, хотя на самом деле я не говорю, почему. Я говорю, чем бы я их заменил». (Цитата взята со страницы обсуждения в Википедии, а не из статьи.)

[rbp-11] Дюпре, Морис Дж. и Типлер, Фрэнк Дж. (2009). «Новые аксиомы строгой байесовской вероятности» , Байесовский анализ , 4 (3): 599-606.

[12] Нильс Хенрик Абель «Исследование функций двух независимо переменных величин x и y , таких как f ( x , y ), которые обладают тем свойством, что f [ z , f ( x , y )] является симметричной функцией z , x и y есть.», Жур. Рейне У. Математика (Журнал Крелля), 1, 11–15 (1826).

[13] Янош Ачель , Лекции по функциональным уравнениям и их приложениям, Academic Press, Нью-Йорк (1966).

[14] Ван Хорн, Канзас (2003). «Построение логики правдоподобного вывода: руководство к теореме Кокса». Международный журнал приближенного рассуждения . 34 : 3–24. дои : 10.1016/S0888-613X(03)00051-3 .

[:0-16] Перейти обратно: ^а ^б Лю, Баодин (2015). Теория неопределенности . Springer Uncertainty Research (4-е изд., 2015 г.). Берлин, Гейдельберг: Springer Берлин Гейдельберг : Выходные данные: Springer. стр. 459–460. ISBN 978-3-662-44354-5 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ а ]

[ 15 ]