Ограбление Паскаля

В философии демонстрирующий ограбление Паскаля — это мысленный эксперимент, проблему максимизации ожидаемой полезности. Рациональный агент должен выбирать действия, результаты которых, взвешенные по их вероятности, имеют более высокую полезность . Но некоторые очень маловероятные результаты могут иметь очень большую полезность, и эта полезность может расти быстрее, чем уменьшается вероятность. Следовательно, агенту следует больше сосредоточиться на совершенно невероятных случаях с невероятно высокими вознаграждениями; это приводит сначала к нелогичному выбору, а затем к бессвязности, поскольку полезность каждого выбора становится неограниченной.

Название отсылает к пари Паскаля , но в отличие от пари оно не требует бесконечных вознаграждений. ^{[ 1 ]} Это позволяет избежать многих возражений против дилеммы пари Паскаля, основанных на природе бесконечности. ^{[ 2 ]}

Постановка задачи

Термин «ограбление Паскаля» для обозначения этой проблемы изначально был придуман Элиэзером Юдковски на LessWrong форуме . ^{[ 3 ]}^{[ 2 ]} Философ Ник Бостром позже разработал мысленный эксперимент в форме вымышленного диалога. ^{[ 2 ]} Впоследствии другие авторы опубликовали свои продолжения событий этого первого диалога, переняв тот же литературный стиль. ^{[ 4 ]}^{[ 5 ]}

В описании Бострома ^{[ 2 ]} К Блезу Паскалю обращается грабитель, забывший свое оружие. Однако грабитель предлагает сделку: философ отдает им свой кошелек, а взамен грабитель завтра вернет двойную сумму денег. Паскаль отказывается, указывая на то, что сделка вряд ли будет выполнена. Затем грабитель продолжает называть более высокие награды, указывая, что даже если это всего лишь один шанс из 1000, что они будут почетными, для Паскаля имело бы смысл заключить сделку на возврат в 2000 раз. Паскаль отвечает, что вероятность такого высокого дохода даже ниже, чем один из 1000. Грабитель возражает, что для любой низкой, но строго большей вероятности возврата большой суммы денег (или чистой полезности), существует конечная сумма, что делает разумным принять ставку. В одном примере грабитель добивается успеха, обещая Паскалю 1000 квадриллионов счастливых дней жизни. Убежденный аргументом, Паскаль дает грабителю бумажник.

В одном из примеров Юдковски грабитель преуспевает, говоря: «дайте мне пять долларов, или я использую свои магические силы из-за пределов Матрицы , чтобы запустить машину Тьюринга , которая моделирует и убивает $3\uparrow \uparrow \uparrow \uparrow 3$ человек». Здесь число $3\uparrow \uparrow \uparrow \uparrow 3$ использует обозначение Кнута со стрелкой вверх ; для записи числа по основанию 10 потребовалось бы гораздо больше материала для письма, чем атомов в известной Вселенной. ^{[ 3 ]}

Предполагаемый парадокс является результатом двух противоречивых взглядов. С одной стороны, умножая расчет ожидаемой полезности , предполагая, что потеря в пять долларов будет оценена в $f$ , потеря жизни, которая будет оценена в $l$ , и вероятность того, что грабитель говорит правду в $t$ , решение состоит в том, чтобы отдать деньги тогда и только тогда, когда $(3\uparrow \uparrow \uparrow \uparrow 3)\times t\times l>f$ . Предполагая, что $l$ выше, чем $f$ , пока $t$ выше, чем $1/(3\uparrow \uparrow \uparrow \uparrow 3)$ , что считается правдой, ^{[ примечание 1 ]} считается разумным заплатить грабителю. С другой стороны, платить грабителю интуитивно иррационально из-за возможности его использования. Если человек, подвергшийся ограблению, согласится с этой логикой, то его можно будет неоднократно эксплуатировать за все его деньги, что приведет к созданию голландской книги , что обычно считается иррациональным. Мнения о том, какой из этих аргументов логически верен, различаются. ^{[ 3 ]}

Более того, во многих, казалось бы, разумных системах принятия решений ограбление Паскаля приводит к тому, что ожидаемая полезность любого действия не сходится, поскольку необходимо учитывать неограниченную цепочку последовательно ужасных сценариев, подобных ограблению Паскаля. ^{[ 7 ]}^{[ 8 ]}

Некоторые из аргументов, касающихся этого парадокса, затрагивают не только теорию максимизации ожидаемой полезности, но также могут быть применимы и к другим теоретическим системам, таким как , например, консеквенциалистская этика . ^{[ примечание 2 ]}

Последствия и способы устранения

Философ Ник Бостром утверждает, что ограбление Паскаля, как и пари Паскаля, предполагает, что предоставление сверхразумному искусственному интеллекту ошибочной теории принятия решений может иметь катастрофические последствия. ^{[ 10 ]} Ограбление Паскаля также может иметь значение при рассмотрении маловероятных событий с высокими ставками, таких как экзистенциальный риск или благотворительные мероприятия с низкой вероятностью успеха, но чрезвычайно высокими вознаграждениями. Здравый смысл, кажется, подсказывает, что тратить усилия на слишком маловероятные сценарии иррационально.

Одним из предлагаемых способов решения проблемы может быть использование только ограниченных функций полезности: вознаграждение не может быть сколь угодно большим. ^{[ 7 ]}^{[ 11 ]} Другой подход заключается в использовании байесовских рассуждений для (качественной) оценки качества доказательств и оценок вероятности, а не для наивного расчета ожиданий. ^{[ 6 ]} Другие подходы заключаются в том, чтобы наказать априорную вероятность гипотез, которые утверждают, что мы находимся в удивительно уникальном положении, позволяющем влиять на большое количество других людей, которые не могут влиять на нас симметрично. ^{[ примечание 3 ]} отклонить сначала предоставление вероятности выплаты, ^{[ 15 ]} или отказаться от процедур количественного принятия решений при наличии чрезвычайно больших рисков. ^{[ 8 ]}

См. также

Примечания

^ Хотя может показаться очень интуитивным, что вероятность $t$ не может быть таким маленьким, как $(3\uparrow \uparrow \uparrow \uparrow 3)^{-1}$ , это не обязательно так. Яркий пример: в байесовских моделях этой проблемы это неверно: ^{[ 6 ]} Здесь априорная вероятность того, что утверждение грабителя верно, уменьшается с увеличением необычности его заявления. Если его утверждение столь же экстраординарно, как в этом случае, его вероятность также будет чрезвычайно мала в байесовской модели. Более того, частотник может оценить вероятность реализации угрозы грабителя как равную 0, поскольку реализации такой чрезвычайной угрозы никогда не наблюдалось.
^ «Консеквенциалистская версия» ограбления Паскаля была предложена Брэдли Монтоном следующим образом: Странный человек протягивает вам ребенка и просит вас его пытать, говоря, что пытки предотвратят значительные несправедливые страдания большого количества разумных существ в некоторых случаях. далекая галактика. Хотя вероятность того, что пытки ребенка предотвратят страдания, очень мала, до тех пор, пока странный человек делает число заявленных существ из далекой галактики достаточно высоким, согласно консеквенциализму, оснащенному вероятностными моделями, в которых вероятность того, что пытки предотвратят страдания не уменьшается, если число галактик увеличивается (в частности, байесовские модели действительно имеют уменьшающуюся вероятность увеличения числа галактик, поскольку предыдущие обязательно будут концентрироваться вокруг некоторого фиксированного числа галактик), вам следует помучить ребенка. ^{[ 9 ]}
^ Этот «штраф за кредитное плечо» был впервые предложен Робином Хэнсоном в комментарии к первоначальной формулировке проблемы Юдковски; ^{[ 12 ]}^{[ 13 ]} Юдковски отметил, что это означало бы отказ верить в теории, предполагающие, что мы можем повлиять на огромное количество других, даже несмотря на то, что в противном случае могло бы выглядеть как неопровержимые наблюдательные доказательства в пользу этой теории. ^{[ 14 ]}

Ссылки

Цитаты

^ Хэггстрем 2016 , с. 82.
^ Перейти обратно: ^а ^б ^с ^д Бостром 2009 .
^ Перейти обратно: ^а ^б ^с Юдковский 2007 .
^ Бальфур 2021 .
^ Рассел 2022 .
^ Перейти обратно: ^а ^б Холден Карновски, Почему мы не можем воспринимать оценки ожидаемой стоимости буквально (даже если они объективны). Блог GiveWell, 18 августа 2011 г. http://blog.givewell.org/2011/08/18/why-we-cant-take-expected-value-estimates-literally-even-when-theyre-unbiased/
^ Перейти обратно: ^а ^б Де Блан, Питер. Сходимость ожидаемой полезности с алгоритмическими распределениями вероятностей (2007), arXiv : 0712.4318
^ Перейти обратно: ^а ^б Киран Маррей, «Решение вопросов неопределенности в этических расчетах экзистенциального риска», представлено на серии семинаров Совета экономических и социальных исследований по климатической этике и экономике климата: пятый семинар — «Риск и культура науки», май 2016 г. http://www.nottingham.ac .uk/climateethics Economics/documents/papers-workshop-5/marray.pdf
^ Монтон, Брэдли (2019). «Как избежать максимизации ожидаемой полезности» . Отпечаток философов . 19 (18): 1–25. hdl : 2027/spo.3521354.0019.018 .
^ Бостром, Ник (2014). «Выбор критериев выбора». Суперинтеллект: пути, опасности, стратегии . Оксфорд: Издательство Оксфордского университета. ISBN 978-0199678112 . Раздел «Теория принятия решений».
^ Коуэн, Тайлер; Высокий, Джек (1988). «Время, ограниченная полезность и петербургский парадокс». Теория и решение . 25 (3): 219–223. дои : 10.1007/BF00133163 . S2CID 120584258 .
↑ Робин Хэнсон (21 октября 2007 г.), комментарий к книге Элиэзера Юдковского «Ограбление Паскаля: крошечные вероятности огромных полезностей», LessWrong : «Люди говорили о предположении, что государства, в которых пострадало много людей, имеют низкую (априорную) вероятность. Это может быть так. более многообещающе предположить, что состояния, в которых пострадало много людей, имеют низкую корреляцию с тем, на что, по утверждениям случайного человека, он способен повлиять».
^ Томасик, Брайан (июнь 2016 г.). «Как аргумент моделирования ослабляет будущий фанатизм» (PDF) . Центр долгосрочных рисков . стр. 3–4. Архивировано (PDF) из оригинала 23 ноября 2021 г.
^ Юдковский, Элиэзер (8 мая 2013 г.). «Магл Паскаля: бесконечно малые априоры и веские доказательства» . МеньшеНеправильно . Архивировано из оригинала 27 июня 2016 г.
^ Бауманн, Питер (2009). «Считаем числа» (PDF) . Анализ . 69 (3): 446–448. дои : 10.1093/analys/anp061 . JSTOR 40607656 . Архивировано (PDF) из оригинала 21 ноября 2019 г.

Источники

Бальфур, Дилан (2021). «Грабитель Паскаля снова наносит удар» . Утилитас . 33 (1): 118–124. дои : 10.1017/s0953820820000357 . S2CID 229475903 .
Бостром, Ник (2009). «Ограбление Паскаля» (PDF) . Анализ (журнал) . 69 (3): 443–445. дои : 10.1093/analys/anp062 . JSTOR 40607655 .
Хэггстрем, Олле (2016). Здесь обитают драконы: наука, технологии и будущее человечества . Издательство Оксфордского университета. doi : 10.1093/acprof:oso/9780198723547.001.0001 . ISBN 978-0-19-872354-7 .
Рассел, Джеффри Сэнфорд (декабрь 2022 г.). «Планирование ограбления Паскаля» (PDF) . ФилПаперс .
Юдковский, Элиезер (19 октября 2007 г.). «Ограбление Паскаля: крошечные вероятности огромных полезностей» . МеньшеНеправильно . {{cite web}}: CS1 maint: ref дублирует дефолт ( ссылка )

[7] Хотя может показаться очень интуитивным, что вероятность $t$ не может быть таким маленьким, как $(3\uparrow \uparrow \uparrow \uparrow 3)^{-1}$ , это не обязательно так. Яркий пример: в байесовских моделях этой проблемы это неверно: ^{[ 6 ]} Здесь априорная вероятность того, что утверждение грабителя верно, уменьшается с увеличением необычности его заявления. Если его утверждение столь же экстраординарно, как в этом случае, его вероятность также будет чрезвычайно мала в байесовской модели. Более того, частотник может оценить вероятность реализации угрозы грабителя как равную 0, поскольку реализации такой чрезвычайной угрозы никогда не наблюдалось.

[11] «Консеквенциалистская версия» ограбления Паскаля была предложена Брэдли Монтоном следующим образом: Странный человек протягивает вам ребенка и просит вас его пытать, говоря, что пытки предотвратят значительные несправедливые страдания большого количества разумных существ в некоторых случаях. далекая галактика. Хотя вероятность того, что пытки ребенка предотвратят страдания, очень мала, до тех пор, пока странный человек делает число заявленных существ из далекой галактики достаточно высоким, согласно консеквенциализму, оснащенному вероятностными моделями, в которых вероятность того, что пытки предотвратят страдания не уменьшается, если число галактик увеличивается (в частности, байесовские модели действительно имеют уменьшающуюся вероятность увеличения числа галактик, поскольку предыдущие обязательно будут концентрироваться вокруг некоторого фиксированного числа галактик), вам следует помучить ребенка. ^{[ 9 ]}

[17] Этот «штраф за кредитное плечо» был впервые предложен Робином Хэнсоном в комментарии к первоначальной формулировке проблемы Юдковски; ^{[ 12 ]}^{[ 13 ]} Юдковски отметил, что это означало бы отказ верить в теории, предполагающие, что мы можем повлиять на огромное количество других, даже несмотря на то, что в противном случае могло бы выглядеть как неопровержимые наблюдательные доказательства в пользу этой теории. ^{[ 14 ]}

[FOOTNOTEHäggström201682-1] Хэггстрем 2016 , с. 82.

[FOOTNOTEBostrom2009-2] Перейти обратно: ^а ^б ^с ^д Бостром 2009 .

[FOOTNOTEYudkowsky2007-3] Перейти обратно: ^а ^б ^с Юдковский 2007 .

[FOOTNOTEBalfour2021-4] Бальфур 2021 .

[FOOTNOTERussell2022-5] Рассел 2022 .

[Karnofsky-6] Перейти обратно: ^а ^б Холден Карновски, Почему мы не можем воспринимать оценки ожидаемой стоимости буквально (даже если они объективны). Блог GiveWell, 18 августа 2011 г. http://blog.givewell.org/2011/08/18/why-we-cant-take-expected-value-estimates-literally-even-when-theyre-unbiased/

[de_blanc-8] Перейти обратно: ^а ^б Де Блан, Питер. Сходимость ожидаемой полезности с алгоритмическими распределениями вероятностей (2007), arXiv : 0712.4318

[Marray-9] Перейти обратно: ^а ^б Киран Маррей, «Решение вопросов неопределенности в этических расчетах экзистенциального риска», представлено на серии семинаров Совета экономических и социальных исследований по климатической этике и экономике климата: пятый семинар — «Риск и культура науки», май 2016 г. http://www.nottingham.ac .uk/climateethics Economics/documents/papers-workshop-5/marray.pdf

[10] Монтон, Брэдли (2019). «Как избежать максимизации ожидаемой полезности» . Отпечаток философов . 19 (18): 1–25. hdl : 2027/spo.3521354.0019.018 .

[12] Бостром, Ник (2014). «Выбор критериев выбора». Суперинтеллект: пути, опасности, стратегии . Оксфорд: Издательство Оксфордского университета. ISBN 978-0199678112 . Раздел «Теория принятия решений».

[13] Коуэн, Тайлер; Высокий, Джек (1988). «Время, ограниченная полезность и петербургский парадокс». Теория и решение . 25 (3): 219–223. дои : 10.1007/BF00133163 . S2CID 120584258 .

[14] Робин Хэнсон (21 октября 2007 г.), комментарий к книге Элиэзера Юдковского «Ограбление Паскаля: крошечные вероятности огромных полезностей», LessWrong : «Люди говорили о предположении, что государства, в которых пострадало много людей, имеют низкую (априорную) вероятность. Это может быть так. более многообещающе предположить, что состояния, в которых пострадало много людей, имеют низкую корреляцию с тем, на что, по утверждениям случайного человека, он способен повлиять».

[15] Томасик, Брайан (июнь 2016 г.). «Как аргумент моделирования ослабляет будущий фанатизм» (PDF) . Центр долгосрочных рисков . стр. 3–4. Архивировано (PDF) из оригинала 23 ноября 2021 г.

[16] Юдковский, Элиэзер (8 мая 2013 г.). «Магл Паскаля: бесконечно малые априоры и веские доказательства» . МеньшеНеправильно . Архивировано из оригинала 27 июня 2016 г.

[18] Бауманн, Питер (2009). «Считаем числа» (PDF) . Анализ . 69 (3): 446–448. дои : 10.1093/analys/anp061 . JSTOR 40607656 . Архивировано (PDF) из оригинала 21 ноября 2019 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ примечание 1 ]

[ 7 ]

[ 8 ]

[ примечание 2 ]

[ 10 ]

[ 11 ]

[ 6 ]

[ примечание 3 ]

[ 15 ]

[ 9 ]

[ 12 ]

[ 13 ]

[ 14 ]