Теория функциональных решений
Функциональная теория принятия решений (FDT) — это школа мысли в рамках теории принятия решений , которая утверждает, что, когда рациональный агент сталкивается с набором возможных действий, он должен выбрать процедуру принятия решения ( фиксированную математическую функцию принятия решения , в отличие от единичного действия). ), что приводит к наилучшему результату. [ 1 ] [ 2 ] Его цель — предоставить более надежный метод максимизации полезности — меры того, насколько результат удовлетворяет предпочтениям агента — чем более известные теории принятия решений, теория причинного решения (CDT) и теория доказательного решения (EDT).
В целом CDT утверждает, что агент должен учитывать причинные последствия своих действий, чтобы максимизировать полезность; [ 3 ] другими словами, он предписывает действовать таким образом, который приведет к наилучшим последствиям в данной ситуации. [ 4 ] EDT утверждает, что агент должен смотреть на то, насколько вероятны определенные результаты с учетом его действий и наблюдений (независимо от причинно-следственной связи); другими словами, он советует агенту «делать то, что вы больше всего хотите узнать, что вы будете делать». [ 5 ] Многие сторонники FDT утверждают, что, поскольку существуют сценарии, в которых CDT, EDT или оба не предписывают наиболее рациональный выбор, обе теории неверны. [ 1 ] [ 6 ]
Фон
[ редактировать ]Впервые FDT был предложен Элиэзером Юдковски и Нейтом Соаресом в исследовательской работе 2017 года, поддержанной Исследовательским институтом машинного интеллекта (MIRI) . [ 1 ] До этой публикации Юдковский предложил другую, хотя и похожую, теорию принятия решений, которую он назвал Теорией принятия вневременных решений (TDT) . [ 7 ] Грубо говоря, теория вневременных решений утверждает, что вместо того, чтобы действовать так, как будто вы определяете индивидуальное решение, вы должны действовать так, как будто вы определяете результат абстрактного вычисления. [ 8 ] Первоначальная статья и идея, лежащая в основе TDT, рассматривались как незавершенная работа, которая вызвала много критики из-за своей неопределенности. [ 9 ]
В широком смысле FDT можно рассматривать как замену TDT. [ 10 ] и обобщение Вэй Дая теории безобновляемых решений (UDT) . [ 11 ] [ 12 ]
Неофициальное описание
[ редактировать ]Неформально теория функционального принятия решений рекомендует агенту выбрать процедуру принятия решения, которая дает наилучший результат. Он утверждает, что агент обладает моделью своих процедур принятия решений (которую надежный предсказатель также должен знать с высокой степенью достоверности) и которую он может соответствующим образом изменить. В качестве наглядного примера: когда вы вводите на калькуляторе «2 + 2» и получаете ответ «4», вы заключаете, что 2 + 2 = 4, потому что калькулятор выполняет ту же функцию. Точно так же предиктор, например, в задачах типа Ньюкомба, также запускает ту же функцию принятия решения, что и агент, чтобы предсказать его действия. [ 2 ]
Философские мысленные эксперименты
[ редактировать ]FDT превосходит CDT и EDT
[ редактировать ]Автостопщик Парфита
[ редактировать ]Эта проблема показывает сценарий, в котором FDT превосходит CDT и EDT одновременно. [ нужна ссылка ] В нем говорится: «Агент умирает в пустыне. Приходит водитель и предлагает подвезти агента до города, но только в том случае, если агент согласится посетить банкомат по прибытии и дать водителю 1000 долларов. У водителя не будет возможности добиться этого после прибытия, но у него есть исключительная способность обнаруживать ложь с точностью 99%. Если агента оставить умирать, он потеряет сумму, эквивалентную 1 000 000 долларов. В случае, если агент доберется до города, должна ли она пойти в банкомат и заплатить водителю?» [ 13 ]
Агент CDT говорит нет. Учитывая, что она благополучно прибыла в город, она не видит никакой дополнительной выгоды от оплаты водителю. Агент EDT соглашается: если предположить, что она уже в городе, для нее было бы плохой новостью узнать, что она потеряла 1000 долларов. Если предположить, что агенты CDT и EDT достаточно умны, чтобы знать, что они будут делать по прибытии в город, это означает, что ни один из них не может честно заявить, что они заплатят. Водитель, обнаружив ложь, оставляет их умирать в пустыне. Предписания CDT и EDT здесь противоречат интуиции многих людей, которые говорят, что наиболее «рациональный» образ действий — заплатить по прибытии в город. Конечно, если бы у этих агентов была возможность взять на себя обязательные предварительные обязательства по оплате по прибытии, они достигли бы лучших результатов.
Агент FDT рассуждает, что водитель моделирует ее рассуждения, чтобы обнаружить ее ложь. Таким образом, она платит, хотя знает, что уже вышла из пустыни. Хотя может показаться иррациональным платить, даже если вы уже находитесь за пределами пустыни, удобно быть агентом, который платит в таких сценариях, потому что это означает, что вы, еще находясь в пустыне, можете честно заявить, что заплатите, как только окажетесь в городе, и, следовательно, это означает, что водитель отвезет вас. [ 1 ]
Шантажировать
[ редактировать ]Следующая дилемма, как утверждает Юдковский:
У шантажиста есть неприятная информация, которая обвиняет как шантажиста, так и агента. Она написала компьютерную программу, которая, если ее запустить, опубликует ее в Интернете, что обойдется им обоим в 1 000 000 долларов в качестве компенсации. Если программа запущена, единственный способ ее остановить — это перевести агенту шантажисту 1000 долларов в течение 24 часов; шантажист не сможет остановить программу после ее запуска. Шантажистка хотела бы получить 1000 долларов, но не хочет рисковать оговорить себя, поэтому она запускает программу только в том случае, если совершенно уверена, что агент заплатит. Она также является идеальным предсказателем агента и запускает программу (которая при запуске автоматически уведомляет ее посредством письма с шантажом), если она предсказывает, что заплатит после получения шантажа. Представьте, что агент получает письмо с шантажом. Должна ли она перевести шантажисту 1000 долларов?
Хотя CDT и EDT заплатили бы шантажисту, агент FDT рассуждает: «Плата соответствует миру, в котором я теряю 1000 долларов; отказ соответствует миру, в котором меня никогда не шантажируют (как это и предсказывал шантажист). Последний выглядит лучше, поэтому я отказываюсь». Таким образом, ее никогда не шантажируют — по словам Юдковски, ее контрфактические рассуждения оказались верными. [ 1 ]
FDT и EDT превосходят CDT
[ редактировать ]Парадокс Ньюкомба
[ редактировать ]В «Парадоксе Ньюкомба » агент оказывается перед прозрачной коробкой с надписью «А», в которой находится 1000 долларов, и непрозрачной коробкой с надписью «Б», которая содержит либо 1 000 000 долларов, либо 0 долларов. Надежный предсказатель, который делал подобные прогнозы в прошлом и оказывался прав в 99% случаев, утверждает, что положил 1 000 000 долларов в ящик B, если она предсказала, что агент оставит ящик A позади. Предсказательница уже сделала свое предсказание и ушла. Ящик B теперь пуст или полон. Должен ли агент взять обе коробки («два бокса») или только коробку B, оставив прозрачную коробку, содержащую 1000 долларов («один бокс»)?
| Прогнозируемый один-бокс | Прогнозируемый два бокса | |
|---|---|---|
| Один-бокс | $1,000,000 | $0 |
| Два бокса | $1,001,000 | $1,000 |
Агент, использующий CDT, утверждает, что в тот момент, когда он принимает решение о выборе одного или двух ящиков, предсказатель уже положил либо миллион долларов, либо ничего не положил в ящик B. Теперь ее собственное решение не может изменить предыдущее решение предсказателя. ; она не может сделать прошлое другим. Более того, независимо от того, каково на самом деле содержимое коробки Б, два бокса дают дополнительную тысячу долларов. Таким образом, агент CDT состоит из двух ящиков. Напротив, агент EDT утверждает следующее: «Если я сделаю два ящика, предсказатель почти наверняка это предскажет. Таким образом, два бокса «будущего меня» будут убедительным доказательством того, что ящик Б пуст. Если я сделаю один бокс, предсказатель почти наверняка предскажет и это — именно поэтому мой будущий бокс будет убедительным доказательством того, что в ящике Б лежит миллион долларов». Следуя этой логике рассуждений, агент EDT, в отличие от агента CDT, является единым ящиком. [ 14 ]
В случае с агентом FDT она считает, что предсказатель должен иметь модель своего процесса принятия решений. Следовательно, было бы лучше, если бы процедура принятия решения агента FDT приводила к ее однобоксу, потому что тогда модель предиктора процедуры принятия решения агента FDT также выдавала бы однобокс, что привело бы его к предсказанию, что агент FDT будет использовать один ящик и положите миллион долларов в ящик B. Тогда, поскольку FDT и EDT имеют одну коробку, они получат миллион, что опережает CDT, который получает только 1000 долларов за две коробки. [ 15 ]
В общем, задача Ньюкомба иллюстрирует ситуации выбора, в которых:
- Вариант (один-бокс), достоверно указывающий на наличие некоторого желаемого состояния (в ящике Б лежит миллион долларов)
- Другой вариант (два бокса), который достоверно указывает на наличие некоторого нежелательного состояния (ящик Б пуст), часто сопровождающегося некоторой дополнительной выгодой (1000 долларов из ящика А).
- Ни один из вариантов не способствует возникновению состояния (предсказатель уже разложил деньги по ящикам). [ 16 ]
Психологическая дилемма узника-близнеца
[ редактировать ]В этом варианте «Дилеммы узника » агент и ее близнец должны выбрать либо «сотрудничать», либо «дезертировать». Если оба будут сотрудничать, каждый из них получит по 1 000 000 долларов. Если оба откажутся, каждый из них получит по 1000 долларов. Если один сотрудничает, а другой отказывается, перебежчик получает 1 001 000 долларов, а сотрудничающий ничего не получает. Агент и близнец знают, что они рассуждают одинаково, используя одни и те же соображения, чтобы прийти к своим выводам. Однако их решения причинно независимы, принимаются в отдельных помещениях без связи. Должен ли агент сотрудничать со своим близнецом? [ 1 ]
Агент CDT дезертирует, поскольку она будет утверждать, что независимо от того, какие действия предпримет ее близнец, она выиграет дополнительную тысячу долларов, дезертировав. Она и ее близнец рассуждают таким образом и, таким образом, обе уходят с 1000 долларами. EDT предписывал бы сотрудничество на том основании, что было бы хорошей новостью узнать, что кто-то сотрудничал, поскольку это предоставило бы доказательства того, что близнец тоже сотрудничал. [ 17 ]
В случае с агентом FDT она будет сотрудничать, мотивируя это тем, что, поскольку ее близнец и она следуют одному и тому же ходу рассуждений, если он придет к выводу, что сотрудничество лучше, то оба будут сотрудничать и получат 1 000 000 долларов. Если он придет к выводу, что бегство лучше, тогда оба дезертируют и получат всего лишь 1000 долларов. Поскольку первое предпочтительнее и поскольку оба близнеца имеют одинаковую процедуру принятия решений, ход рассуждений завершается сотрудничеством. [ 2 ] [ 1 ]
Смерть в Дамаске
[ редактировать ]В этом сюжете агент встречает Смерть в Дамаске , и ему говорят, что Смерть придет за ней завтра, как это записано в его книге встреч, включая место события. Этот агент знает, что решение бежать в Алеппо (стоимостью 1000 долларов) означает, что Смерть будет в Алеппо завтра, тогда как пребывание в Дамаске означает, что Смерть будет в Дамаске завтра. Стоит ли ей остаться или бежать? ФДТ предложила бы остаться, так как что бы ее ни ждала Смерть, ведь у нее своя процедура принятия решения, поэтому лучше отложить лишние 1000 долларов. Однако CDT ставится нестабильно, поскольку основывает свое решение на гипотетической гипотезе о том, что действие Смерти не зависит от его действий (как это уже было написано в книге). [ 18 ] [ 1 ]
FDT и CDT превосходят EDT
[ редактировать ]Проблема поражения курением
[ редактировать ]В то время как в «Парадоксе Ньюкомба» FDT и EDT превосходят CDT, в «Проблеме поражения от курения» утверждается, что FDT и CDT превосходят EDT.
Рассмотрим гипотетический мир, в котором курение тесно связано с раком легких , но только потому, что существует общая причина – состояние, которое имеет тенденцию вызывать как курение, так и рак. Как только мы зафиксируем наличие или отсутствие этого состояния, дополнительной корреляции между курением и раком не будет. Если Сьюзен предпочитает курить без рака, чем не курить без рака, и предпочитает курить с раком, чем не курить с раком, должна ли Сьюзен курить? [ 19 ]
| Больной | Здоровый | |
|---|---|---|
| Дым | 50 | 100 |
| Воздерживаться | 25 | 75 |
EDT говорит Сьюзан не курить [ нужна ссылка ] , потому что он рассматривает тот факт, что ее курение является доказательством того, что у нее есть поражение, и, следовательно, является доказательством того, что она может заболеть раком, как причину не курить. Теория причинного решения советует ей курить, поскольку она не рассматривает связь между действием и плохим результатом как причину не совершать действие, а скорее считает, что курение не оказывает причинного влияния на то, заболеет ли человек раком или нет. В случае ФДТ метастазирование рака не зависит от результата процедуры ФДТ, поскольку не существует зависимости курения и рака, поэтому ФДТ рекомендует курить. Поскольку курение приносит Сьюзен больше пользы независимо от того, больна ли она раком или нет (что она не может контролировать), считается, что «правильный» ответ — курить. [ 19 ] [ 2 ] [ 1 ] Тем не менее, ведется дискуссия о том, действительно ли это правильный подход. [ 20 ]
Формальное описание
[ редактировать ]Юдковский формализует функциональную теорию принятия решений по следующей формуле: [ 1 ]
![{\displaystyle \operatorname {FDT} (P,G,x):=\operatorname {arg\,max} \operatorname {E} [V|\operatorname {do} (\operatorname {FDT} (P,G,x)=a)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/04b474b7ca71bc4eeb1481d68f54d9b2c0873e8d)
Критика
[ редактировать ]Юдковски и Соарес предполагают, что агент FDT уверен, что она следует FDT, и это знание закрепляется при всех контрфактических предположениях. Более того, сторонники теории принятия решений не согласны с «правильным» или «рациональным» решением всех проблем, которые, как утверждают Юдковский и Соарес, решает FDT. Фактически, многие предполагают, что FDT в некоторых случаях дает безумные рекомендации, как подробно описал Вольфганг Шварц: [ 6 ]
Предположим, вы совершили неосторожность, которая погубит вас, если она станет достоянием общественности. Вы можете избежать разорения, заплатив один раз шантажисту 1 доллар. Конечно, вам придется заплатить! FDT утверждает, что вы не должны платить, потому что, если бы вы были человеком, который не платит, вас, вероятно, не стали бы шантажировать. Насколько это вообще актуально? Вас шантажируют . Вопрос о том, чтобы не подвергаться шантажу, не обсуждается. Это не то, что вы можете выбрать.
Аналогично, в варианте задачи Ньюкомба, где вы уже знаете содержимое коробки с миллионом долларов:
Предположим, вы видите 1000 долларов в левом поле и миллион в правом. Если бы вы взяли обе коробки, вы получили бы миллион и тысячу. Если бы вы взяли правильную коробку, вы бы получили миллион. Итак, теория причинно-следственных решений говорит, что вам следует взять [оба] поля. Однако вы следуете FDT и уверены в этом. Если бы FDT рекомендовала два бокса, то любой агент FDT на протяжении всей истории придерживался бы двухбоксов. И, что особенно важно, предсказатель (вероятно) предвидел, что вы сделаете два ящика, поэтому он ничего не положил бы в ящик справа. В результате, если бы FDT рекомендовал два бокса, вы, вероятно, получили бы 1000 долларов. Конечно, вы знаете, что в ящике справа лежит миллион. Вы можете это видеть. Но, по мнению FDT, это не имеет значения. Важно то, что будет в коробке относительно различных предположений о том, что рекомендует FDT. Поэтому FDT рекомендует использовать одну коробку, несмотря на то, что вы получаете на 1000 долларов меньше. [ 6 ]
В целом критику теории функционального принятия решений можно резюмировать в следующих аргументах. [ 21 ]
- FDT может давать странные рекомендации, т.е. не максимизирует полезность.
- FDT предполагает, что предиктор использует ваш алгоритм для прогнозирования ваших действий, а не другие методы надежного прогнозирования.
- «Неправдоподобные разрывы» — если предиктор заменяется физическим процессом (например, поражением от курения), то FDT меняет свои рекомендации.
- Не существует объективного факта, позволяющего определить, используют ли два процесса один и тот же алгоритм или нет.
См. также
[ редактировать ]- Принятие решений
- Теория причинно-следственных решений
- Теория доказательных решений
- Парадокс Ньюкомба
- Элиэзер Юдковский
- Научно-исследовательский институт машинного интеллекта
- МеньшеНеправильно
Ссылки
[ редактировать ]- ^ Jump up to: а б с д и ж г час я дж Юдковский, Элиэзер; Соарес, Нейт (13 октября 2017 г.). «Теория функциональных решений: новая теория инструментальной рациональности». arXiv : 1710.05060 [ cs.AI ].
- ^ Jump up to: а б с д Хаан, Хейн де (06 октября 2022 г.). «Как реализовать теорию принятия решений (расширенная)» . Как построить ASI . Проверено 21 ноября 2022 г.
- ^ Вейрих, Пол (2020), «Теория причинно-следственных решений» , в Залте, Эдвард Н. (ред.), Стэнфордская энциклопедия философии (изд. зимой 2020 г.), Лаборатория метафизических исследований, Стэнфордский университет , получено 14 ноября 2022 г.
- ^ Каспер, Стивен (03 января 2020 г.). «Теория принятия решений I: понимание теории функционального принятия решений» . Середина . Проверено 14 ноября 2022 г.
- ^ Ахмед, Ариф (31 октября 2021 г.). Теория доказательного принятия решений (1-е изд.). Издательство Кембриджского университета. дои : 10.1017/9781108581462 . ISBN 978-1-108-58146-2 . S2CID 263520679 .
- ^ Jump up to: а б с «Вольфганг Шварц :: О теории функциональных решений» . www.umsu.de. Проверено 28 октября 2022 г.
- ^ Юдковский, Элиезер (2010). Теория вневременных решений (PDF) . Институт сингулярности.
- ^ «Введение в теорию вневременных решений» . Формализованное мышление . 19 августа 2010 г. Проверено 21 ноября 2022 г.
- ^ «Открытая тема, сентябрь, часть 3» . www.greaterwrong.com . Проверено 21 ноября 2022 г.
- ^ «Теория вневременных решений – меньше ошибок» . www.lesswrong.com . Проверено 21 ноября 2022 г.
- ^ «Теория принятия необновляемых решений — меньше ошибок» . www.lesswrong.com . Проверено 03 сентября 2023 г.
- ^ Бенджамин А., Левинштейн; Соарес, Нейт. «Обман смерти в Дамаске» (PDF) . Журнал философии . 117 (5): 237–266.
- ^ Хаан, Хейн де (07 октября 2022 г.). «Как решить проблему «Автостопом Парфита»» . Середина . Проверено 21 ноября 2022 г.
- ^ Хаан, Хейн де (9 марта 2022 г.). «Как реализовать теорию принятия решений» . Как построить ASI . Проверено 28 октября 2022 г.
- ^ Хаан, Хейн де (6 апреля 2022 г.). «Как реализовать функциональную теорию принятия решений» . Как построить ASI . Проверено 21 ноября 2022 г.
- ^ Джойс, Джеймс М. (1999). Основы теории причинных решений . Кембриджские исследования в области теории вероятностей, индукции и принятия решений. Кембридж: Издательство Кембриджского университета. дои : 10.1017/cbo9780511498497 . ISBN 978-0-521-64164-7 .
- ^ Льюис, Дэвид (1979). «Дилемма заключенных — проблема Ньюкомба» . Философия и связи с общественностью . 8 (3): 235–240. ISSN 0048-3915 . JSTOR 2265034 .
- ^ Гиббард, Аллан; Харпер, Уильям Л. (1981), Харпер, Уильям Л.; Сталнакер, Роберт; Пирс, Гленн (ред.), «Контрфакты и два вида ожидаемой полезности» , IFS: Условные обозначения, убеждения, решение, шанс и время , Дордрехт: Springer Нидерланды, стр. 153–190, doi : 10.1007/978-94-009 -9117-0_8 , HDL : 10419/220553 , ISBN 978-94-009-9117-0 , получено 21 ноября 2022 г.
- ^ Jump up to: а б Иган, Энди (2007). «Некоторые контрпримеры к теории причинно-следственных решений» . Философское обозрение . 116 (1): 93–114. дои : 10.1215/00318108-2006-023 . ISSN 0031-8108 . JSTOR 20446939 .
- ^ совершенно бесполезно (02.11.2015). «Курение Поражение» . Совершенно бесполезно . Проверено 21 ноября 2022 г.
- ^ wdmacaskill. «Критика теории функциональных решений» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь )