ЗДЕСЬ

AIXI ['ai̯k͡siː] — теоретический математический формализм общего искусственного интеллекта .Он сочетает в себе индукцию Соломонова с теорией последовательных решений .AIXI был впервые предложен Маркусом Хаттером в 2000 году. а несколько результатов, касающихся AIXI, доказаны в книге Хаттера «Универсальный искусственный интеллект» 2005 года .

AIXI — агент обучения с подкреплением (RL) . Это максимизирует ожидаемую совокупную выгоду, полученную от окружающей среды. Интуитивно, он одновременно рассматривает каждую вычислимую гипотезу (или среду). На каждом временном этапе он просматривает каждую возможную программу и оценивает, сколько вознаграждений эта программа генерирует в зависимости от следующего предпринятого действия. Обещанные награды затем взвешиваются субъективным убеждением , что эта программа представляет собой истинную среду. Это убеждение рассчитывается на основе длины программы: более длинные программы считаются менее вероятными, что соответствует бритве Оккама . Затем AIXI выбирает действие, которое имеет наибольшую ожидаемую общую награду во взвешенной сумме всех этих программ.

Определение

AIXI — это агент обучения с подкреплением, который взаимодействует с некоторой стохастической и неизвестной, но вычислимой средой. $\mu$. Взаимодействие протекает по времени, от $t=1$ к $t=m$, где $m\in \mathbb {N}$ — срок службы агента AIXI. На временном шаге t агент выбирает действие $a_{t}\in {\mathcal {A}}$ (например, движение конечностей) и выполняет его в окружающей среде, а среда отвечает «восприятием». $e_{t}\in {\mathcal {E}}={\mathcal {O}}\times \mathbb {R}$, который состоит из «наблюдения» $o_{t}\in {\mathcal {O}}$ (например, изображение с камеры) и награда $r_{t}\in \mathbb {R}$, распределенная по условной вероятности $\mu (o_{t}r_{t}|a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t})$, где $a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t}$ это «история» действий, наблюдений и наград. Окружающая среда $\mu$ Таким образом, математически представляется как распределение вероятностей по «восприятиям» (наблюдениям и вознаграждениям), которые зависят от всей истории, поэтому нет никаких марковских предположений (в отличие от других алгоритмов RL). Еще раз обратите внимание, что это распределение вероятностей неизвестно агенту AIXI. Кроме того, еще раз отметим, что $\mu$ является вычислимым, то есть наблюдения и вознаграждения, полученные агентом от окружающей среды $\mu$ может быть вычислено какой-либо программой (работающей на машине Тьюринга ), учитывая прошлые действия агента AIXI.

Единственная максимизировать цель агента AIXI — $\sum _{t=1}^{m}r_{t}$, то есть сумма вознаграждений от шага 1 до m.

Агент AIXI связан со стохастической политикой. $\pi :({\mathcal {A}}\times {\mathcal {E}})^{*}\rightarrow {\mathcal {A}}$, функция, которую он использует для выбора действий на каждом временном шаге, где ${\mathcal {A}}$ — это пространство всех возможных действий, которые AIXI может предпринять и ${\mathcal {E}}$ — это пространство всех возможных «восприятий», которые может быть произведено окружающей средой. Окружающая среда (или распределение вероятностей) $\mu$ также можно рассматривать как стохастическую политику (которая является функцией): $\mu :({\mathcal {A}}\times {\mathcal {E}})^{*}\times {\mathcal {A}}\rightarrow {\mathcal {E}}$, где $*$ это операция звезды Клини .

В общем, на временном шаге $t$ (колеблется от 1 до m), AIXI, предварительно выполнив действия $a_{1}\dots a_{t-1}$ (которое в литературе часто сокращается как $a_{<t}$) и наблюдая историю восприятий $o_{1}r_{1}...o_{t-1}r_{t-1}$ (что можно сократить как $e_{<t}$), выбирает и выполняет в окружающей среде действие, $a_{t}$, определяемый следующим образом

$a_{t}:=\arg \max _{a_{t}}\sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$

или, используя круглые скобки, чтобы устранить неоднозначность приоритетов

$a_{t}:=\arg \max _{a_{t}}\left(\sum _{o_{t}r_{t}}\ldots \left(\max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\left(\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}\right)\right)\right)$

Интуитивно понятно, что в приведенном выше определении AIXI рассматривает сумму общего вознаграждения по всем возможным «фьючерсам» до $m-t$ время на шаг вперед (т. $t$ к $m$), взвешивает каждый из них по сложности программ $q$ (то есть по $2^{-{\textrm {length}}(q)}$) в соответствии с прошлым агента (т. е. ранее выполненными действиями, $a_{<t}$, и получили восприятия, $e_{<t}$), который может создать это будущее, а затем выбирает действие, которое максимизирует ожидаемые будущие награды.

Давайте разберем это определение, чтобы попытаться полностью понять его.

$o_{t}r_{t}$ есть «восприятие» (которое состоит из наблюдения $o_{t}$ и награда $r_{t}$) получен агентом AIXI на временном шаге $t$ из окружающей среды (которая неизвестна и стохастична). Сходным образом, $o_{m}r_{m}$ это восприятие, полученное AIXI на временном шаге $m$ (последний временной шаг, на котором активен AIXI).

$r_{t}+\ldots +r_{m}$ это сумма наград за временной шаг $t$ к шагу по времени $m$, поэтому AIXI необходимо заглянуть в будущее, чтобы выбрать свое действие на временном шаге $t$.

$U$ обозначает монотонную универсальную машину Тьюринга , а $q$ диапазоны по всем (детерминированным) программам на универсальной машине $U$, который получает на вход программу $q$ и последовательность действий $a_{1}\dots a_{m}$ (то есть все действия) и производит последовательность восприятий $o_{1}r_{1}\ldots o_{m}r_{m}$. Универсальная машина Тьюринга $U$ таким образом, используется для «моделирования» или расчета реакций или восприятий окружающей среды с учетом программы. $q$ (который «моделирует» среду) и все действия агента AIXI: в этом смысле среда «вычислима» (как сказано выше). Обратите внимание, что, как правило, программа, которая «моделирует» текущую и реальную среду (в которой должен действовать AIXI), неизвестна, поскольку текущая среда также неизвестна.

${\textrm {length}}(q)$ длина программы $q$ (который закодирован как строка битов). Обратите внимание, что $2^{-{\textrm {length}}(q)}={\frac {1}{2^{{\textrm {length}}(q)}}}$. Следовательно, в приведенном выше определении $\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$ следует интерпретировать как смесь (в данном случае сумму) всех вычислимых сред (которые соответствуют прошлому агента), каждая из которых взвешивается по своей сложности. $2^{-{\textrm {length}}(q)}$. Обратите внимание, что $a_{1}\ldots a_{m}$ также можно записать как $a_{1}\ldots a_{t-1}a_{t}\ldots a_{m}$, и $a_{1}\ldots a_{t-1}=a_{<t}$ — это последовательность действий, уже выполненных в среде агентом AIXI. Сходным образом, $o_{1}r_{1}\ldots o_{m}r_{m}=o_{1}r_{1}\ldots o_{t-1}r_{t-1}o_{t}r_{t}\ldots o_{m}r_{m}$, и $o_{1}r_{1}\ldots o_{t-1}r_{t-1}$ — это последовательность восприятий, производимых окружающей средой на данный момент.

Давайте теперь соединим все эти компоненты вместе, чтобы понять это уравнение или определение.

На временном шаге t AIXI выбирает действие $a_{t}$ где функция $\sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$ достигает своего максимума.

Параметры

Параметрами AIXI являются универсальная машина Тьюринга U и время жизни агента m , которые необходимо выбрать. Последний параметр можно удалить с помощью дисконтирования .

Значение слова АЙСИ

По мнению Хаттера, слово «AIXI» может иметь несколько интерпретаций. AIXI может обозначать ИИ на основе распределения Соломонова, обозначаемого $\xi$ (это греческая буква xi), или, например, это может обозначать AI, «скрещенный» (X) с индукцией (I). Есть и другие интерпретации.

Оптимальность

Производительность AIXI измеряется ожидаемым общим количеством получаемых ею вознаграждений.AIXI оказался оптимальным по следующим причинам.

• Оптимальность по Парето : не существует другого агента, который бы работал хотя бы так же хорошо, как AIXI, во всех средах, но при этом работал строго лучше, по крайней мере, в одной среде.
• Сбалансированная оптимальность по Парето: аналогична оптимальности по Парето, но с учетом взвешенной суммы сред.
• Самооптимизация: политика p называется самооптимизацией для окружающей среды. $\mu$ если производительность p приближается к теоретическому максимуму для $\mu$ когда продолжительность жизни агента (а не время) стремится к бесконечности. Для классов среды, в которых существуют политики самооптимизации, AIXI является самооптимизируемым.

показали Позже Хаттер и Ян Лейке , что сбалансированная оптимальность по Парето является субъективной и что любую политику можно считать оптимальной по Парето, что, по их описанию, подрывает все предыдущие утверждения об оптимальности для AIXI.

Однако у AIXI есть ограничения. Он ограничивается максимизацией вознаграждений, основанных на восприятиях, а не на внешних состояниях. Он также предполагает, что он взаимодействует с окружающей средой исключительно через каналы действия и восприятия, не позволяя ему учитывать возможность повреждения или изменения. В разговорной речи это означает, что он не считает себя содержащимся в среде, с которой взаимодействует. Также предполагается, что окружающая среда вычислима.

Вычислительные аспекты

Как и индукция Соломонова , AIXI неисчислима . Однако существуют его вычислимые аппроксимации. Одним из таких приближений является AIXI tl , который работает по крайней мере так же хорошо, как доказуемо лучший агент, ограниченный по времени t и пространству l . Еще одним приближением к AIXI с ограниченным классом среды является MC-AIXI (FAC-CTW) (что означает Monte Carlo AIXI FAC- Context-Tree Weighting ), который добился определенного успеха в простых играх, таких как частично наблюдаемый Pac-Man .

См. также

• машина Гёделя

Ссылки

• «Универсальный алгоритмический интеллект: математический подход сверху вниз», Маркус Хаттер, arXiv : cs/0701125 ; также в «Общий искусственный интеллект» , ред. Б. Герцель и К. Пенначин, Springer, 2007 г., ISBN   9783540237334 , стр. 227–290, дои : 10.1007/978-3-540-68677-4_8 .