Темный лес
Darkforest — это компьютерная программа, разработанная Meta Platforms , основанная на глубокого обучения методах с использованием сверточной нейронной сети . Его обновленная версия Darkfores2 сочетает в себе методы своего предшественника с поиском по дереву Монте-Карло . [1] [2] MCTS эффективно использует методы поиска по дереву, обычно встречающиеся в компьютерных шахматных программах, и рандомизирует их. [3] После обновления система стала называться Darkfmcts3 . [4]
Darkforest по силе сравним с такими программами, как CrazyStone и Zen. [5] Он был протестирован против профессионального игрока-человека на кубке УЭК 2016 года . Google Программа AlphaGo выиграла у профессионального игрока в октябре 2015 года, используя аналогичную комбинацию методов. [6]
Темный лес назван в честь Лю Цысиня научно-фантастического романа «Темный лес» . [7]
Фон
[ редактировать ]Соревнование с лучшими игроками в древней игре Го было долгосрочной целью искусственного интеллекта. Go Высокий коэффициент ветвления делает традиционные методы поиска неэффективными даже на самом современном оборудовании, а функция оценки Go может радикально измениться в одно мгновение. Однако, используя глубокую сверточную нейронную сеть, предназначенную для долгосрочных прогнозов, Darkforest смог существенно повысить процент побед для ботов по сравнению с более традиционными подходами, основанными на поиске по дереву Монте-Карло .
Матчи
[ редактировать ]Против игроков-людей Darkfores2 достигает стабильного 3-го рейтинга на сервере KGS Go , что примерно соответствует продвинутому игроку-любителю. Однако после добавления поиска по дереву Монте-Карло в Darkfores2, чтобы создать гораздо более сильного игрока по имени darkfmcts3, он может достичь 5-го рейтинга на сервере KGS Go.
Против другого ИИ
[ редактировать ]darkfmcts3 находится на одном уровне с современными ИИ Go, такими как Zen, DolBaram и Crazy Stone, но отстает от AlphaGo. [8] Он занял 3-е место на турнире KGS Bot Tournament в январе 2016 года среди других ИИ Go.
Освещение новостей
[ редактировать ]После того, как Google от AlphaGo победила Fan Hui в 2015 году, Facebook обнародовал аппаратные разработки своего искусственного интеллекта, а также выпустил код DarkForest в открытый исходный код, а также провел активный набор сотрудников для усиления своей команды инженеров по искусственному интеллекту. [3]
Стиль игры
[ редактировать ]Darkforest использует нейронную сеть для сортировки 10 100 позиции на доске и найдите самый мощный следующий ход. [9] Однако сами по себе нейронные сети не могут сравниться с уровнем хороших игроков-любителей или лучших поисковых движков Го, поэтому Darkfores2 сочетает в себе подход нейронной сети с машиной, основанной на поиске. использовалась база данных из 250 000 реальных игр в Го При разработке Darkforest , 220 000 из которых использовались в качестве обучающего набора, а остальные использовались для проверки способности нейронной сети предсказывать следующие ходы, сыгранные в реальных играх. Это позволяет Darkforest точно оценить глобальное состояние доски, но локальная тактика все еще была плохой. Поисковые системы имеют плохую глобальную оценку, но хороши в локальной тактике. Объединить эти два подхода сложно, поскольку поисковые системы работают намного быстрее, чем нейронные сети, и эта проблема была решена в Darkfores2 за счет параллельного запуска процессов и частого взаимодействия между ними. [9]
Обычные стратегии
[ редактировать ]В го обычно играют, анализируя положение камней на доске. Некоторые продвинутые игроки описывают это как игру, отчасти подсознательную. В отличие от шахмат и шашек, где игроки с искусственным интеллектом могут просто смотреть вперед на ходы, чем игроки-люди, но поскольку каждый раунд го имеет в среднем 250 возможных ходов, такой подход неэффективен. Вместо этого нейронные сети копируют человеческую игру, обучая системы ИИ на изображениях успешных ходов. ИИ может эффективно научиться интерпретировать внешний вид доски, как это делают многие гроссмейстеры. [10] В ноябре 2015 года Facebook продемонстрировал сочетание MCTS с нейронными сетями, которое выглядело «человечно». [10]
Недостатки
[ редактировать ]Было отмечено, что в стиле игры Darkforest все еще есть недостатки. Иногда бот бессмысленно разыгрывает тэнуки («переместиться в другое место»), когда требуются локальные мощные ходы. Когда бот проигрывает, он показывает типичное поведение MCTS: делает плохие ходы и теряет больше. Команда Facebook AI признала, что это области будущих улучшений. [11]
Архитектура программы
[ редактировать ]Семейство компьютерных го-программ Darkforest основано на сверточных нейронных сетях . [3] Самые последние достижения в Darkfmcts3 объединили сверточные нейронные сети с более традиционным поиском по дереву Монте-Карло . [3] Darkfmcts3 — это самая продвинутая версия Darkforest, которая сочетает в себе самую совершенную архитектуру сверточной нейронной сети Facebook от Darkfores2 с поиском по дереву Монте-Карло .
Darkfmcts3 опирается на сверточные нейронные сети , которые прогнозируют следующие k ходов на основе текущего состояния игры. Он рассматривает плату как изображение размером 19x19 с несколькими каналами. Каждый канал представляет отдельный аспект информации о доске в зависимости от конкретного стиля игры. Для стандартного и расширенного воспроизведения имеется 21 и 25 различных каналов соответственно. В стандартной игре свободы каждого игрока представлены в виде шести двоичных каналов или плоскостей. Соответствующая плоскость является истинной, если игроку доступна одна, две, три или более свобод. Ко (т.е. недопустимые ходы) представляется как одна бинарная плоскость. Размещение камней для каждого противника и пустые позиции на доске представлены в виде трех двоичных плоскостей, а продолжительность с момента размещения камня представлена в виде действительных чисел в двух плоскостях, по одной для каждого игрока. Наконец, ранг противника представлен девятью двоичными плоскостями, где, если все верно, игрок имеет 9-й уровень, если 8-й — это 8-й уровень и так далее. Расширенная игра дополнительно учитывает границу (двоичную плоскость, которая соответствует границе), маску положения (представленную как расстояние от центра доски, т. е. , где — действительное число в позиции) и территорию каждого игрока (двоичная, в зависимости от того, к какому игроку локация ближе).
Darkfmct3 использует 12-слойную полную сверточную сеть шириной 384 узла без разделения веса или объединения в пул. За каждым сверточным слоем следует выпрямленная линейная единица — популярная функция активации для глубоких нейронных сетей. [12] Ключевым нововведением Darkfmct3 по сравнению с предыдущими подходами является то, что он использует только одну функцию softmax для прогнозирования следующего хода, что позволяет подходу сократить общее количество параметров. [3] Darkfmct3 обучался на 300 случайно выбранных играх из эмпирического набора данных, представляющих разные этапы игры. Скорость обучения определялась с помощью ванильного стохастического градиентного спуска .
Darkfmct3 синхронно соединяет сверточную нейронную сеть с поиском по дереву Монте-Карло . Поскольку сверточная нейронная сеть требует больших вычислительных ресурсов, поиск по дереву Монте-Карло фокусирует вычисления на наиболее вероятных траекториях игрового процесса. Запуская нейронную сеть синхронно с поиском по дереву Монте-Карло, можно гарантировать, что каждый узел расширяется за счет ходов, предсказанных нейронной сетью.
Сравнение с другими системами
[ редактировать ]Darkfores2 превосходит Darkforest , своего предшественника, работающего только с нейронными сетями, примерно в 90% случаев и Pachi, одну из лучших поисковых систем, примерно в 95% случаев. [9] По рейтинговой системе Кю Темный лес занимает 1-2 уровень. Darkfores2 достигает стабильного 3-го уровня на сервере KGS Go в качестве рангового бота. [1] Благодаря добавленному поиску по дереву Монте-Карло Darkfmcts3 с 5000 развертываний превосходит Pachi с 10 тысячами развертываний во всех 250 играх; при развертывании 75 тысяч он достигает стабильного уровня 5d на сервере KGS, наравне с современными Go AI (например, Zen, DolBaram, CrazyStone); со 110 тысячами развертываний он занял 3-е место на январском турнире KGS Go Tournament. [4]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: а б Тянь, Юаньдун; Чжу, Ян (2015). «Лучший компьютерный игрок в го с помощью нейронной сети и долгосрочного прогнозирования». arXiv : 1511.06410v1 [ cs.LG ].
- ^ «Как исследователи искусственного интеллекта Facebook создали революционный движок Go» . Обзор технологий Массачусетского технологического института . 4 декабря 2015 года . Проверено 3 февраля 2016 г.
- ^ Jump up to: а б с д и «Игрок Facebook AI Go становится умнее с помощью нейронной сети и долгосрочного прогнозирования, чтобы освоить самую сложную игру в мире» . Тех Таймс . 28 января 2016 г. Проверено 24 апреля 2016 г.
- ^ Jump up to: а б «Игрок в го с искусственным интеллектом в Facebook становится умнее» . ВенчурБит . 27 января 2016 года . Проверено 24 апреля 2016 г.
- ^ «Лекция Стрейчи - доктор Демис Хассабис из Оксфордского университета Live» .
- ^ «Нет, Facebook не смог испортить большой день искусственного интеллекта Google» . Хранитель . 28 января 2016 г. ISSN 0261-3077 . Проверено 1 февраля 2016 г.
- ^ «Менеджер проекта FB Go обсуждает противостояние человека и машины» (на китайском языке). Tencent. 01.03.2016.
- ^ Сильвер, Дэвид ; Хуанг, Аджа ; Мэддисон, Крис Дж.; Гез, Артур; Сифре, Лоран; Дрессе, Джордж ван ден; Шритвизер, Джулиан; Антоноглу, Иоаннис; Паннеершелвам, Веда; Ланкто, Марк; Дилеман, Сандер; Греве, Доминик; Нхам, Джон; Кальхбреннер, Нал; Суцкевер, Илья ; Лилликрап, Тимоти; Лич, Мадлен; Кавукчуоглу, Корай; Грепель, Торе; Хассабис, Демис (28 января 2016 г.). «Освоение игры в го с помощью глубоких нейронных сетей и поиска по дереву». Природа . 529 (7587): 484–489. Бибкод : 2016Natur.529..484S . дои : 10.1038/nature16961 . ISSN 0028-0836 . ПМИД 26819042 . S2CID 515925 .
- ^ Jump up to: а б с «Как исследователи искусственного интеллекта Facebook создали революционный движок Go» . Обзор технологий Массачусетского технологического института . Проверено 24 апреля 2016 г.
- ^ Jump up to: а б Мец, Кейд (7 декабря 2015 г.). «Google и Facebook пытаются решить древнюю игру го с помощью искусственного интеллекта» . ПРОВОДНОЙ . Проверено 24 апреля 2016 г.
- ^ Келион, Лев (27 января 2016 г.). «Facebook обучает ИИ побеждать людей в настольной игре Го — BBC News» . Новости Би-би-си . Проверено 24 апреля 2016 г.
- ^ ЛеКун, Янн; Бенджио, Йошуа; Хинтон, Джеффри (27 мая 2015 г.). «Глубокое обучение». Природа . 521 (7553): 436–444. Бибкод : 2015Natur.521..436L . дои : 10.1038/nature14539 . ПМИД 26017442 . S2CID 3074096 .
