Facebook создали нового покерного бота ReBeL

Разработчики Facebook создали нового покерного бота под названием ReBeL (Recursive Belief-based Learning),  который отлично зарекомендовал себя при игре в техасский холдем.

ReBeL применяет новые концепции, позволяющие лучше обрабатывать аспекты покера, связанные с неполной  информацией. По мнению разработчиков, новый бот превосходит своего предшественника Libratus.

В последние годы системы ИИ показали невероятные способности решать различные сложные игры. Программа  AlphaZero от DeepMind сама обучилась играть в шахматы, сеги (японские шахматы) и го, начиная с основных  правил каждой из игр и достигая новых высот в считанные часы. 

Libratus также самообучался в процессе игры в безлимитный холдем хедз-ап. ReBeL делает то же самое, но  учитывает то, что называется "игровым состоянием", чтобы лучше понимать скрытую игровую информацию. 

Бот учитывает информацию о видимом состоянии игры, например, известные карты, размеры ставок и даже  диапазон, рук оппонента. Но помимо этого, он берет во внимание "веру" каждого игрока относительно своего  состояния в раздаче, подобно тому, как человек может оценить, считает ли оппонент, что он впереди или  позади в раздаче. 

Для этого ReBeL использует две модели ИИ в процессе самообучения. В идеальной информационной игре, такой  как шахматы, достаточно иметь представление об игровом состоянии, чтобы принимать идеальные решения. Но в  игре с неполной информацией ИИ дополнительно оперирует тем, что разработчики назвали "публичные убеждения"  (PBS - public belief states). PBS учитывает как состояние игры, так и такие факторы, как поведение игроков, чтобы составить полную вероятностную модель всех возможных действий, которые может совершить игрок. 

В ходе эксперимента ReBeL уже успел сыграть со специалистов в хедз-ап играх Доном Кимом, который ранее  также играл с Libratus. После матча с 7500 руками бот обыграл человеческого оппонента с преимуществом в  0,165 биг блайнда за одну руку. Это выше, чем результат Libratus в 2017 году, который обыграл четырех живых  игроков с результатом 0,147 биг блайнда за руку. Но возможно, стоит сравнить результаты игры только с одним  игроком, и тут у ReBeL явное преимущество, поскольку Libratus выигрывал у Дона Кима только 0,029 биг  блайнда за руку. 

Разработчики убеждают, что покерным игрокам волноваться не стоит - с этим ботом в покер-румах вы не  встретитесь, поскольку исходный код выпускаться не будет. В первую очередь, ReBeL должен помочь в  разработке более эффективных алгоритмов нахождения общего равновесия с приложениями на аукционах,  переговорах, кибербезопасности и транспортных средствах для самостоятельного вождения.