AlphaZero для Connect4: 1600 симуляций в минуту на GTX 1650 и 95% точности за полчаса

Автор захотел создать бота для игры посложнее крестиков-ноликов. Классический негамакс с альфа-бета отсечением тонет на достаточно сложных играх, а Q-Table не тянет задачи уровня Connect4. Поэтому он обратился к обучению с подкреплением и выбрал AlphaZero.

В результате оптимизации удалось достичь 1600 симуляций в минуту на скромной GTX 1650. Модель показывает 95% точности уже после получаса обучения — неплохой результат для домашнего эксперимента.

Подход показывает, что даже без топового железа можно получить рабочего агента для настольной игры, если правильно настроить алгоритм и использовать современные методы RL.