С 18 по 21 апреля на арене было проведено 42 729 кооперативных и дуэльных матчей по Dota 2. В каждый момент времени ИИ играл в среднем 688 матчей против 1583 игроков одновременно. OpenAI Five победил в 4075 сетах — то есть 99,4% противостояний. Для сравнения: процент успеха человеческих команд, участвовавших в этом состязании и выигравших хотя бы один раз, — 24%.
Первому игроку-человеку удалось победить ИИ с 459 попытки — через шесть часов и девять минут после запуска арены.
«Арена стала масштабным экспериментом, испытанием возможности победы над OpenAI, которого пытался сокрушить весь интернет, — говорит технический директор организации Грег Брокман. — Сообщество Dota 2 объединилось, занося в каталог каждое уязвимое место бота. Хотя Five еще должен многому научиться, никто не смог найти в нем простого эксплойта, которые есть у ботов, написанных людьми».
Будущие системы ИИ, заверил Брокман, которые разработает OpenAI будут надежными и практически непобедимыми. Он поблагодарил сообщество геймеров за вклад, который они внесли в обучение бота Five, сообщает VentureBeat.
Всего четырем командам удалось одержать победу в двух играх подряд, три продержались три матча подряд и всего одна доминировала на протяжении десяти игр.
Всего 115 игроков со среднем рейтингом 6500 вышли победителями из матча с OpenAI Five. В среднем каждый игрок потратил на бой с ИИ 2,5 часа, а один — почти 30. Бот же провел в состязании с людьми 10,7 лет игрового времени — примерно столько же данных он генерирует каждые 12 минут, играя сам с собой.
OpenAI планирует использовать результаты состязания для изучения возможностей Five принимать решения на макро-уровне в противовес быстрым суждениям и импровизационному стилю игры.
Dota 2 — непростая игра для машины. Средний матч содержит 80 000 отдельных кадров, во время которых каждый из пяти игроков может выполнить десятки из 170 000 возможных действий. У каждого из 115 персонажей могут быть сотни предметов. OpenAI Five может пока играть только за 18 героев и не умеет использовать ряд способностей. Кроме того, разработчики ИИ решили не наделять его способностью считывать пиксели, как делают игроки-люди. Вместо этого он использует API бота Dota 2, что позволяет лучше просчитывать ситуацию.
Впервые команда людей нанесла поражение ИИ OpenAI в августе прошлого года. Бразильские геймеры, занимавшие тогда 14-е место в мировом рейтинге, после 45 минут вышли победителями в соревновании.
