Компания Sony AI совершила прорыв в области искусственного интеллекта и создала так называемого интеллектуального агента, или программу, которая обогнала лучших гонщиков в симуляторе Gran Turismo Sport. Свою разработку авторы назвали Gran Turismo Sophy (GT Sophy). Это первый в мире гоночный ИИ-агент с глубоким понимаем динамики и действующих на автомобиль сил.

Софи умеет ехать далеко за пределами человеческих возможностей, динамически выбирает нужную тактику, но при этом обучена основам спортивного этикета.

GT Sophy — совместная разработка Sony AI, Polyphony Digital и Sony Interactive Entertainment. При её создании использован новый метод глубокого машинного обучения с подкреплением (Deep RL), основанный на сложной системе поощрений и алгоритме QR-SAC, в который закодировали правила гонок и особый режим тренировок, необходимый для овладения всеми нюансами вождения. Обычно с помощью Deep RL «прокачивают» игровые ИИ в сетевых стратегиях реального времени, так как RL-агенты просчитывают свои действия далеко вперед, но Sony, похоже, впервые применила эту методику в гоночном симуляторе.

Для обучения GT Sophy специалисты Sony AI создали веб-платформу DART (Distributed, Asynchronous Rollouts and Training), у которой был доступ к тысяче консолей PlayStation 4 и облачной игровой платформе Sony. Каждая консоль собирала данные, необходимых для обучения, или оценивала уже обученную версию GT Sophy. DART позволила одновременно проводить сотни симуляций, с каждым разом улучшая взаимодействие ИИ-агента со средой и повышая его навыки вождения.

Что умеет Софи? Во-первых, она хорошо понимает динамику автомобиля и молниеносно просчитывает идеальную траекторию движения. Во-вторых, за доли секунды выбирает нужную стратегию: например, использует зону пониженного давления за впереди идущей машиной для совершения обгона или блокирует соперника, не давая ему её обойти. Наконец, Софи обучена основам спортивного этикета. По словам авторов, это значит ни