Энтузиасты Stephan R. Richter, Hassan Abu AlHaija, и Vladlen Koltun использовали нейросеть, чтобы улучшить фотореалистичность графики GTA 5.
В простых проектах и играх прошлого нейросети и прежде использовали для улучшения изображения. Чаще всего это происходило посредством апскейла или метода дорисовки недостающих пикселей. Однако с ААА-проектами метод работал не корректно. Визуал GTA 5 изменяет в лучшую сторону доработанная сверточная сеть. Теперь кадры игры выглядят так, будто сняты на камеру.
Сверточная сеть — это специальная архитектура искусственных нейронных сетей, которая распознает образы и способна самостоятельно обучаться. В нейросеть загружаются фото и видео, которые будут использованы для обучения. Сеть на основе полученных данных будет дорисовывать разницу между увеличенным пикселем и реальным изображением. Таким образом, используя образцы из жизни нейросеть делает графику в игре более фотореалистичной.
Авторы модификации предложили новую стратегию выборки участков изображения во время обучения. Командой также были введены архитектурные улучшения в глубокие сетевые модули, используемые для создания эффекта фотореализма. Для улучшения синтетической графики раньше требовалось много кропотливого "ручного" труда. Теперь нейросеть способна самостоятельно улучшить визуал игры без большого количества графических багов.
