Нейросеть делает графику GTA 5 неотличимой от реальной жизни

12 мая 2021
Arsvoboda


Энтузиасты Stephan R. Richter, Hassan Abu AlHaija, и Vladlen Koltun использовали нейросеть, чтобы улучшить фотореалистичность графики GTA 5.



В простых проектах и играх прошлого нейросети и прежде использовали для улучшения изображения. Чаще всего это происходило посредством апскейла или метода дорисовки недостающих пикселей. Однако с ААА-проектами метод работал не корректно. Визуал GTA 5 изменяет в лучшую сторону доработанная сверточная сеть. Теперь кадры игры выглядят так, будто сняты на камеру.



Сверточная сеть — это специальная архитектура искусственных нейронных сетей, которая распознает образы и способна самостоятельно обучаться. В нейросеть загружаются фото и видео, которые будут использованы для обучения. Сеть на основе полученных данных будет дорисовывать разницу между увеличенным пикселем и реальным изображением. Таким образом, используя образцы из жизни нейросеть делает графику в игре более фотореалистичной.



Авторы модификации предложили новую стратегию выборки участков изображения во время обучения. Командой также были введены архитектурные улучшения в глубокие сетевые модули, используемые для создания эффекта фотореализма. Для улучшения синтетической графики раньше требовалось много кропотливого "ручного" труда. Теперь нейросеть способна самостоятельно улучшить визуал игры без большого количества графических багов.
Рейтинг: 5 (8 голосов)
(признано в России экстремистской организацией)