Завершился этап предварительного обучения нейросетевого апскейлера RDNU, нацеленного на работу с аппаратным обеспечением архитектуры RDNA 3. На данный момент модель прошла 300000 итераций обучения с четырехкратным увеличением разрешения от 96x96 до 384x384 пикселей. Тестирование промежуточных результатов проводилось на наборе данных M3VIR в формате FP16, при этом разработчик планирует в будущем предоставить версии в форматах FP16 и INT8. Использование оптического потока RAFT для вычисления векторов движения показало стабильные результаты в динамике с минимальным количеством артефактов между кадрами благодаря применению компенсации Halton Jitter.
Несмотря на успешное сглаживание прямых линий, алгоритм демонстрирует ряд проблем с качеством изображения, включая размытие текстур, чрезмерное сглаживание геометрии и слабую обработку округлых объектов. Основная техническая сложность заключается в возникновении ореолов при окклюзии объектов, так как текущая модель оптического потока не способна корректно распознавать перекрытие объектов на переднем и заднем планах. Четырехкратное масштабирование на раннем этапе приводит к потере детализации, что требует перехода к более реалистичным сценариям масштабирования, таким как переход от 720p к 1440p или от 1080p к 4K.
Для устранения выявленных недостатков запущен процесс дополнительных 600000 итераций обучения, который займет около недели и должен снизить текущие показатели потери пикселей. Разработчик подготавливает набор данных на базе Unreal Engine 5, содержащий точные векторы движения и данные G-Buffer, для более точной настройки алгоритма окклюзии. В ближайшие дни исходный код, конвейер рендеринга и данные для обучения будут опубликованы в открытом доступе на платформе GitHub, а при отсутствии значительного прогресса рассматривается вариант перехода на более эффективную архитектуру модели.
RDNU представляет собой экспериментальный нейросетевой апскейлер, разрабатываемый специально для графических процессоров архитектуры RDNA 3. Несмотря на наличие официальных технологий масштабирования, энтузиасты создают собственные модели для тестирования альтернативных архитектурных подходов машинного обучения и максимальной утилизации аппаратных ускорителей современных видеокарт с целью повышения качества изображения.