AMD представила метод сжатия текстур с ИИ NTBC: подробности и перспективы

Компания AMD объявила о разработке нового метода сжатия текстур под названием NTBC (Neural Texture Block Compression), использующего искусственный интеллект. Эта информация была представлена на 35-м Симпозиуме по рендерингу Eurographics, а теперь подробности опубликованы на сайте GPU Open.

Основная цель NTBC — сократить размер игровых файлов, которые в последние годы значительно увеличились и могут достигать 150 ГБ. Основной причиной роста размеров файлов являются высококачественные текстуры для 4K дисплеев и других устройств с высоким разрешением.

NTBC использует нейронную сеть для сжатия текстур, уменьшая их объем до 70% при сохранении приемлемого качества и без изменения шейдеров. Исследователи Shin Fujieda и Takahiro Harada из AMD пояснили, что NTBC использует многослойные перцептроны (MLP) для кодирования данных всех текстур в одном материале, что позволяет достичь более низких битрейтов по сравнению со стандартным BC.

Метод NTBC не требует изменения шейдеров, так как весовые коэффициенты сети хранятся на диске и загружаются в память, после чего выполняется декомпрессия данных текстуры, которые затем копируются в видеопамять (VRAM). Это делает метод легким для интеграции в существующие графические конвейеры. Для оптимизации модели и снижения затрат на хранение используются многоуровневые сетки признаков и обучение с учетом квантования.

Хотя NTBC обещает значительное сокращение объема текстур, его использование может привести к размытию деталей или появлению артефактов блоков из-за использования сеток более низкого разрешения. Возможные решения включают различные методы кодирования, такие как фокусировка на текстуре или локальное позиционное кодирование. Исследователи AMD также рассматривают возможность расширения NTBC на форматы BC6H и BC7.

Важным аспектом NTBC является умеренная вычислительная нагрузка при загрузке текстур. Время выполнения декомпрессии оценивается от 27.31 до 49.84 мс в зависимости от выбора между консервативным (использующим две модели для RGB и одноканальных текстур) и агрессивным подходом.

Таким образом, NTBC представляет собой перспективный метод для уменьшения размеров игровых файлов, что особенно важно в условиях постоянно растущих требований к объему данных.