NVIDIA представила Neural Materials: до 24-кратного увеличения скорости рендеринга

На конференции Siggraph NVIDIA продемонстрировала новую технологию "Neural Appearance Models", которая использует ИИ для ускорения рендеринга текстур в реальном времени. Новая технология обещает увеличить производительность рендеринга до 24 раз по сравнению с традиционными методами.

Neural Appearance Models заменяют традиционные методы рендеринга материалов на более эффективные нейронные сети. Технология поддерживает текстуры с разрешением до 16K и может использоваться в различных приложениях, от игр до кинопроизводства. Она также поддерживает материалы, созданные художниками, измеренные данные и сгенерированные тексты с помощью генеративного ИИ.

Основные преимущества Neural Appearance Models:

• Скорость: до 24-кратного увеличения скорости рендеринга благодаря нейронным сетям.
• Качество: улучшенная детализация объектов, включая мелкие детали, пыль, водные пятна и сложные световые эффекты.
• Поддержка различных платформ: от ПК и консолей до виртуальной реальности и кино.

Технология предлагает инновации в рендеринге:

• Полная и масштабируемая система для нейронных материалов кино-качества.
• Трактуемая тренировка для гигапиксельных активов с использованием энкодера.
• Декодеры с приорами для нормального отображения и выборки.
• Эффективное выполнение нейронных сетей в шейдерах реального времени.

При рендеринге нейронные материалы работают аналогично традиционным моделям, но с использованием двух MLP для получения значений BRDF и импорта/выборки исходящего направления. Встроенные графические приоры улучшают качество и ускоряют тренировку, позволяя выводить рендеры с высоким разрешением.

Технология совместима с существующими фреймворками машинного обучения, такими как PyTorch и TensorFlow, и поддерживает инструменты GLSL и HLSL. Она использует ускоренные движки матричного умножения в архитектурах GPU от AMD, Intel и NVIDIA. Технология также поддерживает Vulkan, Direct3D 12 и CUDA, благодаря компиляции нейронных описаний материалов в оптимизированный код.

На примере GeForce RTX 4090, рендеринг с использованием Neural BRDF показал ускорение до 4.14 раз. В играх, таких как Cyberpunk 2077, технология снизила задержки на 28%, а в Counter-Strike 2 — на 12%.