Да кто такой этот ваш DLSS?
Начнем с того, чем же на самом деле является DLSS? И..... это модифицированное TAA! Вот это новость, хотя для кого-то и нет. Как же я к этому пришел? Ну, начнем с того, что nvidia уже баловалась с многокадровым сглаживанием, достаточно вспомнить TXAA - для фильтрации пикселей на экране TXAA использует выборку сэмплов как внутри, так и снаружи пикселя, в соединении с выборками из предыдущих кадров, чтобы обеспечить по возможности самое высокое качество фильтрации. Или же чуть менее известное MFAA - по-сути тоже самое, что и TXAA, только почти не мылит. К слову, по какой-то причине и TXAA и MFAA требуют дополнительного сглаживания MSAA, вероятно, для лучшего эффекта сглаживания.
Спустя какое-то время появляется TAA, не понятно от кого, зато этот алгоритм не требует дополнительного MSAA и способен работать самостоятельно. Основан он чисто на сборе информации из предыдущих кадров, чем больше кадров, тем лучше сглаживание и тем мыльнее картинка (привет рдр2), и наоборот. Стоит отметить, что присутствует дополнительный алгоритм, который подтирает "остатки" предыдущих кадров, если он плохо справляется, мы видим дублирующиеся остатки, ореолы, пиксельную кашу, ну и просто мыло.
Мыло щиплет глазки
TAA ON
TAA OFF
И вот, спустя какое-то время nvidia выкатывает dlss 1.0, который продолжительное время обучают для каждой игры и т.д. и т.п. Долгое время я считал, что dlss 1.0 не использует предыдущие кадры, судя по качеству, складывалось ощущение, что он работает только с одним кадром, но спустя какое-то время, я заметил характерные для ТАА артефакты. На это потребовалось действительно много времени т.к. маскировались они просто на ура.
Метро Исходус
Здесь я и поймал те самые артефакты от предыдущих кадров
А здесь просто пример, где артефактов нет, просто для понимания, как сложно было их найти, у ТАА есть, у DLSS - нет
Ну и полные скриншоты:
DLSS
TAA
DLSS
TAA
Здесь представлен временный суперсэмплинг, как известно суперсемплинг - это очень тяжелое сглаживание, которое делает несколько выборок на пиксель, фактически кратно повышая разрешение рендеринга х2, х4 и т.д. Идея же временного суперсемплинга в том, чтоб эти выборки брать из предыдущих кадров, таким образом за 4 кадра, мы получаем суперсемплинг х4, правда проблемы начинаются, когда изображение не статичное.
Тут видно, что подается нейронной сети на вход, на выходе же получаем готовое изображение. Из всего, что подается на вход, лично я думаю, что только motion vectors целесообразно рассчитывать в нейронной сети, в остальных пунктах я не вижу сложных вычислений.
DLSS
TAA
Исходя из этого не должно возникать вопросов, почему dlss мылит, или откуда артефакты на проводах и перилах в death stranding. Тут хороши те же методы борьбы, что использовались в рдр2: шарп и увеличенное разрешение рендеринга.И напоследок киберпанк и 2 стула: dlss - мыло и taa - четкость
Здесь стоит отметить, что TAA использует мало кадров, поэтому плохо сглаживает, но не дает сильного мыла и гостинга, обратите внимание на зеркала у машины
DLSS
TAA
и еще DLSS
