A NVIDIA revelou como o DLSS 5 “refina” a imagem, baseando-se apenas em um quadro 2D e nos vetores de movimento.

Como funciona o DLSS 5: explicação de um funcionário da Nvidia

Em uma entrevista recente, Jacob Freeman da Nvidia esclareceu o princípio de funcionamento da nova tecnologia de escalonamento de imagens — DLSS 5, que utiliza inteligência artificial.

O que é alimentado no sistema
* Quadro 2‑D – imagem renderizada normal.

* Vetores de movimento – informação sobre como os objetos se movem entre quadros.

Nenhum dado tridimensional é usado: o modelo não lê a geometria da cena, profundidade, materiais ou mapas de normais. Isso significa que o DLSS 5 baseia-se totalmente em informações 2‑D e no movimento.

Como “compreende” a cena
* Semântica – a IA reconhece objetos como cabelo, tecido, pele e condições de iluminação.

* Para isso basta apenas um quadro; o modelo não leva em conta metalicidade, rugosidade ou outras propriedades dos materiais.

Por isso, às vezes os resultados podem parecer “imprevisíveis”:

- O personagem ganha cabelos onde não há;
- Mudam as características faciais.

Nenhuma alteração na geometria básica ocorre – é apenas uma interpretação visual da IA.

Limitações e possibilidades para desenvolvedores
* Os desenvolvedores podem ajustar a intensidade do efeito, correção de cor, contraste, saturação, gama.

* É possível usar máscaras para excluir determinados objetos do processamento.

* No entanto, eles não podem alterar diretamente a correção das características faciais ou remover o efeito “maquiagem” – a única forma é reduzir a intensidade, aplicar uma máscara ou desativar completamente o algoritmo.

No final, o rosto é gerado pela IA, mas sua aparência só pode ser corrigida indiretamente.