CES 2025 fuarında Digital Foundry, uygulamalı derin öğrenme alanında araştırma başkan yardımcısı Brian Catanzaro ile NVIDIA DLSS 4’ün duyurusu ve süper çözünürlük, ışın izleme ve kare üretimi alanındaki birçok iyileştirme hakkında bir röportaj yaptı.
Catanzaro, süper çözünürlük ve ışın izlemenin CNN’ler yerine, daha akıllı olan ve daha büyük veri setlerinde eğitilebilen yeni dönüştürücü modellerle değiştirildiğini belirtti. Bu da NVIDIA DLSS’nin parıltı veya hale gibi uzun süredir devam eden sorunlarıyla daha iyi başa çıkmasını sağlar. Örneğin, yeni süper çözünürlük modeli, önceki modele kıyasla dört kat daha fazla hesaplama kaynağına sahip. Catanzaro, render süresinin ne kadar artacağı konusunda bir tahminde bulunmadı ama NVIDIA’nın, bu ayın sonunda çıkacak olan Blackwell tabanlı yeni GeForce RTX 50 serisi video kartlarıyla oynamanın en iyi yolunun bu olduğuna inandığını söyledi.
Kare üretimi de, tamamen AI temelli bir çözüme geçilerek, donanım hızlandırıcısı Optical Flow’a dayalı önceki modelden uzaklaşarak iyileştirmeler alacak. NVIDIA’nın bunu neden yaptığı açıklandı:
“Kare üretimi için NVIDIA DLSS 3’ü oluşturduğumuzda, Optical Flow hesaplamaları için mutlaka donanım hızlandırmaya ihtiyacımız vardı. Yeterli sayıda tensör çekirdeğimiz yoktu ve yeterince iyi bir Optical Flow algoritmamız yoktu. Tensör çekirdeklerinde çalışan ve hesaplama bütçemize uyan gerçek zamanlı bir Optical Flow algoritması geliştirmediğiz. Yıllar boyunca NVIDIA’nın video kodlama teknolojisindeki evrimi ve aynı zamanda sürücüsüz otomobiller için görüntü işleme hızlandırıcımızın bir parçası olan bir Optical Flow hızlandırıcıya sahiptik.
DLSS 3’te kare üretimi için onu kullanmak mantıklıydı. Ancak, herhangi bir donanım tabanlı Optical Flow algoritmasının karmaşıklığı, onu iyileştirmenin gerçekten zor olmasıdır. Bu, elde edilen şeydir ve bu donanım Optical Flow nedeniyle ortaya çıkan hataları daha akıllı bir sinir ağıyla düzeltemedik. Bu yüzden bunun yerine tamamen AI tabanlı bir çözüme geçiş yapmaya karar verdik, böylece DLSS 4’te kare üretimi için bunu yaptık.”
Yeni kare üretim modeli daha fazla tensör çekirdeği kullanırken daha az VRAM kullanıyor, görüntü kalitesini önemli ölçüde iyileştiriyor (Catanzaro’nun, özellikle yeni RTX 50 GPU’larında mevcut olan yeni kare üretimi için kritik önemde olduğunu düşündüğü) ve birden fazla kare üzerinden maliyetin amorti edilmesi açısından daha verimli.
DF’den Alex Battaglia, yeni modelin GeForce RTX 30 Serisi gibi eski donanımlara aktarılıp aktarılamayacağını sordu ve NVIDIA DLSS başkan yardımcısı olasılığı reddetmedi.
“Sanırım bu öncelikle bir optimizasyon meselesi, ardından tasarım ve son olarak son kullanıcı deneyimi meselesi. 50 Serisi ile çoklu kare üretimini başlatıyoruz ve gelecekte eski donanımdan ne kadar sıkıştırabileceğimizi göreceğiz.”
Hatırlatmak gerekirse, NVIDIA GeForce RTX 40 video kartlarıyla Frame Generation’ı tanıttığında, Catanzaro bu özelliğin o sırada yeni olan grafik işlemciler için özel olduğunu, çünkü onların RTX 30 serisine göre önemli ölçüde iyileştirilmiş bir donanım hızlandırıcıya sahip olduğunu açıklamıştı. O zaman da teorik olarak eski donanıma aktarmanın mümkün olduğunu, ancak muhtemelen çok faydalı olmayacağını söylemişti.
Yeni modelde donanım hızlandırıcı Optical Flow’ın kaldırılmasıyla, bu teorik olarak mümkün olabilir görünüyor. Ancak, Catanzaro tensör çekirdeklerine olan gereksinimlerin arttığını ve açıkçası eski GPU mimarisinin tensör çekirdek performansının daha kötü olduğunu da söyledi. NVIDIA’nın gerçekten bunu başarıp başaramayacağını göreceğiz.