神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

此前,在一场直播活动中,英伟达 CEO 黄仁勋宣布推出 DLSS 3。DLSS 全名为 Deep Learning Super Sampling,它是英伟达发布的深度学习超级采样技术,其拥有开创性的光学多帧生成功能,其为游戏提供了不可或缺的三要素:提高帧率、最大限度地提升响应速度和改善图像质量。

神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

在一系列游戏和引擎中,与传统渲染相比,DLSS 3 有助于将 GeForce RTX 40 系列的性能翻倍提高:

神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

与此同时,英伟达副总裁 Bryan Catanzaro 也曾在 Twitter 上宣称:「神经渲染在 Ada 架构的 DLSS 3.0 加持下迈出了非常重要的一步!除了 DL 驱动的超分辨率,它还使用光流、运动矢量和 DL 来生成整个帧。DLSS 3 渲染的 8 个像素中有 7 个是来自神经渲染的。」这足以将渲染速度提高 5 倍。

神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

尽管这项了不起的技术目前仅限用于几十款 3D 游戏,但神经渲染很快就会带来收益。这项技术将释放日常消费电子产品的新潜力。

在多数情况下,DLSS  3 在 4K 分辨率下比传统渲染技术性能提高两到三倍。虽然英伟达目前处于领先地位,但它也有竞争对手,比如英特尔 AI 驱动的高端软件 XeSS (Xe Super Sampling),以及 AMD 的 RDNA 3 图形架构。

游戏引领了神经渲染的浪潮,因为它们非常适合使用机器学习技术。谷歌高级研究员 Jon Barron 表示:「只看图像的小 patch,试图猜出图像缺失了什么,这非常适合机器来学习。机器善于识别帧之间的相似性,包括那些帧率高到足以掩盖运动中的微小错误。」

不过 DLSS  3 也存在不完美的地方,其在场景转换方面存在缺陷。但是 Barron 和 Catanzaro 认为在神经渲染模型中通过添加训练数据可以弥补这一缺陷。

英特尔图形研究副总裁 Anton Kaplanyan 认为,未来神经渲染技术会让 3D 内容创作变得更加触手可及。不难看出,现在的社交网络已经逐渐商品化了,人们只需点击一个按钮,拍一张照片,就可与亲朋好友分享。如果我们想把这种体验提升到 3D,我们就需要吸引那些不懂专业工具的人成为内容创造者。

神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

2023 年,3D 神经渲染的改进速度关乎其未来的发展。但与传统渲染相比,研究者缺少更多的经验。Barron 指出:「计算机图形学很神奇,它的工作效果非常好,我们有很多方法来解决问题,而这些方法可能永远适用。」

接下来的问题是,图形行业会在何时接受 3D 神经渲染作为一种替代方案。这种过渡可能是令人担忧的,因为押注错误技术或错误架构的代价可不小。

尽管如此,Catanzaro 相信 3D 神经渲染已经势不可挡。他说:「我们将会看到许多更加不同凡响的神经渲染技术。这些技术有的能够做阴影、折射和反射,将来我们会考虑那些比 DLSS 更强的神经渲染方法,我认为未来的图形领域将会是多种方法并行的。」

神经渲染最大的好处是效率

神经渲染的魅力不仅在于它潜在的性能,还在于它潜在的效率。DLSS 3 通过 RTX 在 Portal 游戏中提供的 530% 增益可以提高帧速率——或者通过将帧速率限制在一个目标内来降低功耗。如此一来,DLSS 3 可以减少呈现每一帧的成本。

神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的

英伟达 DLSS 3

这可不容小觑,因为消费电子领域面临着一个重要问题,即摩尔定律大势已去,就算没有,也只是苟延残喘罢了。Catanzaro 说道:「正如你所知道的,摩尔定律已经失去了势头,我个人认为后摩尔图像就是神经图像。对于英伟达来说,神经渲染已然成为一种具有代表性的方法,它不需要成倍增加晶体管数量就可以为公司带来巨大收益。」

然而,英特尔的 Kaplanyan 并不认为摩尔定律会消亡,但他也赞同神经渲染可以提高效率。他说:「芯片的大小可以解决,我同意我们有着大好的机会,可以通过机器学习算法,更有效地利用这种能量和这一领域,产生新的视觉效果。」

AMD、英伟达和英特尔这三家公司都与设备制造商合作,来设计新的消费笔记本电脑和平板电脑,于是效率便成为了三家公司的必争之地。对于设备制造商来说,效率提高带来了更薄、更轻、电池续航时间更长的设备,同时也提升了用户使用设备的功能。

显然,2023 年将是消费设备中神经渲染的奠基年。支持 DLSS 3 的英伟达 RTX 40 系列将推出多种台式电脑和笔记本电脑;英特尔预计将扩展其 Arc 图形线与即将到来的 Battlemage 架构;AMD 将推出更多使用 RDNA 3 架构的变体产品。

这些产品的发布为图形革命奠定了基础。当然,这不是一蹴而就的,需要花些功夫——但随着消费者对视觉效果和内容创造的要求越来越高,通过更小、更薄的创新,神经渲染可能是最好的交付方式。

© 版权声明

相关文章