苹果推出 Vision Pro，开创沉浸式媒体的新时代

作者: Render

编译: ChainCatcher

本周早些时候，Apple 在 WWDC 上推出了 Vision Pro 混合现实 (MR) 耳机，这是该公司自 iPhone 发布以来最受期待的产品发布之一。作为\"空间计算\"新时代的介绍，Vision Pro 提供令人惊叹的图形、音频、显示以及至关重要的 GPU 硬件创新的组合，这些创新正在融合，首次使沉浸式媒体成为大众消费者的现实经过几十年的研发。

Vision Pro 的背后是向新通信媒体的转变，它有可能重塑我们相互联系的方式，成为继移动之后的下一个计算平台。为这场革命提供动力的是从静态 2D 成像到智能 3D 沉浸式媒体的转变，Render Network 一直在开发分散式 GPU 计算基础设施以大规模提供。

这个网络背后 (BTN) 将研究一些底层渲染网络技术，这些技术对于使混合现实可用和广泛分布非常重要，从而开创空间计算的新兴时代。

Vision Pro 引入了一种新的媒体形式，它比信息技术史上的任何其他媒体都更加注重视觉沉浸感。栩栩如生的混合现实内容不仅需要以比 2D 屏幕高得多的分辨率显示媒体，而且还需要更高水平的超现实主义——虚拟计算机图形和物理世界自然地融合在一起。因此，用于 Vision Pro 的高端媒体将需要渲染和图形需求的两个指数增长轴——分辨率和图像保真度——两者都不是线性扩展，从而产生新的密集计算压力。

查看 Vision Pro 的规格，很明显该设备是围绕高级成像构建的，主要侧重于视觉沉浸，包括：

从 Vision Pro 的硬件规格可以看出，空间计算对图像沉浸的依赖程度远高于以往任何其他形式的人机交互，这为下一代图形提供了巨大的需求。举个简单的例子，眼动追踪和单眼 4K+ 显示器的结合可能会导致超过 8K 的立体渲染需求——为图像创造宽容度，以 1:1 的分辨率跟踪眼动，而不会裁剪/缩放会降低图像质量和破坏视觉沉浸。

作为一个旨在使后移动沉浸式计算的未来可访问和广泛分布的平台，渲染网络在点对点分散式 GPU 计算之上包含许多独特的技术，这些技术有助于推动空间媒体的新时代Vision Pro 即将揭幕。

渲染网络上的底层内置引擎 Octane 在针对 M1 和 M2 等 Apple Silicon 芯片组的优化方面是独一无二的，为 Vision Pro 提供高效的高端渲染——与移动设备上的桌面渲染完全相同。

已经在 Apple 设备上使用 Octane X 的艺术家可以通过导出在 Apple 硬件生态系统中创建的场景并通过 Octane X 在 Render 上访问近乎无限的分散式 GPU 云渲染能力来利用渲染网络。Octane X 版本可用于 macOS 和 iPadOS ，渲染平台已经在高端桌面和移动渲染之间架起桥梁，为相同架构支持 visionOS 铺平了道路，visionOS 是 Vision Pro 的操作系统。因此，visionOS 将支持 Octane X 的同一艺术家和发布工作流程，使工作流程能够顺畅地跨越从桌面到移动和 Spatial 的所有硬件平台——所有这些都由渲染网络增强。

除了 Apple 在 WWDC 上发布的其他公告，包括最新的 Apple Silicon 芯片系列，它提供了 M2 Ultra 专为 AI 计算和密集图形设计的 192GB 内存带宽等功能，Octane X 硬件生态系统中的功能也在迅速增长，为下一代 3D 开发人员提供新的安装基础和硬件架构。 M2 Apple Silicon 芯片已经可以为移动笔记本电脑的多个同步 4K 显示器提供动力，并且这种相同的处理能力现在正被用于具有高密度超高分辨率近场显示器的移动可穿戴外形中的下一代沉浸式成像。凭借高内存带宽 AI 芯片和日益强大的 Apple Silicon 图形，高性能 GPU 渲染和下一代 AI 计算正在融合，以加速渲染空间现实生产工作流程的兴起。

渲染网络已经为图形变化做出了贡献，这种变化有可能为完全交互式空间渲染提供动力，这是 3D 渲染和 AI 技术的融合：NeRF。今年早些时候在二月份的网络背后展示了神经辐射场或 NeRF，它利用人工智能计算和 3D 渲染来创建可以在混合现实设备上查看的实时沉浸式 3D 资产。对于那些可能不了解 NeRF 的人，Render Network 用户 Corridor Digital 的 Wren 使用网络制作了一段关于该主题的精彩视频。

总而言之，NeRF 是经典照片扫描技术的演变，3D 创作者多年来一直使用这种技术来创建真实物体和环境的逼真 3D 模型。虽然照片扫描允许创作者生成逼真的图像，但它需要个人创作者相当多的技巧来弥补照片扫描难以捕捉真实生活的领域，例如准确地重建高反光或透明表面，更不用说在具有移动相机和多个角度的动态场景中这样做了。 NeRF 采用相同的照片扫描方法，但随后利用 AI 准确生成扫描环境所有元素的完整 3D 再现。这表明 NeRF 不仅能够更成功地重建那些相同的问题对象和反射/光交互，在创建完整的 3D 重建时，NeRF 允许快速重新混合，因为所有角度和数字引入的对象都被考虑在内NeRF 中的环境因素，例如光线和角度。

然而，要处理 NeRF，需要大量的预计算能力，结合 3D 渲染和人工智能深度学习。随着越来越多的艺术家和工程师希望开发身临其境的空间现实体验，扩展计算层以广泛采用 NeRF 是渲染网络技术设计的重要组成部分。

虽然 NeRF 提供了一种用于创建轻量级沉浸式资产的工具，但最高质量的沉浸式体验是预先计算的光场，跟踪光在光场体积内反射的所有排列。通过预先计算的光场，可以创建无噪声的逼真全息图，以最高的保真度在合成数字世界和物理空间之间架起一座桥梁。然而，要让 Vision Pro 上的光场可供广大艺术家、工程师和开发人员使用，需要 GPU 云计算能力呈指数级增长，因为每个预计算光场需要 10-100 倍的 4k 图像渲染。

Render Network 是为消费者广泛使用光场的未来而设计的，并且已经通过与 Light Field Lab 合作的尖端光场显示技术演示展示了下一代成像的前景。

NeRF、光场和全息图如何在更大的 MR 领域发挥作用，包括 Apple Vision Pro？所有这些都是下一代后移动信息领域发展的基石，完全交互式和身临其境的媒体体验将取代基于 2D 屏幕的通信。 Apple Vision Pro 可被视为在公众意识中扩展沉浸式媒体并通过令人惊叹的大众市场消费设备鼓励大规模采用的重要转折点。渲染网络正在推动的未来是混合现实计算变得更加普遍和易于访问，为创意、艺术和沉浸式应用程序创建一个新平台，通过空间计算将高端 3D 计算带出屏幕并带入物理世界。

这就是 Render Network 及其用于 NeRF 和光场的新兴技术构成未来 MR 创意景观的核心支柱的地方，具有全视野、超逼真的图像通过分散式计算平台处理和流式传输。借助渲染网络的强大功能，为 MR 体验渲染新形式的 3D 内容会大大节省时间和成本，从而允许更大规模和更复杂的渲染工作扩展到更广泛的艺术家、开发人员和工程师群体，并迎来空间计算时代。在（不远的）未来，可穿戴技术的形式因素将得到改进，并且在真实空间中以 3D 投影的实时体验不仅是可能的，而且是互动的，使用相同的技术和原则正在铺设今天由渲染网络。

虽然 Vision Pro 开辟了计算和信息学的新时代，但它也有可能彻底改变围绕区块链不可替代令牌开发的虚拟资产格局。沉浸式 3D 资产的创建将为数字所有权添加一个新的现实维度，使消费者能够购买可以像虚拟雕塑一样无缝融入物理世界的虚拟对象。通过网络混合现实，这些对象可以互动，使收藏家和创作者能够使用地理定位和先进的地图技术共享物理空间中的虚拟对象。这开辟了一种与虚拟资产交互的全新方式，将它们从静态图像和视频带入可以在现实世界中进行社交体验的完全交互对象。

全息图或完全逼真的数字对象可能会成为虚拟不可替代代币 (NFT) 经济发展的前沿，因为收藏家和艺术家希望开发新的方法来将数字艺术与实物所有权相结合。建筑环境——从标志性地标到店面——可以成为叠加数字内容和混合现实体验的平台。服装、配饰和实物可以与独特的不可替代的数字孪生一起出售，这些数字孪生使用二维码等基准追踪技术在混合现实中栩栩如生。空间现实资产之上的可组合层可实现社交网络和 IRL 体验之间的新形式的创造力和互连。

有了像 Vision Pro 这样的设备，现在不仅可以使用区块链技术拥有虚拟资产——在互联网上添加一个所有权层——而且这些资产将变得更加逼真、网络化和可组合，从而创造出改变游戏规则的新层次数字艺术和体验的沉浸感和互联性。

虽然为 Vision Pro 创建的媒体需要通过沉浸式图形技术和高级渲染在视觉上\"栩栩如生\"，但它还需要新级别的语义智能才能在混合现实中实现完全交互和组合。 Render Network 的 ORBX 数据模式使艺术家能够使用网络的 Render Graph 创建、共享、标记化和货币化虚拟对象，这些虚拟对象具有完全可移植到空间网络的能力，具有最高级别的视觉保真度和数字来源。 ORBX 与 ITMF（沉浸式技术媒体格式）等开放标准的集成首次实现了全息 3D 场景的分发，其中包含每个组成元素的完整 3D 场景数据和数字版权元数据。由于场景图数据在 Render 上被散列和标记化，它无损地包含和分发链上 3D 数据，用于实时流媒体和复杂的多方版税流等应用程序。这开辟了新的商业和体验形式，实时 3D 资产可以在空间网络中消费、货币化和重新混合，具有完全的链上可组合性。许多 Render Network 艺术家已经在考虑如何将他们的 3D 场景转换为空间现实对象——这是 Render Network 使之成为可能的应用程序。

正如在链上销售数字艺术的兴起所看到的那样，这些早期虚拟资产中的一些可能会成为具有历史意义的文化对象，作为下一代定义计算平台开发中的一些首批链上原语，空间网。

Vision Pro 的最后发布是对娱乐未来的非凡展示，3D 世界使消费者能够以比以往任何时候都更加身临其境的方式体验娱乐。迪士尼首席执行官鲍勃·艾格 (Bob Iger) 展示的是一扇通向未来迪士尼空间的窗口——从曼达洛人开始——以身临其境的空间现实呈现。正如 2016 年在迪士尼加速器期间演示的那样，可以为标志性媒体资产创建完全身临其境的定制全息环境，使媒体公司能够创造令人惊叹的体验，复制并超越影院体验。与在电视上观看电影或体验不同，娱乐品牌可能会创造完全类似 IMAX 的沉浸式体验，在混合现实中销售给观众，类似于游戏的流媒体和在线销售方式。 Vision Pro 可能会通过其令人惊叹的显示和渲染技术创造首次大规模消费者采用沉浸式 VR 体验——再次为创作者开辟新渠道来制作超高分辨率沉浸式体验并从中获利，而这只有通过计算能力的指数级增长才有可能实现。

基于位置的娱乐可能会进一步发展，包括沉浸式实时 3D 世界，将 3D 故事讲述与混合现实中的动态生成 AI 相结合。不可替代的代币可能会增强流媒体体验，用户可以通过消费沉浸式体验获得数字纪念品，甚至可以在沉浸式空间世界中创建独特的数字资产。免提人工智能辅助基于提示的混合现实创作可以使交互式链上数字创作、收藏和网络变得更加顺畅和愉快，从而连接艺术收藏、游戏和社交网络的世界。

最后，渲染网络为一个原型提供了动力，为空间现实媒体和娱乐的未来提供了一个窗口。从 2022 年到 2023 年，Render Network 一直在利用其计算和流媒体生态系统为公众带来下一代 1:1 真人大小的沉浸式星际迷航企业和企业桥体验——生动地展示了完全沉浸式混合现实体验的潜力.

需要分散式密集型 GPU 流媒体和 GPU 云预计算，以及原生沉浸式文件格式，以制作和分发像 Roddenberry Archive 这样的高端沉浸式体验。随着 Vision Pro 在未来十年以越来越大的规模进入消费者，Roddenberry Archive 中展示的相同 1:1 体验可以成为更广泛的创意作品和消费者体验的模板。它们还将通过更加身临其境的观看选项得到增强，例如全光场，这需要比 2D 或 3D 渲染高几个数量级的计算能力。

像 Roddenberry Archive 这样的项目可以通过渲染网络的分散渲染和流媒体功能实现，它可以为令人惊叹的广泛分布的全息空间计算体验提供支持。这是一个激动人心的未来，它有望通过渲染网络的分散式 GPU 计算网络、3D 市场和应用程序平台得到增强和加速。