编者按:包括元宇宙在内的未来产业,是抢抓新一轮科技革命和产业变革的重要机遇,实现引领发展的重要抓手。2021年以来,元宇宙成为备受青睐的互联网产业新风口,并在内容生产、场景构建、虚实界面、认证机制等创新技术的驱动下不断演进。中国电子报推出元宇宙技术发展动向系列报道,采访权威专家学者和龙头企业,分析关键技术对元宇宙发展引发的边际性变化,敬请关注。
元宇宙扣篮大赛赛场
2022年12月,英特尔与中国篮球协会共同举办了首届“元宇宙扣篮大赛”,身处中国大江南北不同地方的球员、评委于同一时间在虚拟球场竞技。这场元宇宙竞技的实现基础是英特尔的算力(CPU+GPU)、AI算法和5G+MEC等技术。
英特尔公司高级副总裁兼加速计算系统和图形事业部总经理Raja Koduri曾表示,要如实复现科幻小说《雪崩》中的元宇宙体验,需要在相同甚至更低的能耗下实现1000倍的算力增长,算法、架构、神经网络算法等,都要在提高计算效率方面发挥作用。
算力等底层技术突飞猛进
元宇宙引发的多信息技术融合和大规模数据化,决定了它是不折不扣的算力“吞金兽”。中国工程院院士、紫金山实验室主任兼首席科学家刘韵洁曾表示,元宇宙相关技术实现依靠超强算力,需达到AR/VR:3900、区块链:5500、Al:16000(单位:EFLPOS)1级别算力以处理连续长周期、突发短周期智能服务。因此,高通、英伟达、英特尔都在围绕元宇宙布局芯片平台,以及连接和调用算力的开发者平台。
在构建元宇宙的技术栈中,底层软硬件起到了基础设施的作用。记者在采访时了解到,元宇宙的基础设施层主要由计算、存储、网络硬件,以及基础软件、支撑软件构成,提供各类元宇宙终端的底层资源和应用软件的运行平台。
如视和景德镇中国陶瓷博物馆联手打造的 VR 博物馆
位姿计算、场景渲染、数据采集等一系列软件工具,是元宇宙应用开发和内容制作的关键。在2022世界VR产业大会上,如视展示了和景德镇中国陶瓷博物馆联手打造的VR博物馆。用户可在空间内自由漫步,近距离感受展品的每一处细节,即便是文物材质的颗粒感都清晰可见。
高通技术公司中国区XR业务负责人郭鹏向《中国电子报》记者表示,构建元宇宙的基础技术主要包括终端、处理、连接和生态系统。终端是用户获取空间互联网体验的媒介,基于在性能和复杂度上媲美智能手机和笔记本电脑的组件——包括处理器、摄像头、传感器和电池等,头显设备或AR眼镜能够赋能空间计算体验。
当体验交互能够在数字空间中真实开展,才能实现对商业价值的提效革新,发挥虚实结合助力产业升级的终极目标。
如视CEO惠新宸向《中国电子报》记者表示,完美的元宇宙级别数字孪生世界不仅是在视觉维度上对物理世界的完整复刻重现,关键在于将现实世界里更深层次的数据通过采集、解读和交互在虚拟世界内进行重塑,通过VR技术打造的数字空间为载体来模拟、重塑真实世界内的一切商业行为。
3D引擎紧跟元宇宙的脚步
引擎是模块化、可复用的数字内容创作工具,也是元宇宙视觉构建的核心技术。全球主要的3D引擎都在跟进元宇宙的脚步,比如Unity发布了云编辑器和云端分布式实时渲染技术,以实现更大规模的渲染任务。
目前,主流的元宇宙引擎有Unity、Unreal Engine、CryEngine等。上海市多媒体行业协会副秘书长、扩展现实专委会主任端木海婴向记者表示,3D引擎不断推出新的版本,提升渲染、物理模拟、人工智能等方面的能力,使元宇宙的图像质量和互动体验得到了进一步的提升。
不过,元宇宙的构建目标与游戏有所不同。相比游戏穷极想象力的奇幻设想,元宇宙的主要目标是打造栩栩如生的数字世界,这就需要高效的采集和建模工具。
以VR博物馆为例,惠新宸为记者盘点了构建数字世界所需的采集和建模技术。一是基于单目图像深度预测以及融合多点位预测深度等技术进行位姿计算和三维建模;二是全新深度逆渲染框架。如视首次引入了“层级式场景先验”,对空间内光照、反射率、粗糙度等物理属性进行分层级的预测,并将预测结果转化为物理合理、全局一致的渲染资产;三是使用自研的“软硬一体”激光VR扫描仪伽罗华进行超大空间的高精度高清晰度数据采集;四是分布式建模,通过分布式建模对海量数据进行并行化处理,生成视觉统一的大模型。
基于元宇宙的时空拓展,还需要虚拟世界与现实世界的融合。燧光率先落成了元宇宙全虚实融合街区,将真实的环境通过环境扫描与重建还原到虚拟世界中。虚拟世界各位置对应的人物与物体,又通过MR头显,叠加到了现实的街区中,用户可以在街区里进行实时交互。
燧光元宇宙全虚实融合街区
燧光科技相关负责人向记者表示,虚实融合要整合环境、物体和人物三种要素。在环境虚实融合方面,燧光的混合现实交互终端Rhino X2在前端搭载镜头模组,可以对环境进行扫描,并在后端开发工具中进行实时重建。在物体虚实融合方面,Rhino X2搭载了两枚红外传感器,搭配燧光自研的X-Tag技术,可以实现与多种装备的虚实融合。在人物的虚实融合方面,基于光混动捕技术,能让人无需佩戴复杂的动捕标定服装,直接捕捉并还原人物的态势。
“我们相信,虚实融合的元宇宙应用,将在未来的产业升级中,扮演重要的角色。院校可以利用它进行更直观、更安全的教学,企业可以利用它提高生产效率,警用部门可以利用它进行更接近实战的训练。”燧光科技相关负责人表示。
芯片平台筑牢元宇宙的底座
今年4月,高通宣布和北京神木科技有限公司展开合作,神木科技将在中国市场为高通的Snapdragon Spaces XR开发者提供本地化服务和技术支持,支持Snapdragon Spaces在中国开发者生态的扩展。据悉,Snapdragon Spaces XR平台为开发者提供感知算法、软件和API。开发者做一次开发,就能提供给不同的终端设备厂商使用。
高通第一代骁龙XR2+
XR(包括增强现实、虚拟现实和混合现实设备)设备是消费者通往元宇宙的主要入口。高通面向XR的视觉、音频、交互等需求,推出了专用芯片平台——骁龙XR平台,目前已有超过65款采用骁龙XR平台的XR商用设备发布。
2022年10月,高通推出第一代骁龙XR2+平台,实现50%的持续性能提升和30%的散热提升,支持在更小更轻薄的XR设备中实现元宇宙体验。2022年11月的骁龙峰会上,高通推出了首个专为头戴式AR设备打造的平台——第一代骁龙AR2平台,进一步扩展XR产品组合。
“我们还处于元宇宙发展的起步阶段。为满足元宇宙中图形丰富、带宽密集型体验需求,未来3—5年内,人们将看到分布式计算能力的跃升。AR眼镜不仅能够连接智能手机,还能够将连接无缝转换至PC、汽车终端上,或者直接连接至网联边缘或云端。这对赋能高保真图形处理,同时缩小眼镜/头显尺寸至关重要。”郭鹏告诉记者。
全球GPU领军企业英伟达是元宇宙算力布局的先行者。2023年以来,英伟达将注意力放在了元宇宙应用的规模化部署上。在芯片层面,推出了包含BlueField-3 DPU、L40 GPU、ConnectX-7智能网卡的第三代NVIDIA OVX计算系统,提升图形和AI性能,为加速大规模数字孪生模拟提供支持。在平台层面,英伟达于2019年推出了创建和运行元宇宙应用的平台Omniverse。
今年以来,英伟达着重提升Omniverse的生产力,不仅将Omniverse Cloud PaaS(平台即服务)托管到微软Azure,使企业能够即时访问设计、开发、部署和管理工业元宇宙应用所需的全栈环境,还实现了Omniverse与Teams、OneDrive、SharePoint等Microsoft 365应用的连接,将生产力工具与3D协作平台结合。
随着芯片性能、算法效率、平台支持能力的提升,元宇宙的体验升级和规模部署将持续提速。端木海婴表示,元宇宙在算力的进展主要集中在两方面:一是在提高算法效率的基础上,优化元宇宙的运行效率,提高元宇宙的交互性和体验感;二是在提高算力的基础上,增强元宇宙的计算能力,支持更加复杂的应用场景。