智能座舱中,3D引擎能带来差异化体验。基于Cocos 3D引擎,PBR材质系统和光影系统可帮助主机厂还原车辆效果;基于引擎底层的动作驱动、表情驱动能力实现车载 3D VPA;基于实时3D渲染引擎可实现自动辅助驾驶的可视化……
2023年5月19日,在2023中国(重庆)汽车元宇宙高峰论坛上,Cocos车机事业部VP郭萌表示,希望Cocos 3D引擎能成为智能座舱打开元宇宙的一把钥匙。
郭萌|Cocos车机事业部VP
以下为演讲内容整理:
元宇宙在前几年提出后,获得了国家政策和各地政府的全力扶植。并在很多领域取得了较好突破,我认为在汽车场景中,元宇宙会有更好的落地。
随着自动驾驶技术的不断进化,汽车从单一交通工具向第三空间进化,座舱软件除了娱乐功能,还添加了社交属性。同时作为封闭空间,座舱天然适合去打造沉浸式体验的硬件落地场景,座舱后续会有更多的屏,更大的屏,更好的算力,更好的音响等,这些都是搭建元宇宙平台的基础设施。
除了上述基础设施外,新能源汽车的主流消费群体是年轻人,他们对新内容、新平台以及个性化追求更强烈,这些诉求也可以通过元宇宙平台呈现,所以在元宇宙的落地场景中,智能网联汽车是不可或缺的组成部分。
关于 Cocos
Cocos成立于13年前,是全球领先的数字互动内容开发平台,平台上的核心产品是3D实时渲染引擎。围绕着3D渲染引擎为各行各业打造不同的解决方案,现在除了游戏行业,我们也在服务汽车、元宇宙等更多的数字内容平台行业。
2010年,我们发布了第一代产品Cocos 2d-x,最早用来服务移动手机游戏的开发,产品发布后很快受到了国内外游戏公司的欢迎。2010年-2015年,是手游发展最快的行业阶段,Cocos引擎开发的游戏占到市场份额的50%以上。
随着这些年的不断发展,2016年Cocos推出了自己的编辑器,结合Cocos引擎,实现了组件化和数据驱动架构;2018年引擎底层已经重构出3D渲染器,支持自定义渲染管线;2019年-2020年正式推出Cocos Creator 3.0,不仅支持2D开发,也支持3D开发;2021年,我们与华为合作,Cocos Creator 3.2 正式支持 Harmony OS,也是全球第一家支持华为Harmony OS系统的商业化3D渲染引擎。2022年,面向汽车和XR两大领域发布了 HMI以及Cocos CreatorXR两个解决方案。
在国产游戏引擎排名中,Cocos比较靠前。现在,Cocos在全球有160万+的开发者,分布在200+个国家,在移动游戏以及小游戏市场占有率较高。
Cocos引擎能力
2016年发布的Creator编辑器是桌面级的开发工具,无论是程序员还是美术设计都能在其中进行内容开发,同时把工作流集成到一个平台上,从构建到调试、测试、发布,都由一个平台去搭载,平台还搭载了很多在内容开发时用到的组件,包括动画系统、材质系统、粒子系统等。
其后对应的是我们持续更新迭代的3D实时引擎,这个引擎的优势在于:
首先它从2D开始转而全面支持3D,具备高兼容性。游戏和汽车行业的差距在于,一款车机软件只需要适配一个车型,但游戏要适配市面上所有的手机型号,所以这不仅对上层游戏内容的开发有较高要求,同时对底层引擎也有较高的优势。经过10多年的捶打,我们的引擎在安卓平台上的兼容率达到99%以上,目前大部分主流的新能源汽车都在使用安卓平台。
其次对引擎而言,我们是基于轻量化的架构引擎,包体较小,在移动端的包体大概是4兆,在web端只有100k左右。这对汽车软件比较友善,因为车机的性能相对手机会更低。
最后就稳定性而言,我们除了支持游戏内容外,也和国内的诸多手机厂商一起支持小游戏环境的运行。他们会将Cocos引擎直接放到系统底层,由Cocos去稳定地支撑其小游戏生态运行。
Cocos汽车行业解决方案
3D游戏引擎离车场越来越近,从整车创意到设计,再到HMI、工程制造、市场销售运营等全链路领域都会用到3D游戏引擎。我们有比较全面的基于座舱的效果展示,主要是3D游戏引擎在座舱内被应用到的功能,包括车模、API、特效等。
现在Cocos面向座舱为客户提供几层能力:首先基于核心引擎能力,我们会向主机厂提供开发模板,主机厂可基于这些模板快速开发需要的座舱软件功能。再往上层,基于主机厂自己的os系统提供引擎定制和集成服务,同时帮主机厂进行培训,以及开发者的培训支持。
3D车模在HMI座舱的比重越来越重,特别是近两年,大家都在通过3D车模做一镜到底,包括场景转换,比如朗驰界面到导航界面,通过车模流转,到车辆设置页面,页面的跳转不是传统的 APP间的跳转,而是通过3D渲染模型流转到下一页面。另外,PBR材质系统和光影系统可帮助主机厂还原车辆效果。
虚拟人也是元宇宙的核心部分,现在车厂都在做座舱,通过虚拟人提升语音交互的情感。Cocos的引擎是基于虚拟人制作的,基于展现层的驱动,包括动作表情等能力3D实时渲染,即常规车上用到的地图导航自动驾驶对现实世界的还原,包括自动泊车等。
自动驾驶场景有很多元素,比如在HMI界面展现时,如果不能及时的展现出来,会让驾驶者有种自动驾驶更累的感觉。原因在于,没有很好的把车辆行驶环境和下一步行驶路线很好的呈现出来。通过3D引擎能帮助车厂打造更好的现实世界还原的界面。
目前,长屏大多数会有主驾和副驾两方面,我们的产品也为国内某车厂定制了能够让主驾和副驾在同一游戏场景中对战的跑步游戏。座舱内游戏不是刚需,但确实可以帮用户消磨碎片化的时间,同时能够在座舱内能够带来不一样的体验,像硬件、方向盘、空调座椅等都能作为反馈展示联动到游戏内。
此外,汽车行业都在“卷音乐”,除了不断提升麦克风和喇叭的质量外,3D引擎能从视觉方面再增强音乐体验,我们做了3D歌词放在大屏幕上,给座舱用户带来的视觉冲击要比传统的滚石字幕更好。我们也有自己的供应商能够提供更高品质的音源,如Hires、杜比全景声等格式,目前座舱内很多场景功能已开始使用。
但是大家也在担忧,这么多功能都开始用3D,车的性能不够怎么办?
Cocos提出的方案是,将引擎作为服务运营在系统层,而不是集成在某个APP内。当系统运行时,不论是从硬件上还是从内存上,都只有一个引擎在运行,帮助车厂节省性能开销。这个方案叫做“render service”,由一个渲染服务支撑多个APP运行。
Cocos元宇宙解决方案
Cocos CreatorXR是基于Cocos编译器提出的开发工具。在软件层面,帮助开发者抹平不同硬件设备间的API差异,同时封装了不同的XR中间件,支持内容开发,支持开发者自定义组件,从而提升内容开发的便利性。
去年的世界人工智能大会,Cocos基于跨平台的特点,帮人工智能大会打造了安卓端、iOS端、VR端和H5四个端的元宇宙场景。用户的四个端连在同一服务器内,基于一套代码打造。
接下来着重介绍下开发者生态,虽然Cocos是一家中国自主知识产权的3D渲染引擎,但是在海外也有大概30%的开发者,主要分布在北美和东南亚,像Google、Facebook、switch等平台,目前Cocos可支持开发者直接开发switch内容,并上架到 switch游戏中心。
开发者生态我们还有两大组成部分。首先,我们每年会在国内举行开发者沙龙,通过沙龙接触我们的核心开发者,了解他们对Cocos引擎的诉求,并反馈给我们的引擎开发团队,从而正向推进引擎的更新迭代;其次,我们和国内很多高校有着深度的合作,直接在高校内开设Cocos引擎的教学课程,为社会输送更多的3D开发人才。这些人才后续会到游戏公司,也会流入元宇宙公司。
综上所言,我们希望通过Cocos以及Cocos提供的解决方案和产品,作为智能座舱打开元宇宙的一把钥匙,服务好各位主机厂在元宇宙内容的探索。
(以上内容来自Cocos车机事业部VP郭萌于2023年5月19日在2023中国(重庆)汽车元宇宙高峰论坛发表的《游戏引擎助力汽车元宇宙跨平台渲染》主题演讲。)