在网易云音乐的上市仪式中,同时出现了三个丁磊,2000年和2021年的虚拟人“丁磊”和现实中的丁磊一同敲锣。
12月2日,网易云音乐在港交所挂牌上市,网易创始人兼CEO丁磊迎来了他人生的第四次IPO敲钟仪式。除了在线下举办上市仪式之外,网易云音乐还在网易伏羲沉浸式活动系统“瑶台”上设置了“元宇宙“分会场。
这场全球首个元宇宙上市仪式复刻了线下的黑胶签到、大事件墙、音乐人墙等布置,参会嘉宾可以创建“数字分身”进入虚拟礼堂进行观礼,还可以和2000年和2021年的两个虚拟人“丁磊”进行互动合影。
2021年可以说是元宇宙元年,巨头纷纷宣布公司对于元宇宙的关注和部署,元宇宙成为了一级市场炙手可热的赛道。回归到最初将元宇宙添加进招股书中的美国游戏公司Roblox引用的概念来源——美国科幻小说家尼尔·史蒂芬森在其科幻小说《雪崩》中描述的Metaverse(元宇宙),首先元宇宙应该是一个沉浸式的虚拟世界。这些科技巨头们的部署,也都围绕着构建沉浸式虚拟世界所需要的元素和技术展开。
12月4日在杭州举办的网易创新企业大会上,网易首次公布其面向元宇宙的下一代互联网技术架构,并推出网易伏羲人工智能实验室研发的沉浸式活动系统“瑶台”和虚拟人SDK(软件开发工具包)“有灵”,昭示网易已开启对于元宇宙的探索。
作为网易元宇宙的前哨站,网易伏羲实验室成立于2017年9月,迄今已发表80余篇人工智能顶会论文,提交200多项专利,服务100多家客户,应用日均调用上亿次。钛媒体APP近日对网易伏羲联席负责人李仁杰进行了专访,深度探讨“伏羲元宇宙”。
虚拟人,元宇宙的必要组成部分
虚拟人,一直是网易伏羲的重要研究方向之一。
李仁杰表示,虚拟人在未来不论是在游戏还是元宇宙中,一定是一个必要的组成部分。首先虚拟人需要有形象,在用户提供一张照片之后,伏羲的智能捏脸系统可以把照片中的形象变成在虚拟世界里的三维模型。(关于智能捏脸,钛媒体APP曾经采访过伏羲的智能捏脸师,深入探讨智能捏脸技术,详情请见文章《我是智能捏脸师,把人类上传到虚拟世界,也打开了AI的“眼睛”|新职业研究所》)
智能捏脸之后是发型和身体的生成,系统也可以根据身体的照片去进行建模。在拥有形象之后,虚拟人需要表达能力,即自然语言方面的处理。而在他说话的时候,表情和动作也要做到自然生动。
目前虚拟人的表情和动作制作主要有两种办法,一种好莱坞电影经常用的方法。让演员穿上紧身服,在身上贴关键点,然后把表情和动作迁移到角色上。另一种方式是人站在摄像头前,系统就可以自动识别关键点去迁移表情和动作到虚拟人上,目前的虚拟直播大多使用这种技术,但问题是依然需要“中之人”去进行表演。当元宇宙发展之后,可能需要上千万虚拟人为人类进行服务,那么伏羲现在做的,就是让虚拟人可以通过文字或者语音进行驱动,即输入一段文字或者语音,虚拟人就可以自动做出表情和动作。
伏羲也为虚拟人添加了娱乐功能,比如智能演唱、智能舞蹈、智能写诗等。更进一步,经过强化学习,虚拟人也可以有自己的行为决策,伏羲已经在游戏中落地战斗机器人,可以经过训练与玩家进行自由对战。在虚拟人的感情和个性方面,伏羲也有过探索,在《倩女幽魂》手游中,玩家可以通过互动培养出不同性格的智能小孩。
整体来看,伏羲希望在全链路上都可以对虚拟人有一些探索和突破,目前推出的“有灵”虚拟人SDK包括3D智能捏脸、3D动画合成、语音合成等多个模块,使用户能够自主制作虚拟数字人,降低使用门槛。虚拟人技术也会继续在瑶台中进行应用,比如新手教学,虚拟人导览等等。
做现实世界的有益补偿
“伏羲开发瑶台线上活动系统,是希望利用已有的技术,来弥补传统线上交流系统和线下的差距,甚至能利用线上的优势去达到很多线下无法实现的事情。”
李仁杰介绍道,因为疫情的影响,大家多少都经历了一段时间的居家办公,有很多远程交流和远程会议系统出现在了大家的工具栏。这些系统提高了我们的工作效率,但是比起线下,在线交流依然具有部分缺陷,无法满足人们对于仪式感、沉浸感和社交需要。
例如这次网易云音乐上市的敲锣仪式,普通的线上会议系统很难满足大家对于聚集在一起,举办一个典礼的仪式感的需求。在沉浸感的部分,当线下大家沉浸于会场的布置和气氛中的时候,比起坐在家里自然会有更多感触。而在这类线下仪式或者大会中,人们通常也因为工作或者公司业务开展有一些社交的需要。但是传统的线上的会议系统中人们很难进行社交活动,实际情况大多是演讲者开摄像头、分享PPT,而听讲者之间不会有交流,甚至不知道和谁一起参加了会议。
在瑶台中,用户操作虚拟形象进行参会,体验感会更类似于线下。用户可以和其他虚拟人互动、聊天。为了使社交参与的形式更接近于现实,伏羲开发了Fluid Chat的功能,距离相近的两人无需加好友即可展开聊天。例如在学术会议中,只要进入Poster周围两米的区域,摄像头就会自动打开,即在这个区域里的人自动形成了一个聊天小组,当用户离开小组就自动消失。在摄像头打开的时候瑶台还加入了表情迁移和动作迁移的功能,用户在摄像头前做出的动作和表情会实时反映到其虚拟形象上。
对会议组织方来说,瑶台也设计了活动策划系统来提升使用体验,包括会议日程安排,分会场规划和参会者反馈收集等功能。
在构建瑶台的过程中,伏羲攻克了许多技术难点,例如如何在虚拟世界放入视频流、播放PPT,和几百人在一个场景同时在线不卡顿、延迟。由于瑶台本身客户端体积较大,为了方便用户使用,瑶台还搭载了云游戏的技术,用户不用下载即可在网页版进入会议,所有游戏的运行和算力需求由服务器承载。目前用户体验已经可以达到网页版和客户端几乎不存在体验上的区别。
“瑶台系统和MMORPG里面构建的虚拟世界区别在于,不同于游戏世界中已经设定好的任务和剧情,在瑶台里面,我们更希望是做的实现对真实世界的一个补足,在瑶台里做的一些事情实际上对现实是有帮助的。”李仁杰表示。
目前瑶台在关注的方向还是会议、会展,然后以及各种类型的活动,之后在活动类型方面也会有一些拓展。比如举办演唱会,家庭聚会,或者剧本杀,瑶台拥有更多可能性。当伏羲积累的技术,以及生产资源和数字资产越来越多的时候,伏羲希望瑶台可以成为一个开放的平台。
未来瑶台希望用户也可以自己搭建场景,生产更多UGC内容。用户一方面可以利用系统提供的素材,另一方面伏羲也正在研究场景的三维重建以及物体的三维重建,去把真实环境和物体移植到虚拟世界中。用户拍摄几张真实物体的照片,系统就可以自动建模,在瑶台里生成物体的三维模型进行使用。
网易元宇宙从“瑶台”开始?
李仁杰表示,人工智能是元宇宙非常重要的一环。首先虚拟世界是元宇宙的基本元素,不论是人参与的虚拟世界,还是在工业生态中,必然都是需要进行大量3D建模。这样一个庞大的需求量,如果依然使用人工的方法去复制,就会非常低效,只能够用智能的方式去提高效率和生产力。
对于伏羲的人工智能技术在元宇宙的发挥空间,伏羲原本的发展愿景其实就与现在元宇宙的概念非常契合。伏羲人工智能实验室在2017年成立当时的目标和初衷是希望把人工智能和游戏相结合,从而帮助释放创作者的生产力、革新玩家的游戏体验。在游戏中做了很多成熟的技术落地之后,伏羲希望可以把这种沉浸式的交互体验带到各个领域,去丰富每一个人的精神世界。
“我们很庆幸很早之前就在探索这样的一个领域,目前也有了不少的积累。伏羲以后会继续去让我们的技术生根发芽,用AI为游戏和其他的产品赋能。”李仁杰说道。
瑶台线上活动系统其实也是元宇宙概念还未出现的时候,伏羲就开始进行的一个项目。“瑶台的诞生是因为我们希望能为真实世界解决具体的问题,我们希望把这种新的体验也能带到其他的产品中,去做一些更多的尝试。”李仁杰表示,瑶台可以说是作为伏羲探索元宇宙的一个尝试性起点。
对于元宇宙未来最可能最先以什么样的形式落地,李仁杰说道,元宇宙的中心点还是对真实世界的有益补充,如果我们只是去创建一个虚拟世界,其实可能和现在的游戏没有区别。作为一个真实的自然人,人们主要的活动有学习、工作还有娱乐。
在学习的方面,元宇宙可能会和教育结合,今天人们学习主要靠书本,如果进行沉浸式教学,比如让学生亲身体验历史和地理环境,而不是死记硬背,大家可能会学得更快。到工作中,通过元宇宙的方式让大家更好地远程高效工作,还有比如说工业方面的数字孪生物理模拟和机器人等等,也都是很好的应用场景。在文娱方面,有沉浸式的音乐、电影、游戏,怎么能通过元宇宙这种方式更好地宣传我们中国文化也是非常值得去探索的一条路。
李仁杰还表示,元宇宙的未来一定首先是一个百花齐放的局面,至于最后会出现怎样的结果,现在还很难去判断。