据UploadVR报道,Meta研究人员正通过先进的机器学习技术打造“Codec Avatars 2.0”。
Facebook(Meta)在2019年3月首次展示了“Codec Avatars”,其由多个神经网络提供支持,基于171个摄像头捕获生成,生成之后,“Codec Avatars”将由一个配置了5个摄像头的原型VR头显实时驱动(其中2个摄像头用于内部观察、3个摄像头观察外部),而随着版本迭代,研究人员陆续展示了该系统例如更逼真眼动追踪以及支持麦克风的demo。
今年4月,在麻省理工学院“虚拟人与虚拟存在”研讨会上,Codec Avatars团队负责人Yaser Sheikh展示了该项目最新版本demo——“Codec Avatars 2.0”。
Sheikh表示:“我认为,未来十年的一个重大挑战是,我们是否可以实现沉浸式远程互动?”
去年发表的一篇论文中,Sheikh团队声称,Codec Avatars最新模型将更小、效率更高,神经网络现在只计算头显可见的像素,有了这一进展,Quest 2头显将能以每秒50帧的速度在空场景中渲染5个虚拟化身。
不过,要到逼真级别的保真度,Meta研发团队还有段路要走,如今的虚拟化身呈现卡通形象,非常适配于「Horizon Worlds」等大型VR社交应用环境。
可以预见的是,Codec Avatars将会演变为可选选项,而不是最终的卡通化身形象,在接受Lex Fridman采访时,扎克伯格描述了这样一个未来:用户可以在休闲游戏中使用“表现主义”虚拟化身,而在工作会议中使用“现实主义”虚拟化身。
值得一提的是,研讨会期间,Sheikh指出,无法预测Codec Avatars最终形态的诞生预期,不过,Sheikh相信Codec Avatars是公司项目的“奇迹之光”。