数字孪生

虚拟人是怎么制作出来的?

数字虚拟人的广义定义为数字化外形的虚拟人物,是“虚拟”(存在于非物理世界中)+“数字”(由计算机图形学、图形染、动作捕捉、深度学习、语音合成等计算机手段创造及使用)+“人”(具有多重人类特征,如外貌、人类表演/交互能力等)的综合产物。

什么是数字虚拟人

数字虚拟人的广义定义为数字化外形的虚拟人物,是“虚拟”(存在于非物理世界中)+“数字”(由计算机图形学、图形染、动作捕捉、深度学习、语音合成等计算机手段创造及使用)+“人”(具有多重人类特征,如外貌、人类表演/交互能力等)的综合产物。像现在大家熟知的初音未来、央视小C、洛天依、柳夜熙等等,都是很经典的虚拟人形象。那虚拟人是怎么制作出来的呢?让我们一起来了解下吧!

现阶段虚拟人制作主要涉及建模、驱动和渲染三大技术

3D建模:为构建虚拟人形象的基础,重点在于实现细节的精细还原

目前的建模方式主要可以分为三种:

1、手工建模,这是最初采用的建模手段,目前虽然还在广泛应用,但人工制作周期比较长。

2、图像采集模型,通过几张照片还原人脸 3D 结构,但是精度不足以建立高质量模型。

3、仪器采集模型,是目前发展的重点,精度可达到 0.1 毫米,但是成本比较高。仪器采集模型现阶段以静态扫描模型为主,其中结构光扫描重建系统是由投影仪投射特定光、摄像头采集信息,最后再复原整个三维模型,设备要求相对较低,是一种相对经济的扫描方案。而相机阵列扫描重建技术,目前正替代结构光成为主流的人物建模方式,原理是通过相机阵列拍摄图片间的相同特征点进行匹配校准,然后重建人物模型,这项技术在国际上已成功商业化,并被应用于电影、游戏制作当中。

驱动技术:动作捕捉为虚拟人主流动作生产方式

通过将捕捉采集的动作迁移至虚拟人是目前3D虚拟人动作生成的主要方式,核心技术是动作捕捉。可以通过光学式、惯性式、电磁式及基于计算机视觉的动作捕捉来实现。现阶段以光学式和惯性式动作捕捉占据主导。计算机视觉动作捕捉目前精度较低,但对环境要求低,可移动范围大,使用场景想象力也比较大,目前已有消费级应用,比如部分学校采用的AI摄像头应用。

渲染技术:核心环节决定呈现效果

渲染技术用于提升虚拟人的逼真程度,实时互动亦需要实现实时渲染,渲染决定了最终作品的质量与风格。每一次技术提升对数字人皮肤纹理、3D 效果、质感和细节等方面提升巨大。

渲染技术分为两类,离线渲染技术(预渲染技术)和实时渲染技术,其本质区别在于当前发展形势下,在及时性和图形质量之间进行选择。离线渲染技术不关心完成速度,这种渲染技术主要用于电影和电视动画。它对真实性和精细度有很高的要求,需要使用更多的计算资源。实时渲染技术侧重于交互和及时性,适用于游戏、虚拟客服、虚拟主播等用户频繁交互的场景。这种场景需要快速创建图像。目前,图形生产硬件和可用信息的预编译提高了实时渲染的性能,但其质量仍受渲染时间和计算资源的限制。随着硬件和算法的改进,实时渲染技术具有较强的综合性能实力,有望逐步普及。

总结

虚拟人自20世纪80年代以来一直在发展,当时技术主要是手绘;随后,传统的手绘逐渐被使用CG动作捕捉等技术来取代,深度学习算法得到突破,虚拟人的生产过程被简化,并朝着智能、方便、精细、多样化的方向发展。如今,虚拟人产业已进入增长阶段,技术不再是行业的重要壁垒,应用场景逐渐扩大,厂商蜂拥而至,黄金时代即将来临。

关键词

24快报
JSON抓取失败