2020年疫情以来,最火的不是哪个当红明星,而是“虚拟人”。从日本的时尚达人IMMA、国内的AYAYI、虚拟歌姬歌瞳,到次元虚拟人A-SOUL组合,再到央视的虚拟人小C以及真人版虚拟人邓丽君和龚俊… 他们从时尚界、歌舞界、次元界到记者、演员等行业,无不大放异彩粉丝众多。
研究数据显示,当前虚拟数字人市场规模已超2000亿元,预计2030年达到2700亿元。其中以虚拟主播、明星虚拟分身、品牌代言人等为代表的身份型虚拟人将在未来占据主导地位,体量可达1750亿元。这些形形色色的虚拟人能说能跳,能带货还能直播新闻,他们的肢体语言又是如何形成的呢?——那就是动作捕捉。
动作捕捉
动作捕捉指的是在运动物体的关键部位设置跟踪器,由Motion Capture系统捕捉跟踪器位置,再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后,可以应用在动画制作、步态分析、生物力学、人机工程等各种领域。Motion Capture可以跟踪各种类型的运动,例如身体动作和面部表情。动作捕捉技术现如今已经普遍运用在电影、动画以及游戏的制作中。
动作捕捉的方式
第一种是光学运动捕捉。光学动作捕捉技术是在人的身体上进行标记,标记点会反射到事先架设好的摄像机,通过反射不同位置的成像信息,可以测算出标记点的空间运动信息,常见的光学运动捕捉大多基于计算机视觉原理。光学动作捕捉设备的捕捉的范围,受到摄像头数量的限制,易受环境影响。所以,光学动作捕捉适用于特定的录制棚内或者固定场景的捕捉。
第二种是惯性捕捉。惯性动作捕捉技术是在人的身上佩戴感应芯片或者陀螺仪,人运动的过程中,陀螺仪会进行旋转或芯片会记录运动轨迹,通过感知陀螺仪的旋转信息或芯片记录信息,来推算出人的动作行为实现动作捕捉。从捕捉的精度上看,光学动作捕捉精度要略高一些,如脸部表情识别一般采用光学动作捕捉,而肢体的动作捕捉一般采用惯性捕捉。光学动作捕捉即可识别肢体也可实现面部表情捕捉,但是惯性捕捉受环境影响较小。
动作捕捉方式都离不开动作捕捉演员,原来的动作捕捉演员是电影、游戏中以动作捕捉技术提供表演的人,类似的还包括面部、表情捕捉。在电影制作和游戏开发领域,通过记录人类演员的动作,转化为3D数字模型,可以获得一些正常造型技术无法做到或现实生活中没有的虚拟角色。现在很多虚拟人的动作也是由动作捕捉演员提前完成,由计算机再连贯的组合在虚拟形象身上,我们才能看到虚拟人跟我们的肢体动作互动那么流畅。
针对动作捕捉、面部表情捕捉,Magic Data可以通过专业团队提供数据解决方案支撑相关研究。作为全球领先AI数据解决方案提供商,Magic Data具有完善的采集流程和高效采集工具,采集数据符合全球数据安全规定,同时自研标注平台Annotator能够提供一站式标注,并支持3D点云、多模态等数据标注。最终通过专业的数据测试模型校验数据,保证数据质量。
发展趋势
随着元宇宙的到来,动作捕捉作为虚拟人的必备技能,应用将越来越广泛。目前部分剧院已经开始采用创新技术,最初用作处理舞台艺术的方法,现在已成为表演过程的一部分。最近“数字剧院”的概念被使用,定义了“现场”表演者和数字媒体在同一个完整空间中与共同在场的观众共存。未来,需求催生技术,技术引领我们向前。