不知不觉,虚拟数字人已经开始走进我们的生活。
在今年世界人工智能大会产业发展全体会议的茶话会环节中,一名男性数字人正承担着主持人工作,屏幕中的他表情自然而生动,不时与现场嘉宾互动活跃气氛。
几轮互动后,一位几乎与屏幕中数字人一模一样的真人男士上台接替了数字人的主持工作,他正是这个数字人的真身——影眸科技的CTO张启煊。而除了公司CTO这个角色,张启煊的另外一个身份是上海科技大学智能视觉与数据中心的研究生。
学生和创业者,这两个看似差异很大的角色在张启煊身上颇为和谐。在许多同龄人还在享受学生时代的闲暇时,张启煊选择和他的伙伴们,在超写实数字人这个全新的领域进行深入探索,并成功将其产业化。
▲影眸科技CTO 张启煊
从学生到创业者,做连接科研成果与产业落地的人
见到张启煊的时候,他刚忙完手上的工作,激情与朝气洋溢在他的脸庞。
“做学生是比较简单的,感觉所有事情都有明确的指标。但创业就完全不一样,没有人清楚指标应该是什么,没有人清楚你做的东西在行业中处于什么地位。你需要不停地接触新的客户,不断地去探索新的应用场景。”
创业后的张启煊时常在公司与学校之间来回奔波,但他反倒觉得这种忙碌给了自己一种使命感。
时间回到2018年的秋天,张启煊从浙江绍兴来到上海张江,抱着对计算机的浓厚兴趣,他考入了上海科技大学信息学院,开启了自己的大学生涯。
张启煊形容,选择上科大犹如打开了一个盲盒,尽管充满着不确定性,但也会有未知的惊喜。得益于学校提倡本科生科研的教学理念和独特的人才培养模式,他在本科初期就获得了进入实验室参与科研项目的机会,并逐渐迷上了计算机图形学、机器视觉方向的相关技术,跟着导师探索数字人领域的前沿科技。
事实上,早在2016年,上科大信息学院智能视觉中心的MARS实验室就已经开始了虚拟数字人的立项研究。在学校创新氛围的耳濡目染中,张启煊一直在与数字人底层技术打交道,从事深度学习和计算机影像方面的研究。
对于张启煊来说,走上创业之路似乎也是冥冥之中注定的事。2020年,张启煊原计划参加3+1留学交换生项目,然而受疫情影响一直被耽搁,后来在导师的说服与支持下,张启煊决定留下来与同实验组正好想创业的吴迪一起,尝试将实验室研发的新兴技术转化落地,为产业界贡献力量。
“一项科学技术只有形成产业化,才能真正地服务于大众的需求,而不只存在于实验室里。其实当时并没有什么创业契机,元宇宙这个概念也还没出现,我们觉得数字人技术可以落地,便去尝试做技术转化。”
张启煊坦言,在上科大,创业没有条条框框的限制,学校层面十分支持,鼓励他们把科研成果转化为产品。有想法,条件成熟,就可以大胆去做。
就这样,一家数字人底层技术公司诞生了。2020年6月,张启煊与吴迪拉上对这一领域同样感兴趣、一同研发此项目的实验室成员曾初啸和张龙文,在张江共同创办了影眸科技。公司的英文名称Deemos取自火星的一颗卫星Deimos,象征着其孵化于学校MARS实验室,也寄托着团队致力于推动实验室技术成果产业化落地的美好愿景。不断推进数字人技术边界,在质疑声中快速成长
作为一支青年创业团队,影眸科技团队成员多为95后的年轻人,年轻、创意、有活力、敢想敢为,是这群95后的创业潜质,团队自组建后便在科学研究与产品落地两方面齐头并进。
“超写实数字人是最好判断的,它有真人作参照、作基底,同时它必须要有一种风格,因为它需要代替真人来完成一些工作。”
张启煊说,结合自身专业特长,团队从一开始就选择布局超写实数字人赛道,逐步确立了推动数字人从2D动画走向3D超写实的技术路径。
在制作数字人的过程中,首先需要考虑的就是扫描一个真实的人。针对皮肤材质与面部细节,影眸科技团队自主研发了全流程自动化的数字面部生成系统,该系统结合了人工智能、计算摄影学、图形学等技术,能够以亚微米级的精度去扫描得到人脸部的毛孔和更多皮肤细节,是亚洲唯一支持4D动态几何与面部PBR材质的扫描系统。
基于自主研发的全栈自动化流程,影眸科技研发的新一代数字人技术相比于传统技术实现了时间与成本上的飞跃,拉近了虚拟与现实间的距离。
然而,创业路途并非总是一帆风顺,尤其是对于这样一支年轻化的团队。创业之初,团队面临最多的就是对年龄的质疑:虚拟数字人是一项处于行业发展初期的研究,你们这些还在校园里的学生凭什么能做好?
有幸的是,团队遇到了自己创业路上的“伯乐”——奇绩创坛。当时,正值2021奇绩秋季创业营校友招募,奇绩合伙人陆奇博士来参观公司后,随即便邀请影眸团队参与。
用张启煊的话来说,这也算是“无心插柳柳成荫”。在这段时间里,团队成功研发了一款名为“WAND”的二次元生成器AI画板。这款应用一经发布就广受好评,登上了App Store图形与设计榜单Top1,收获了超百万的浏览量。影眸成了奇绩创坛当期敲定的第一个项目,这为公司发展带来了第一笔资金。
有了资本方的首轮加持后,影眸科技开始越来越多地受到市场青睐。2021年底,团队又获得了红杉中国种子基金领投的数千万元融资,成为红杉迄今投过的最年轻团队。
谈到公司的核心竞争优势,张启煊也是滔滔不绝。
“我们一直在努力突破数字人的核心技术。经过几年的科研攻关和迭代,影眸的技术壁垒已经从高精度的扫描设备,逐渐演变为基于穹顶光场数据背后的一系列的技术,包括自动表情拆分与绑定算法、动态贴图、皮肤微结构等全栈全自动数字人流程,可以让用户在3天内打造出超写实数字人原型。”
同时,团队也深刻明白,虚拟数字人作为一项新兴的技术,距离完全落地还有很长的一段路,产业化的过程中也在不断与合作伙伴磨合,这是一件互相成就的事情。
2021年,Unity在上海举办的技术发布上,揭秘了数字人Demo的生产流程。为了这样一个3D虚拟真人的“横空出世”,影眸科技与Unity技术团队磨合了大半年才将穹顶光场的人脸重建技术运用得恰到好处。
今年8月,影眸科技再次依托独家的光场扫描技术,与本壹数娱、凌迪(Style3D)共同研发的一款超写实数字人“Sarah”,在2022全球数字经济大会期间完成首次亮相。这款超写实数字人的皮肤精度达到了16k毛孔级别,表情动态细节达到了微表情级别,让数字人的逼真度再上一层楼。
随着技术的不断成熟,影眸科技自2021年底正式开启对外业务,目前已与多家元宇宙概念公司展开合作,为Unity、腾讯游戏等数十家影视、游戏、营销公司提供了不同等级的面部资产。
打造元宇宙时代的数字身份系统,是我们的终极目标
自公司创立后两年多的时间里,影眸科技在不断突破技术壁垒的同时,也在思考如何用更低的成本、更简便的方式,制作出更多种风格的数字人,穿越元宇宙应用间的风格壁垒。
“元宇宙中的数字人有各种各样的风格,超写实也只是其中的一种。我们未来会扩充到千人甚至更高级别的数据资产库,利用AI图形算法,让用户仅用几张照片就可以生成独属于自己的三维虚拟形象,具备有扫描设备生成数字人的超高精度。”
在超写实数字人领域一番探索过后,张启煊发现超写实数字人对于其他数字人风格都是“降维打击”,就技术门槛而言,数字人会呈现慢慢“下沉”的趋势。
张启煊描述了这样一个数字人的制作场景:未来人们可能只需要一张照片,就能输出一个高保真数字人,并通过风格映射技术实现多样的风格化。就像登录现在一个平台,每个人都需要一个账号作为自己身份的标识,而带有个人特征的虚拟数字人将成为元宇宙用户的身份证,这是未来数字人真正会发光发彩的地方。
乘势而为,今年上科大的元宇宙虚拟毕业典礼成为团队验证这条技术路径的契机。张启煊介绍说,里面每个人物形象虽然都是卡通的,但它其实是学生上传自己的照片后,通过对单张照片中环境光线、人的相貌、肤质与表情的解耦,先得到超写实数字形象,再通过小样本风格化得到卡通版本。同时,团队还设计了近30种独特又富有彩蛋的退场方式,可以实时驱动,在线上与导师互动。
这样一个新颖项目的问世,获得了校内外师生的一致好评,也给了团队继续深耕技术、继续向“元宇宙身份系统”目标迈进的信心。
“我们的终极目标是做这样一个数字人角色的身份系统,把数字人打造成为每一个C端用户接入元宇宙的入口,让数字人技术对每一位用户都触手可及。”
说道这里,他眼里透着一股坚定。
在2022世界人工智能大会期间,一部名为《再见·ECHO—你好·未来》的元宇宙音乐剧在张江科学会堂上演。剧中,搭载了影眸科技超写实数字人技术的数字人“Anelay”拥有与真人几乎一致的表情与神态,丰富了戏剧演出的整体视觉效果。
回首整部音乐剧的创作过程,从确定“Anelay”这个项目到制作完成,影眸科技所花费时间不到2周。艺术和科技的碰撞让张启煊深有感触:纯粹的技术不会发光发热,唯有在应用场景中历练,才能发挥价值。
实际上,每一项科研成果要向产业去落地做适配,都有一条漫长的路要走。影眸科技团队虽年轻,但在众人的通力协作下,成功通过一个个数字人项目克服了中间落地时间较长的过程,让实验室的成果和实际应用有了比较好的结合。
在商业模式上,影眸科技走得稳健又明确。除了现阶段主推全栈式自动化的数字生产流程,接一些客户的数字人业务项目,影眸科技还将拓展更多数字人的应用场景,以SaaS服务为基础,面向toB市场提供一些SDK授权服务。此外,公司也将花更多精力去探索元宇宙深层应用,向C端消费者靠近,为每一位接入元宇宙的用户打造独有的元宇宙身份证。
脚踏实地的同时,张启煊也对虚拟数字人的未来发展满怀憧憬。
“现在的虚拟数字人,就是日后元宇宙的原住民,尤其是3D虚拟数字人必然会成为主流,它会极大塑造未来人们对数字人形象在美学上的认知。现在每一个从事虚拟数字人的团队,他们的工作未来都是会被铭记的。”
风华正茂的年纪,探索的心永无止境。这支Z世代创业团队对行业的思考、探索和回馈,正在将人们对虚拟数字人与元宇宙的想象一步步化为现实。