2022 年以来AIGC 应用多点开花,继AI绘画之后又一款应用爆火出圈。
11 月30 日,OpenAI 上线了全新聊天机器人模型ChatGPT,因其高质量的回答、高效获取信息的方式、以及上瘾式的交互体验,迅速引起了社交媒体的广泛传播与关注,上线不到一周用户突破100万,火爆全网。从玩梗、写诗、写剧本,到给程序找bug,帮人设计网页,甚至帮你生成AIGC的提示词,ChatGPT一副无所不能的样子。埃隆马斯克(Elon Musk)也在感叹:“很多人疯狂地陷入了ChatGPT循环中,我们离强大到危险的人工智能不远了。”
随着深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,AIGC 有望加速发展,成为多产业智能发展新引擎。业内人士表示,ChatGPT 模型的出现对于文字模态的AIGC 应用具有重要意义,相关受益应用来看,包括但不限于代码机器人、小说衍生器、对话类搜索引擎、语伴、语音工作助手、对话虚拟人等。
日前,天娱数科(002354)接续双11穿越式虚拟主播天团,推出真人复刻AI虚拟人。正是此前与李秒珍、包包善、特离谱一起完成虚实直播互动的美妆达人“大宣”,拥有50W粉丝的她,这一次迎来了自己的数字分身。“大宣”将自身的底层美妆数据系统与AI图像生成技术相结合,通过视频+直播的方式与用户进行互动,不仅为大家带来熬夜护肤、高颜值彩妆、运动不脱妆等系列美妆小课堂与优质产品推荐,同时借助AI虚拟人实7*24小时在线,补充进行美妆知识、热点话题等趣味分享播报。
AIGC、美妆、虚拟人三大元素结合,不仅创造了美妆直播领域新体验。同时,标志着天娱数科在虚拟人+AIGC标准技术解决方案突破落地,自此完成身份型虚拟人与服务型虚拟人两大市场全面布局。根据《量子位虚拟数字人深度产业报告》,在2030年我国虚拟数字人整体市场规模将达到2700亿,其中身份型虚拟数字人约1750亿,服务型虚拟数字人总规模超过950亿。
从2014年起,伴随着生成对抗网络(GAN)这一AI算法的不断进化,以及NLP(Natural Language Processing,自然语言处理)技术的发展,人工智能生成文本、图片、视频以及三者跨模态相互转化方面的技术不断突破。对人工智能而言,要更为精准和综合的观察并认知现实世界,就需要尽可能向人类的多模态能力靠拢,业内将这种能力称为多模态学习MML(Multi-modal Learning),比如,跨模态理解:通过结合街景和汽车的声音判断交通潜在危险;跨模态生成:在参考其他图画的基础上命题作画;触景生情并创作诗歌等。其中,虚拟人正是多模态生成技术的聚合表现。
天娱数科基于Meta-Surfing元享SaaS平台4大引擎,生产引擎、驱动引擎、技能引擎、数据引擎,利用人脸建模、形象驱动、语音合成、语音识别、语义理解、图像处理等多项人工智能技术,优化解决虚拟数字人表情&声音自然度、问答理解沟通力、实时交互能力等行业难点问题,从而实现了数字人的“可看、可听、可互动”。天娱数科独创的实时AI虚拟人,具备拟真度高、实时互动、支持低成本低门槛应用等优势,将广泛应用于短视频生产与电商直播领域。
Meta-Surfing元享平台内容制作界面
(1)2分钟视频采集,实现1:1真人复刻
基于创新性模型结构和训练方法,以及应用场景等方面考虑,天娱数科选择独家自研复刻真人技术路线。仅需对被采集人员进行面部、肢体动作、声音三个维度的2分钟数据拍摄采集,即可实现1:1高精度还原的虚拟数字形象生成,不仅脸型和五官形状非常贴合,而且具有毛孔、唇纹、毛发级别的细节。与普通的形象还原生成不同的是,利用自研AI技术可对人物的面部、声色、声音、动作进行1:1的还原与复刻,可达到以假乱真的效果。助力短视频创作者、品牌商家24小时低成本低门槛开播。
(2)声音、表情、动作多维度提升虚拟数字人拟真度
在AI虚拟人应用场景中,短视频生产、电商直播、AI陪伴等等领域,虚拟人的拟真度决定了商业化应用成熟度。因此,天娱数科AI围绕语音合成逼真度、表情自然度、动作自然度,多维度提升拟数字人拟真度。
① 声音克隆:基于AI深度神经网络模型,智能提取真人声音的音色特征、口音特点和韵律节奏,并通过快速学习,复刻合成AI人声。合成的语音流畅、自然、清晰,没有机械感。
② 表情精雕:天娱数科利用3D虚拟人生成技术与数据积累优势,通过全球领先的MagicBall 动态光场扫描建模设备以及400㎡自建动捕棚,完成百万条面部、表情、肢体、动作、声音等大量高精度、高质量数据,精细度可达到说话时的唇动、表情、面部肌肉变化细节等,以此赋能2D AI虚拟人实现3D化。从此,让AI虚拟人摆脱“面瘫脸”。
③ 动作丰富:基于上述数据库,天娱数科支持正常播报和交互动作,并在动作库里为各个应用场景添加了场景特性动作,使虚拟人生动自然。使2D数字人做到可跳、可转身。
(3)AI虚拟人内容实时智能合成
最后,通过Meta-surfing元享SaaS平台内置的内容创作模块。支持用户上传文本,一键实时驱动数字虚拟分身生成内容播报与多类型动态视频。根据文本语义,虚拟形象可实时匹配对应的肢体动作,满足用户对内容标准化、个性化、批量化的视觉内容生产需求,适用于不同平台视频发布需求,大大提高了内容生产效率。
此外,应用于7x24小时互动直播,用户仅需上传直播脚本即可使用户代替主播完成7x24小时的无人值守直播,虚拟数字形象可通过对直播中粉丝所提出的问题与互动内容,实时与粉丝进行应答互动与才艺表演等多类型的内容输出,解决了企业日常直播中因主播流失、直播状态差、人力成本高等多元化因素所带来的困扰。
天娱数科副总经理贺晗表示,AIGC提高了数据要素的生产力,并且随着产品的应用以及用户数据的增长,将会反过来促进模型的优化。未来,不论是做元宇宙还是虚拟数字人,最缺少的就是数据,特别是高精度、高质量数据,数据决定着产品质量。
同时,任何新技术的核心价值都是场景下的创新应用,虚拟人+AIGC也不例外。
天娱数科AI虚拟人,主要应用在虚拟客服、虚拟老师、虚拟主播、虚拟医生、虚拟导游、虚拟政务等领域。特别在短视频生产、虚拟直播带货、直播间客服等具体场景,天娱数科拥有天然的数据流量优势与行业Know-How。
天娱数科落地了全国首家以数据流量为特色的数字经济园区——山西数据流量生态园,吸引了包括数字物流、数字能源、数字零售等10余个数字经济细分领域近350家企业入园;聚焦抖音、快手两大平台,在重庆、郑州、太原、北京等地建立了短视频基地,并拥有第一梯队的直播运营服务品牌。之于AI行业来说,Know-How至关重要。依托大规模机器学习和个性化丰富素材库,大宣数字人仅训练1天即达到上岗要求。
目前,天娱数科已实现消费级个人虚拟主播解决方案、专业影视动画级动捕解决方案、AI虚拟人直播解决方案,从行业企业、专业媒体机构,到MCN机构、个人主播,都有相应的产品可以适配,实现快速、标准化复用。从穿越式虚拟直播,引领行业从静态图片展示的1.0阶段、以体积视频为代表的2.0阶段,加速进化至超写实实时直播的3.0阶段。到大宣的AI数字分身落地,天娱数科顺应数字人的智能化趋势,逐步丰富底层能力,释放更多的行业价值。
元宇宙作为数字世界的终极梦想,凭借其虚实结合的魅力重塑着各行各业。天娱数科将聚焦数字经济,持续深耕数字人领域,依托元享平台积累的海量数据,打磨跨模态智能算法,扩大元宇宙底层技术创新应用,探索虚拟人+AIGC 的应用模式,扩展元宇宙技术创新应用领域,尝试在不同行业进行更多的突破,为人们带来更多突破想象力的美好体验。(CIS)