IT 之家 6 月 9 日消息,北京百度网讯科技有限公司申请的 " 生成数字人的方法、模型的训练方法、装置、设备和介质 " 专利获授权。
IT 之家从专利摘要获取到,该专利提供了一种生成数字人的方法、模型的训练方法、装置、设备和介质,涉及人工智能领域,具体涉及自然语言处理、深度学习、计算机视觉、图像处理、增强现实和虚拟现实等技术领域,可应用于元宇宙等场景。实现方案为:获取素材内容;基于预训练的场景划分模型,从素材内容中确定多个场景。
其中,多个场景中的每个场景分别对应于素材内容中的一个具有完整语义信息的内容片段;以及对于多个场景中的每个场景,基于对应的内容片段,确定该场景对应的目标内容;基于对应的目标内容,确定该场景的场景标签信息;以及基于场景标签信息,配置特定于该场景的数字人。
专利称,数字人在视频中的运用主要基于模板进行,比如固定数字人进行播报,数字人播报时可能会出现数字人与内容割裂,播报内容与数字人形象不匹配,用户体验差。
该专利通过对素材内容进行场景切分,并以场景为粒度进行数字人的配置,从而确保了数字人与场景和目标内容的一致性,改善了素材内容和数字人之间的融合,提升了用户观看数字人的体验。