在2022年,高新技术企业上海墩庐集团旗下,艺术文化品牌“润植家”(由上海墩庐生物医学科技有限公司、上海润植家艺术科技有限公司等联合研发)曾推出一款神奇的昆曲AI产品:唱曲机器人。通过这一产品,实现了一项在以往是天方夜谭的场景。输入一段传统古籍的工尺谱(以及唱词),机器人竟能自动演唱出昆曲来。在2022年,随着润植家完成昆曲AI框架的搭建,各个虚拟行当角色开始逐步建立,并公开发布了内测的昆曲小官生虚拟人演示版。2022年年底,又完成了第一个正式虚拟人,昆曲的闺门旦行当的开发,并由音源支持艺术家张惠女士给角色命名为“若兰”。这个角色的第一次亮相,是在去年年底。润植家利用该闺门旦角色,公开了史上首个戏曲念白TTS系统,这也是迄今为止仅有的一个免费公益的昆曲念白机器人。用户只需输入念白文字,机器人即可用昆曲韵白的形式念出来。
2023年3月,虚拟人“若兰”进化升级,润植家正式将“生成AI演唱”这一功能公开放出,从此,昆曲AI进入了“你输入谱子唱词,我给你唱出来”的新纪元。用户登录润植家工尺谱平台,面对上千支公开的工尺谱,可一键索取中的任意一支曲子的伴奏或AI演唱。
近日,润植家放出了多个由虚拟人“若兰”演唱的音视频内容,如《游园》、《琴挑》等唱段,许多用户观看后,大呼不可思议,感叹技术进步之快。尽管与真人相比,仍然可以识别出少许差距,但该品牌创始人杨柳先生表示:“未来将根据用户的反馈意见,以及当前虚拟人角色的擅长,不断优化升级,一步一步更加逼近真人,并生成更多的音视频昆曲音乐作品。”
了解到,润植家此前设立了“古谱活化”这一公益的非遗保护项目,旨在利用现代AI技术,瞬间地将古籍工尺谱转变为现代的简谱、伴奏音乐以及AI演唱的音视频。而当前上线的虚拟人,是复兴昆曲古谱,助力 “古谱活化”的重要角色。据悉,现存的传统工尺谱,至少有上万支曲子。而实践中,活跃的常常只有百来支曲子。因此,真正被受众直观感受到的古谱,可谓九牛一毛。未来,利用润植家工尺谱平台,建立一个万曲曲库,尽可能全面收录传统工尺谱;与之同时,利用唱曲机器人,一键生成某支曲子的演唱效果,当代人可以直观听到古谱唱出来的感觉。不但如此,润植家虚拟角色,还可作为公益免费工具,可通过听觉辅助,快速学习沉睡在古籍中的“新曲子”,助力剧团恢复传统剧目。甚至,这个免版权费的公益工具,还可助力古装影视剧拍摄。由于古装影视剧往往有古人在听戏、听曲、甚至唱曲的情节。这个公益免费工具,可以一分钟直接生成音频素材,即可在影视剧背景音中使用,无需版权费,不担心侵权,省去了录制昆曲音视频的成本。
作为一个AI科技赋能的艺术品牌,润植家艺术于2019年成立,此前,该品牌已推出多种昆曲相关AI智能应用,如润植家工尺谱录入平台、工尺谱一键智能翻译为简谱的翻译引擎、一键智能生成昆曲伴奏引擎、古风音乐AI智能编曲系统、润植家AI戏曲上妆试妆智能小程序、全球首个不消音戏曲在线教学教室、首款戏曲锣鼓演奏APP、首个多维度和拼音体系的昆曲字音查询系统、首个昆曲字音机器人,还包括大量非遗保护和传承的公益软件与内容,如首个昆曲专用工尺谱输入公益字体、多款免费公益的传统字体、免费公益润植家曲谱和教材系列等。