数字孪生

梅兰芳虚拟数字人登台亮相,元宇宙中重返26岁青春

“唰”“唰”“唰”,舞台顶光次第亮起,“大大大大|衣大衣大台”,开场锣鼓声响,26岁的“梅兰芳”身着深色马褂长衫,手持折扇,迈着轻盈的步伐向观众走来,顾盼生辉……

纸墨馨香,光影变幻

我们为您讲述

“星”青年的光荣与梦想

带你看看

26岁

年华正好、雄姿英发的

青年梅兰芳

“唰”“唰”“唰”,舞台顶光次第亮起,“大大大大|衣大衣大台”,开场锣鼓声响,26岁的“梅兰芳”身着深色马褂长衫,手持折扇,迈着轻盈的步伐向观众走来,顾盼生辉……

“梅先生”说:“亲爱的观众朋友们,距离我上一次登台,已经有60多年了,没想到在这里我们又重逢了。”

当传统戏剧遇上科技,时光知味。

在传统戏剧数字化高精尖研究中心的表情捕捉实验室,中央戏剧学院教授宋震向记者引荐这位“高精度京剧数字人”时说:“我们希望做好传承。过程难么?难!那就迎难而上!”

自问自答里,藏着一出精彩的大戏。

为什么是

26岁的梅兰芳

“为什么是26岁的梅兰芳?”几乎每一位亲眼目睹了“数字梅兰芳”风姿的观众,都会好奇地发问。

尚美之道,人皆有之。宋震直言:“我们被老照片中26岁的梅先生打动了。那时他年华正好,雄姿英发。”

当然不是仅看脸,团队研读了大量历史资料,请教业内专家,最终敲定复现“处于艺术黄金期”的梅兰芳。宋震笑着说:“巧了,正是26岁。那年,梅先生第一次踏出国门,将京剧带到世界舞台上,引起了很大轰动。”

但同时,团队给自己挖了一个大坑——“当时没有高清摄影,手里的老照片,像素都不高”“没有生活影像资料,即便是表演视频也少得可怜”“斯人已逝,不能直接数字建模”……将已故京剧大师梅兰芳“请”进数字世界,过程比制作一位活人的孪生“数字人”难得多。

1000 (73)

“利用信息技术与人工智能技术,我们不算先锋,但将它们应用到历史人物的精神复现上,当年算是独一份。”宋震介绍,在北京高校卓越青年科学家计划支持下,由中戏牵头,联合北京理工大学共同发起大师复现项目,致力于打造国内第一位真正意义上的、可交互表演的“京剧数字人”。“这样的复现过程,怀着对艺术家的敬畏。”他进一步解读,以历史数据为依据的人物复现,不再是流行的数字人制作。

实验室中央搭建起庞大的球形设备——黑色框架,交错成网,结成球形,里面摆一张椅子。宋震说,这是捕捉三维表情的光场采集系统,由36台相机和162组可控LED灯组成,精度达毫米级,“通过真人扫描,建立模型。”

1000 (74)

“但是,”他一摊手,“采集梅先生的三维数据不是这么简单,‘复现’鲜活的‘梅兰芳’要获得真实的生理数据,带妆、不带妆的数据完全不一样,大师扮演角色的数据更是难以企及。”

“数字人的制作在我们这里演化为艺术创作。”宋震说,团队先收集了大量梅兰芳的老照片,反复对比分析人物面部细节;然后邀请中央美术学院教授张伟以照片为依据,制作梅兰芳无表情头部1:1头像雕塑;再用高精度激光扫描仪扫描雕像,由此获得梅兰芳基本面部结构。

这只算是打完草稿。梅兰芳在日本演出期间,东京《朝日新闻》评价:“他的眼睛价值千金,他的媚态都是从这里产生的。”而团队要做的,是重现这种眼波流转的神韵。

“艺术家眼神的文化表达才是我们复现的重点。”宋震说,几经辗转,团队找到一位和年轻时梅兰芳脸型相似的演员。“要让演员先入戏,对照老照片和视频,学习模仿梅先生,做表情训练。经过学习后,演员在驱动数字人时,眉、眼、鼻、嘴才会更像。”

团队采集到这位演员的面部数据,将基本表情“迁移”到数字梅兰芳身上。“结果,数据是无效的。”宋震解释,艺术大师的神韵不是一般的模仿,必须是大师进入角色的表演。最终,团队邀请当今最具梅先生精神修养的梅派弟子完成了数据录入,使用角色生成管线,结合梅兰芳的表演材料,精雕细琢一颦一笑。

团队还利用元计算采集技术捕捉人体皮肤细节,依据老照片,生成法线贴图,再利用球形计算原理精准复现出毛孔级的皮肤细节纹理,最后按照生理原理复原真实人物皮肤效果。

苛刻的艺术标准,让复现不再只停留在技术中。

将服装服饰数字化,也颇费一番周折。团队查阅大量文献,走访了北京的多家裁缝店后发现,梅先生当时的戏服缝制技术现在基本失传了。“好在这出‘戏’最后很圆满。”宋震说,团队找到了民国时留存的布样,数字扫描布料数据后,再根据京剧领域专家的指导,按照当时梅先生的着装特色,一点点“缝”出数字便装。

2021年10月,“数字梅兰芳”现身梅兰芳大剧院。“梅先生”说:“这得感谢科技的进步,期待我们今后的见面会有更多的形式。”

这句娓娓道来的问候背后,是团队的不懈努力——先后攻克了数据采集关键技术,改变了数字人的技术路线,最终完成了人物、皮肤、表情、便装服饰、戏服盔头、动作等高精度数字资产的生产,初步探索了传统戏剧数字化的基本方法。

值得一提的是,团队在研究过程中认识到“数字化的历史人物也是遗产”“数字文物也是文物”,创新了数字时代的文化标准,并在文化标准框架下提出数字文化资产的分类分级标准,为国家实施文化数字化战略奠定了基石。

为什么要把

一招一式全部数字化

大师复现,只算传统戏剧数字化高精尖研究中心科研团队上演的一出戏。这个中心还有一出“重头戏”——抢救性采集濒危失传剧目及其关键技艺数据,为传统戏剧高水平传承提供人机协同的解决方案。

什么样的剧目和技艺会被采集?

“要求挺高的,被采集的至少是代表性传承人。”站在动作捕捉实验室里,宋震打了个比方,“传承人大多上了年纪,心里面有,身上却使不出来。采集时就由他指导弟子完成,再和我们一起核准修订数据,方便后人360度观察和学习。”

1000 (45)

他面前就是一方“舞台”——蓝色地毯上方,吊着方形黑色金属框,四面各悬挂着3台摄像机。一名研究生正在实时采集数据,两名同学通过特定方式将反光标记点粘贴在他身上。宋震解释:“感应点主要贴在关节处。他手里拿着的木剑道具上也贴了点。目前的难点是,类似翎子、剑穗、手势等软体的道具还不能用贴点的方式采集。”

数字化的一招一式,让功法变得一目了然。

一位老先生和一个年轻演员,同样甩水袖。在外行人眼里,一个好看得赏心悦目,一个也是抖掸勾翻,却差了点意思。“这点意思在哪儿,原来说不清楚。”宋震说,有了科学采集,门道能说明白了,“根据采集到的数据,老戏骨是用大臂带动小臂,再体现在手腕上;而有些年轻演员只是用腕子甩。”

传承人的肌肉记忆被精准捕获,成为宝贵的传承素材。团队已研究总结了关节夹角、关节角速度、脊椎垂直度等7类核心动作评价参数的学习系统。“有时候就是下意识地扭一下手腕,快速翻一下手,这些表演者自己都没太注意的‘巧劲’变得可以表述,这让未来的传承变得更加可靠。”

京剧和豆汁

有什么关联

开锣“唱戏”,让传统京剧以更多元的形态展现出来。

宋震点开一段视频展示:伴着锣鼓点,一帧帧京剧名家的动作被捕捉定格,以动态雕塑的形式来表现时间的形态,形成数字雕塑。“这是三维捕捉技术对雕塑艺术的贡献,也是表演艺术与视觉艺术的一次融合。”

“京剧和豆汁类似,都是传统的。”他解释对著名武生演员黄齐峰的《狄青》五股档、京剧名家杜近芳入室弟子闫文倩的《天女散花》长绸舞进行动作捕捉数据采集的过程,如何通过计算设计,表达时间、空间两个维度中所生成的姿态痕迹,“就好比把豆汁里的元素提炼出来,做成一种‘纤维+’的饮料,我们也是把京剧的长绸舞元素提炼出来,创新了传统戏剧数字化展示方式。”

得益于数字艺术的创新,团队还收到了北京2022年冬奥会和冬残奥会组委会的邀请,担任“冬奥会开闭幕式大型表演智能化创编排演一体化服务平台关键技术”项目咨询专家,创作了数字艺术景观雕塑《冰雪之韵》。该作品运用动作捕捉技术,采集冬奥项目的运动员运动轨迹,使用计算机技术将运动轨迹予以强化、抽象化,并将其与中国的水墨语言以及冰雪飞舞的轨迹相结合,构建起立体、灵动的艺术空间。

宋震和团队的梦想

形骸终要化灭,时代也会不断更迭,当科技跨界,让艺术带给世界的美好有机会得以永存。宋震和团队有一串梦想——

动作捕捉实验室里挂着40位京剧大师的剧照,“终有一天,每一位大师都有机会与观众实现互联互动。我们还计划打造数字梅兰芳的数字徒弟。”

团队计划还原梅兰芳的语音和润腔,让26岁的“梅先生”演唱其60多岁时演出的《穆桂英挂帅》。“这种技术与AI不同,京剧艺术家驱动数字人进行表演,对其自身也是学习和教化的过程,饱含传承的意味。”

“未来,不同位置上演的戏剧可以被叠化在同一空间,实现真正意义上的戏剧空间传输。”……

一个小梦想已经被提上日程。“目前团队里有34名研究生,其中文科生19个、理科生11个,还有4位是‘混合型选手’。”宋震说,今年,大家都要“上台来一段”,“作为导师,我也得‘台上见’。这是一种‘修炼’,让每一个人都能理解科技与戏曲的融合魅力,更重要的是培育掌握学科交叉研究能力和综合素养的跨学科人才。”

经年一曲故人戏,你我皆是戏中人。

未来每周四

科技“星”青年与您

不见不散!

北京日报(ID:Beijing_Daily)记者:李祺瑶;视频拍摄/剪辑:实习记者 李俊瑶 柴嵘 王景然(实习

监制:刘昊

实习编辑:李俊瑶

原文标题为:今天青年节,看,26岁的“梅兰芳”,又登台了!

24快报
JSON抓取失败