随着元宇宙概念的提出，虚拟数字人等新兴技术也在不断发展，虚拟人作为元宇宙的“基建”，为每一个元宇宙用户提供接入元宇宙的最真实、可交互的虚拟形象；
虚拟人通过在虚拟世界中分别还原人体的不同部位并加以组合从而实现数字孪生，建立“人”的数字孪生，真正创造元宇宙中的生命价值。
而元宇宙时代用户对沉浸感的需求不断攀升，虚拟人作为连接现实世界和虚拟世界的桥梁，必然要面对“怎么做个人”的问题；来自上科大的团队带来了新的解决方案。
MARS实验室的“黑科技”
如何让数字人拥有一双灵巧的双手是行业的一大难题。在真实世界中，我们的手有骨骼、肌肉、肌腱等多个解剖学结构。然而传统的手部模型只专注于外表面皮肤建模，骨架结构也是由简单的关节点连线构成。这样的建模方法并不能重现逼真的虚拟手。
针对这个问题，一个虚拟手建模的解决方案——NIMBLE 模型由解剖学的角度提出，NIMBLE开发团队建立了一个全新的参数化手部模型，模型包含骨骼、肌肉、皮肤和外表面贴图，拥有更精细的皮肤材质纹理，可以轻松完成各式各样的手势，真实还原手部肌肉状态。
NIMBLE模型是多学科交叉融合的产物，不仅使用了MRI技术作为采集数据，作为参与单位之一的上海科技大学MARS实验室孵化的数字人底层技术公司影眸科技研发的高精度扫描系统为手部模型提供了更为精细的贴图与纹理，正是这种多方面的协同创新方得以让如今的NIMBLE模型真正意义上实现了对人手部分的完美模拟。
项目主页：https://reyuwei.github.io/proj/nimble
数据集
要实现这样的解剖学建模，就一定要有对应的医疗数据。考虑到核共振（MRI）在临床上经常被用来诊断和治疗手部疾病，我们使用临床3T核磁设备采集了高质量的MRI手部三维影像数据集。该数据集包括35个对象的共200个核磁图像，共覆盖50个不同的手部动作。为了准确地区分骨骼、肌肉和皮肤，我们在原始MRI图像上也做了标注。
MRI数据地址：https://github.com/reyuwei/PIANO_mri_data
除了MRI数据，我们还用光场设备采集了高质量手部diffuse、normal和specular贴图。通过贴图插值，我们也实现了对皮肤颜色和纹理的建模。
模型定义
仿照人体参数模型[SMPL](https://smpl.is.tue.mpg.de/)和手部参数模型[MANO](https://mano.is.tue.mpg.de/)，NIMBLE模型也是由模板模型、LBS（linear blend skining）和blend shape构成的。我们的模板模型分为三部分，分别是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面体建模。
算法流程
训练模型的流程分为模型配准（registration）和参数学习（parameter learning）两个部分。其中模型配准是为了将数据统一成相同的拓扑结构，参数学习是将同拓扑的数据作为目标函数去优化模型的参数。
为了在模型配准中捕捉到肌肉和皮肤的非刚体形变，我们用四面体模型来建模肌肉和皮肤。与三角面片的模型不同的是，四面体模型能够更方便地计算模型体积，也常应用于非刚体物理仿真。我们在模型配准中就利用了neo-hookean弹性模型。我们将其作为一个物理约束应用于模型配准当中，借此保证了模型形变时体积不变，达到了更准确的配准结果。
下图展示了将模板肌肉配准到MRI分割出的肌肉的结果。注意配准后的肌肉厚度增加，并且排列更加紧密。
从配准误差的直方图可以看出，我们的误差基本在2mm以内。
在参数学习的过程中，由于MRI数据的数量有限，我们还借助了[MANO](https://mano.is.tue.mpg.de/)模型的点云数据来扩充运动空间。通过在多个不同模态的数据集上迭代优化，我们最终构建出了NIMBLE模型。与仅基于外表面的传统手部模型相比，NIMBLE以数据驱动的方式实现了对手的内外部解剖结构统一建模。此外，模型还可以作为一个网络层应用于深度学习，以进行逼真虚拟手的生成和手势识别等多种任务。
实验
我们从pose，shape和appearance三个维度验证了模型的compactness和generalization能力。
从几何建模上，我们和外表面模型[MANO](https://mano.is.tue.mpg.de/)做对比。(a) NIMBLE在变形过程中保留了更多皮肤细节，而MANO的结果过于平滑。(b)(c) MANO在形变时没有考虑内部结构，因此用简单的方法为它加上内部结构后会出现奇怪的肌肉和骨骼形变以及不真实的皮肤凹陷，而NIMBLE保持了解剖学上正确的和物理上合理的变形。
从外表建模的角度，我们和贴图模型[HTML](https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/)模型进行了对比。
(a)(b)分别是两个模型数据集中的手部纹理贴图，(c)(d)是在两个模型的贴图空间中随机采样的纹理。显然我们的模型能够保留更多细节，并且法线贴图进一步实现了手背上肌腱凸起的效果。
元宇宙/虚拟人路在何方？什么是元宇宙？有人说：元宇宙是生态系统，是现实世界延伸，而不是现实世界的替代，有人说：是商业内卷下的新场景，是资本需要的新故事…角度和立场不同，答案自然迥异根据虚拟现实补偿论来看，虚构一直是人类文明的底层冲动；这似乎从某个角度给了元宇宙热潮一个合理的解释。
鲁迅说：世界上本没有路，走的人多了，也变成了路。新兴行业的发展路径，多数是摸着石头过河；相较于后来者而言，这些探险家们也是容易“迷茫的”
像虚拟人这种需要数据算法、AI底层技术的应用方向，或是依赖虚实交互、5G技术的沉浸式终端，都是整个元宇宙产业发展的缩影，就像20年前的互联网，处于方兴未艾的早期阶段。
元宇宙、虚拟人带来的价值绝不是所谓“飞天猪”这种概念，它可能是需求端的新一代用户对供给端单一的一种方案尝试，又或者是因为它是科技和文化的天然结合体，是市场对科技+文化诉求不断追求的结果，但是无论出于何种原因，从新技术诞生能使更多人降本增效的角度看，需要“让子弹飞一会”给予这些探路者们一些必要的时间，可能它不像涨潮时大家所鼓吹的革命那样伟大，但它一定是从需求角度出发的演化过程。关于这一点，我们需要一些耐心。筚路蓝缕，以启山林；我们相信所有黎明前的不明终究会是阳光。
