自去年年初以来，Meta 已经在它的元宇宙探索项目——Reality Labs 中投入了超过 150 亿美元。

精致有料的科技报道

-shenzhenware -

北京时间 10 月 12 日凌晨，一年一度的 Meta Connect 大会如期举行。大会上展示了多款配件、应用和服务以及 Meta 在元宇宙方向上的探索研究。

本文对大会上展示的 Reality Labs 最新虚拟现实前沿技术进行了逐帧剖析。一起来看一下吧！

下一代交互：EMG 新算法识别细微动作差异

虚拟现实场景旨在营造一种沉浸的体验，传统人机交互方式正在发生着变革，键盘、触屏等等已不再能满足沉浸的需求。

Meta 将下一代交互押注于 EMG 肌电电的应用。

在去年的

Connect 2021 大会

上，Meta 演示了一个穿戴设备，在虚拟现实中单手信息输入的场景，设备通过对腕部动作抓取数据，实现文字信息的输入。

当时 Meta 曾透露，下一步计划深化动作的复杂度，开发 EMG 肌肉电腕带相应产品，未来或将推出 EMG 肌肉电的可穿戴设备。

在今年的 Connect 大会上，Meta 展示了他们将人工智能和 EMG 结合后的最新成果。

在第一个视频演示中，两人使用基于腕部 EMG 来了一场跑酷游戏。

尽管他们使用的手势相同，但是由于个体之间的差异，他们实际上的手势是有轻微不同的。

每当其中一人做出手势动作时，算法就会适应并对信号进行解释转换，因此每个人的自然手势都会被快速识别，并且可靠性很高。

甚至随着时间的推移，在机器学习的助力下，系统在理解方面会变得越来越好。

Meta 认为，以腕上的神经肌肉信号作为输入的方式是真正以人为中心的。

用户无需学习有一定学习成本的控制方案，设备将在用户使用的过程中，自主来学习和适应用户。

机器学习和神经科学的结合，Meta 甚至还开发了「共同适应学习」或 co-adaptive learning 的一种算法，将个体的差异作为影响适应性的因素。

并且，共同适应学习的潜力不仅局限于完整的手势，轻微的手势差异也在其应用范畴内。它可以实时学习如何对人体正在激活的肌电信号做出反应，并仅通过最轻微的手部运动将信号传递。

未来，EMG 可能彻底改变我们与数字世界的交互方式，让我们不仅可以做更多的事情，而且是以我们想要的方式去实现。

在 Connect 大会上，扎克伯格展示了如何用运动神经元信号来控制 AR/VR 设备。

只需几个微小的动作，就可以完成消息查看、拍照等任务。

雄心勃勃的扎克伯格指出，这些都还只是开始，真正的 AR 眼镜和未来的界面将解锁更多更有用的互动。

比如，右击现实中的物体或者位置就可以查看其详细信息、无需离开虚拟世界就可更好地控制设备、或者从个性化的 AI 数字助手那里获得帮助和支持。

当这些交互方式结合在一起的时候，Meta 将提供一种更加自然、更加以人为本的计算方法，为人机交互提供更多的可能性。

利用 AR 眼镜绘制室内场馆的 3D 地图

两年前，Meta 在 Connect 大会上公布了 Project Aria，专注于可穿戴 AR 设备的研究。

Meta 与卡内基梅隆大学（CMU）认知辅助实验室的试点合作，利用 AR 眼镜绘制 GPS 信号通常覆盖不到的室内场馆的 3D 地图。

在本届 Connect 大会上，Meta 汇报了这一项目的进展情况。

佩戴 Project Aria 的工程眼镜，CMU 的研究人员绘制了匹兹堡国际机场的 3D 地图。

过去，要构建室内导航需要足够多的 iBeacon 才能获得精准的的位置信息。

现在，利用 Project Aria 绘制的 3D 地图训练人工智能模型，就可以在不必过分依赖蓝牙信标的情况下，依然能够准确定位。

在 Meta 的演示视频中，视觉障碍者通过手机端的 NavCog 应用——它提供残障友好的交互方式，在机场里确认位置、获得导航指引。

将现实世界的物体「带入」虚拟世界

在虚拟世界中构建和操作 3D 物体对于元宇宙的建设至关重要，但如果我们完全依赖于手工绘制，那么这个过程将非常漫长。

假如能够以现实中的物体作为模板，将它「复制」到虚拟世界中，基于副本进行构建，就会更快、更容易。

Meta 正在研究两种不同的技术来解决这个难题。

第一种方法，拍摄不同角度的多张 2D 图片，借助基于机器学习的神经辐射场（NERF）来重建 3D 物体的外观。

扎克伯格演示了将泰迪熊复刻到虚拟世界中的过程。这种方法复刻的物体，再现了物体的很多精细细节。

第二种方法，直接捕获几何图形和外观，借助「反向渲染」技术扫描对象，并将它的数字孪生对象放入到增强现实或虚拟现实的世界中。

在现场演示的视频中，扎克伯格复制的数字孪生物体，甚至可以对虚拟世界中的光线产生动态的反射效果；

甚至可以模拟出现实世界中真实物体落地、反弹的样子。

Codec Avatar 新进展：高还原度，实时驱动，虚实难分

Codec Avatar 是 Meta 开发的一种 3D 头像的深度生成模型。

与其他高质量的虚拟头像不同，Codec Avatar 是自动生成并实时驱动的，你的真实形象和动作均可以自动并实时的在虚拟世界中同步，不会局限于预定义的动作。

去年，Meta 分享了 Codec Avatar 的早期进展。扎克伯格的演示视频曾一度被吐槽至自行删除，但不可否认其理念的先进性——在虚拟世界中实时生成虚拟人，并让虚拟人受现实驱动。

今年 Codec Avatar 迎来了一项新的进展——现实世界中的你可以随意为虚拟世界中你的形象换装。

除此之外，Meta 还展示了 Codec Avatar 2.0 的一些最新进展，包括如何让头像的面部表情如何更接近身体的形态。从实际的演示效果来看，Codec Avatar 2.0 并没有让人失望。

除了表现上的优化，Codec Avatar 2.0 还整合了人们交流和理解语气时所依赖的一些面部动作：扬起眉毛、眯着眼睛、睁大眼睛和皱鼻子。

通过更好地捕捉这些微妙的表情，Codec Avatar 2.0 的实际表现更加逼真和自然。

你还可以控制 Codec Avatar 2.0 上的灯光来增加另一个纬度的真实感。

更高的还原度、更多的功能，意味着生成过程不会很短。Meta 利用即时的 Instant Codec Avatar 来提升实时生成的效率。

Instant Codec Avatar 比 Codec Avatar 更快也更容易制作。

仅需使用你的手机，在合适的光照环境中，保持标准的面部表情进行 30 秒的扫描，然后再在 90 秒的时间内做出各种表情完成扫描，之后会在大约几小时的时间内完成即时头像的制作。

未来，Meta 还将进一步优化生成效率，让整体处理时间进一步缩短。

需要指出的是，与 Codec Avatar 2.0 相比，Instant Codec Avatar 在质量和真实感上有所缺失。

尽管如此，即时的实际表现效果并不差。这种无需专业设备即可完成的制作，降低了不少门槛。

目前这项工作仍处于研究阶段，很难说日后是否会有成品发布。■