4月23日,音视频领域的全球顶级技术社区之一LiveVideoStack Meet城市沙龙活动在深圳举行,荔枝集团(NASDAQ:LIZI)、腾讯、阿里、万兴科技、思谋科技等音视频技术领域的从业者汇聚一堂,共聊元宇宙中需要怎样的音视频技术、未来音频技术的发展重点,技术发展正在用更好的声音缩小物理世界和虚拟世界间隙。
1、用声音缩小真实和虚拟世界间隙
荔枝集团音频技术负责人沈俊聪会上带来《元宇宙中的音频技术探讨》线上主题分享。从元宇宙的爆火现象切入,提到其中声音角色定位,带来了一线技术领域的思考和实战经验。
“用更好声音缩小物理世界跟虚拟世界的间隙。”沈俊聪说,声音在我们的日常生活中占据着至关重要的地位,在元宇宙世界里也是如此:音频可以独立于视频存在,而且音频的感知受到长短时记忆的影响更明显。人类对声音更加敏感,更接近心灵世界。
随着硬件、智能技术、算力等全方面提升,沈俊聪表示,音频内容制作形式正在创新,在音频技术制作上,呈现出专业、易用、智能的产品。用户对声音的质量要求越来越高,接入设备的效果、低延时、空间音频技术、变声技术、环境声学模拟等是目前声音技术领域需要攻克的难点。
音频的发展就是要让声音做到“声临其境”。这就包括两个部分:“消灭”和“重塑”。消灭所有会影响现场感的因素包括噪声、回声、杂音等,然后根据所处的真实或虚拟的环境,重塑其中的音源和空间感知。
荔枝正在用技术让声音场景更丰富、更真实,在音频的传输中加强对情感的敏锐捕捉,提升对音色的高辨识度,给用户卓越的使用体验。在提升用户价值,突破声音场景的目标上,基础技术平台的架构和发展至关重要。荔枝已推出自研RTC频流技术平台DOREME,荔枝的即时语音通讯平台VoderX也将在全球市场上全面启用,丰富用户体验。
凭借在音频赛道的8年深耕,荔枝集团集声音社交、播客内容和音频社区为一体的音频生态已成熟。当下用户时间越来越碎片化,荔枝通过声音降噪,将录制者周围的背景噪音过滤;开发3D音效技术,通过硬件与软件算法的结合,将整个人体听觉系统还原,最大限度地还原用户在现实生活中对声场的感受,实现身临其境虚实结合的现场感。
沈俊聪2013年加入荔枝,担任音频技术负责人,先后带领团队完成了多个重要项目:手机端音频节目录制工具,让用户低门槛录制高音质音频节目;高音质音频直播引擎,用户很容易就能在手机上进行高清语音直播;AI声音理解后台,能对不同声音事件进行快速分类等。
2、元宇宙接近乃至会超越现实生活
2021年被很多人称为“元宇宙元年”,“元宇宙第一股”Roblox火遍全球、美国社交媒体脸书(Facebook)改名“Meta”,众多公司不断开拓元宇宙概念边界。
在沈俊聪看来,元宇宙最重要的特征在于,这是一个跟我们现实世界平行的虚拟世界,包括经济、生活与创作,也包含各种社会关系,“跟我们现实生活很接近,甚至超越现实生活。”
而在元宇宙的场景中要实现全方位的沉浸感,需要不断发展空间音频技术、声音分离技术、实时变声等技术。这些技术最终都是赋能于荔枝的声音产品。可以说声音产品是天然契合元宇宙。
速途元宇宙研究院首席探索官赵佳茹表示,未来,随着“元宇宙”概念的持续爆发,不同形态的设备或都将成为其入口,多端跨屏的软件产品也将成为主流。
今年初荔枝致股东信中提到,在2022年,荔枝还将做更多的尝试,积极拥抱元宇宙、NFT、DAO等创新理念,以此打造一个声音的新宇宙。荔枝年会还通过设定个人专属虚拟形象、送出数字藏品等等来迎接全新的声音新世界。