近期 ， Meta AI部门宣布将为AR/VR开发全新的空间音频工具：Acoustic Sythesis ， 以增强虚拟内容的视听体验 。 据悉 ， 该空间音频工具可对不同的视觉环境做出相应的声音反馈 ， 从而提升环境/场景模拟的保真性和沉浸感 。
Meta表示：我们一直在研究人们与周围声音的互动感知 ， 发现人们通常会根据声音的位置去预判听到的音效 。 比如 ， 如果你站在洞穴里 ， 可能会期待听到回声 ， 而远处的声源可能会听的不清楚 。 也就是说 ， 环境特征会影响声音 ， 包括空间的结构、空间中物品的材质、麦克风和声源之间的距离 。
【ssd|为优化AR/VR体验，Meta将开发基于AI的空间音频工具】目前 ， AI模型已经可以理解视频中的图像场景 ， 因此Meta AI希望在此基础上 ， 开发一个多模态的AI环境理解模型 ， 也就是说AI将不止能够视觉分析场景 ， 还能理解不同场景中的声音 。 简单来讲 ， 就是通过视觉提示来匹配目标场景坐标的声音 ， 还可以融合虚拟和现实场景音 ， 去除混响和噪音 ， 强化虚拟音效 ， 从而提升AR/VR观影、社交体验的沉浸感 。
同时 ， 为了推动沉浸式空间音频内容生态 ， Meta将向开发者开放三个支持视听理解的AI模型 ， 这些模型专注于分析视频中的人类语言和声音 ， 可让视频体验更加身临其境 。 未来 ， Meta计划将这种技术与音频翻译技术结合 ， 以推动全新的应用场景 。
相关经验推荐
- |华为被打压后，为什么国产手机撑不起高端？
- 小米科技|紧跟IE脚步，微软为Windows 8.1宣告“死亡日记”
- 高通骁龙|同为“机皇级”芯片：骁龙870和天玑8100到底应该怎么选？
- |为什么小家电的电源线都这么短？看完才明白，原来都是套路！
- 华为鸿蒙系统|说实在的，鸿蒙这个方向真的错了
- 网游|曾拒绝在美国建厂的王传福，为何又和苹果合作了？
- 汽车|音响失真率和信噪比很重要，你为什么一定要关注？
- 华为|空调市场遇“困境”！多地面对40℃高温天，为何越来越多人不用空调？
- 华为|手机界的“奢侈品”，牛皮机身+5G网络，直降3000
- 路易·威登|据说华为好像也要搞双芯了呀，而现阶段某东好评率最高的两款绿厂