|Meta展示新VR构建工具Builder Bot,可通过语音直接构建VR世界

|Meta展示新VR构建工具Builder Bot,可通过语音直接构建VR世界

文章图片


编译/VR陀螺
用马克-扎克伯格自己的话说 , Meta的Horizon VR项目是其元宇宙愿景的核心 , 不仅为用户提供了参与完全沉浸式数字空间的能力 , 而且还可以根据自己的喜好创建全新交互式3D环境 。
但这不是一件容易的事 , 在VR中创建物体通常需要深入的设计和3D建模知识 , 而且没有简单的方法来让用户建立定制的VR空间 , 但这种情况或将发生改变 。 近日 , Meta展示了为Horizon Worlds开发的由AI驱动的 \"Builder Bot \"程序 , 用户可完全通过语音建造VR世界 。
在演示中 , 马克-扎克伯格要求有一个海滩 , 然后是特定类型的云 , 然后是树和野餐等道具 。 他的同事甚至能够要求特定的环境背景声音 , 扎克伯格继而要求通过立体声播放一种音乐类型 。

图源:Meta
扎克伯格将Builder Bot描述为一个 \"概念\" , 并解释说 \"我们仍然需要解决很多挑战\" 。 此外 , Meta公司没有明确说明该演示部分有多少是真实的 , 也没有说明3D模型是动态生成的还是由人工智能从库中挑选的 。
Meta公司称 , Builder Bot之所以能够实现 , 要归功于SSL , 这是一种相对较新的训练AI模型的方式 , 该公司近年来一直在进行研究 。 今天 , 大多数AI使用SL训练模式 , 这通常需要大量由人类精心标记的数据 。 但这显然不是人类或动物的学习方式 , Meta公司的研究人员说 , 依赖标签是开发更普遍的AI的瓶颈 。 有了SSL , AI可以从更少的数据中对一个概念有更深的理解 , 而且这些数据不需要被贴上标签 。 像OpenAI的DALL-E这样的现有项目就使用SSL来生成人们用文字描述的图像 , 但这是我们首次看到这个想法应用于虚拟世界的创造 。
通过Horizon Worlds(这个演示似乎是以它为基础的) , Meta已经在试图降低创造VR体验的障碍 。 像Rec Room一样 , Horizon Worlds让用户使用控制器来放置和操纵形状 , 并使用视觉脚本系统来增加动态功能 , 从而在VR中进行构建 。 但并不是每个人都能自如地使用类似控制台的控制器来浏览复杂的菜单系统 。 像Builder Bot这样的项目暗示了一个未来 , 就像《星际迷航》中那样 , 任何人都可以只用自己的声音来创造自己的虚拟世界 。

图源:Meta
Meta可以利用Builder Bot建立一个VR建筑 , 而在整个过程中不需要任何编码或设计知识 , 甚至不需要通过3D应用程序和工具进行任何手动操作 。 用户能够通过直接说出想要的东西开建造一个VR建筑 。
这显然有其局限性 。 更具体的放置和定制过程可能无法通过简单的命令实现 , 同时它也受到Meta从声音识别到物体识别能力的限制 , 以及Meta在其系统中可用的预构建3D对象限制 。
但Meta也在这些方面进行开发 。
在语音识别方面 , Meta的新CAIRaoke项目最终将提供更多的语境理解和翻译能力 , 这可以使其为Builder Bot建立一个更包容、更全面的物体匹配数据集 。
在可用物品方面 , Meta还在开发改进的3D扫描工具 , 迄今为止 , 这些工具主要侧重于扩大其电商产品列表 , 通过提供物品在现实世界中的虚拟展示 , 为购物者提供更多的选择 。
随着这一举措的扩大 ,Meta公司将建立一个庞大的3D物体资料库 , 然后将其整合到这个新的VR环境中 。
从本质上讲 , 该系统将为Meta公司提供多重用处 , 它不仅将扩大其可用的3D家具对象数据集 , 以便在其电商产品列表和推荐中进行展示 , 而且还将为Horizon Worlds提供无止境的产品补充 , 这将实现真正的定制化VR空间 。

相关经验推荐