小米科技|Meta显示部门主管:VR头显趋于完美所面临的十大挑战( 二 )


另外值得一提的是 , Half Dome的FOV达到了140度 。
6.面向所有人的眼球追踪
眼球追踪是虚拟现实的一项关键技术 , 它是许多其他重要的VR技术的基础 , 如渐进式视觉(见第5点)、注视点渲染和畸变校正(见第7点) 。 它还能在社交体验和新的互动形式中实现眼神交流 。
眼球追踪的问题在于 , 它并不是对所有的人都有同样的效果 。 行业需要一个可靠的解决方案 , 能够覆盖更广泛的人口 。 否则 , 该技术只会让人感到沮丧 , 并被消费者所拒绝 。

瞳孔的形状因人而异 。 这对眼球追踪系统来说是一个挑战 。 (图源:Meta)
7.畸变校正
透镜本身就会产生图像畸变 , 必须通过软件进行校正 。 瞳孔最轻微的移动都会导致细微但明显的畸变 , 它们损害了视觉的真实性 , 特别是在与其他技术(如渐进式视觉)结合时 。
为了加速校正算法的发展 , Meta的研究人员开发了一个畸变模拟器 。 它可以用来测试不同的透镜、分辨率和视场 , 而不需要制造测试头显和特殊透镜 。
8.高动态范围(HDR)
实体物体和环境的亮度远高于VR显示器 。 针对这一问题 , Meta公司开发了原型机Starburst , 其最高亮度可达2万尼特 。 作为比较 , 一台好的HDR电视能达到几千尼特 , 而Meta Quest 2只有100尼特 。
Starburst可以真实地模拟封闭房间和夜间环境中的照明条件 。 不过目前的原型机非常重 , 以至于得悬挂在天花板上 , 而且耗能极大 。
据Meta公司称 , HDR对视觉真实性的贡献比分辨率和可变焦距等更大 , 但距离实际应用却最远 。
9.视觉逼真度
完美的VR头显必须在两个方向都是半透明的 。 VR用户应该能够看到环境 , 就像环境能够看到VR用户一样 。 这既是出于用户舒适度的考虑 , 也是出于社会接受度的考虑 。
头显传感器记录环境 , 并将其显示为虚拟现实中的视频图像 。 这种被称为透视的技术目前已经存在于商业化的VR头显中 , 尽管质量相当差 。 例如 , Meta Quest 2提供了一种颗粒状的黑白透视模式 。 Meta Quest Pro应该会以更高的分辨率和色彩来改善这种显示模式 。
然而 , 这还不足以实现对物理环境的完美重建 。 其中一个有待解决的问题是 , 透视技术捕捉到的世界视角在空间上与眼睛存在偏差 , 这在长时间使用时可能会引起不适 。 为此 , Meta公司正在研究人工智能辅助的凝视合成技术 , 该技术能实时生成视角正确的视点 , 并具有高视觉保真度 。
在相反的情况下 , Meta公司称之为“反向透视” , 即外人能看到VR用户的眼睛和脸 , 凭此得以进行眼神交流或阅读面部表情 。 这可以通过朝内的传感器和外部(光场)显示器来实现 。 但正如Meta的研究表明 , 这项技术还远远没有准备好进入市场 。

左边是Oculus Rift , 它阻挡了VR用户的眼睛视线 。 右边是一个早期的反向透视原型机
10.面部重建
共处和元宇宙是Meta公司的最终目标 。 该公司希望有一天人们能在虚拟空间中会面 , 并感觉他们就像在同一个房间里一样 。 为此 , Meta公司正在研究逼真的Codec Avatars , 但它们的制作和计算成本仍然很高 。
这个方向的第一步是VR头显可以实时读取VR用户的面部表情 , 并将其转移到虚拟现实中 。 Quest Pro将是Meta公司首款提供面部追踪的头显 。
来源:MIXED

相关经验推荐