文章图片
文章图片
文章图片
扎克伯格在访谈中曾指出下一代Quest的重点是面部和眼球追踪技术 ， Project Cambria也将配备眼球追踪技术 。 尽管如此 ， 眼球追踪依然是Meta需要解决的一大研发难题 ， 这项技术在普遍适用性、延迟、准确性等方面都存在挑战 。
从Meta Reality Labs公布的最新论文来看 ， 其正在探索一种基于事件相机的眼球追踪方案 。 那么什么是事件相机呢？它的英文名为Event Camera ， 是近几年来出现的相机技术 。
事件相机与传统相机的数据回传格式不同 ， 它采用一种异步的通讯方式 ， 也就是说设备之间的时钟不同步 ， 事件相机不是事实回传捕捉到的数据 ， 而是在捕捉到亮度等像素变化（事件）时 ， 才会回传数据 。
简单来讲 ， 事件相机类似于人眼的工作原理 ， 主要功能是捕捉物体的变化或运动 。
Meta指出 ， 事件相机可以低功率运行 ， 响应延迟可降低至微秒级 。 这些特性有望解决现有眼球追踪技术在实时性、功耗上的局限 ， 甚至有望带来适合AR/VR头显等移动设备的眼球追踪技术 。
关于Meta眼球追踪方案
目前 ， 眼球追踪系统常见的设计是采用闪烁的灯光照亮角膜来捕捉数据 ， 这种方案只需要稀疏的数据即可运行 。 这说明眼球追踪系统的采样率不需要非常高 ， 因此科研人员预计即使用事件相机也足够 ， 尽管事件相机在捕捉到运动时才拍照 ， 但只要捕捉到关键数据 ， 也能计算出眼球变化 。
该方案与传统眼球追踪技术最大的区别是 ， 它没有固定的采样率 ， 也不是对所有像素采样 ， 而是主要回传像素亮度的变化数据（带有时间信息） ， 在变化产生时才会采样 。 尽管采集的数据较少 ， 但准确性和效率足够好 。
事件相机的另一个优势是具有高动态范围（≈120dB） ， 几乎没有运动模糊 ， 而且比传统相机功率更低 ， 延迟可低至亚毫秒级别 。
Meta表示：这是首个完全基于事件的角膜闪烁/眼球追踪方案 。 其原理是 ， 光源照在眼角膜上 ， 产生的反射光进入图像传感器中 ， 显示为可见的数据 。 这些数据可以用于定位角膜的运动 ， 从而预测注视点 。
加密的差别照明
科研人员指出 ， 眼睛通常由两种表面组成：1）像镜面一样的角膜 ， 可对光源产生镜面反射；2）皮肤、虹膜和巩膜等朗伯表面 ， 它们会漫反射光线 。
在追踪眼球过程中 ， 为了避免光源照到皮肤、虹膜、巩膜等其他部位而产生误差 ， 该方案采用的每个光源都有配套的补偿光系统 ， 以保持总亮度不变 。 在不影响角膜的镜面反射的情况下 ， 抑制了场景漫反射产生的事件 。
为此 ， Meta设计了名为“加密的差别照明”（Coded Differential Lighting）的照明方案 ， 特点是可增强镜面反射事件 ， 同时抑制其他事件 ， 而且在事件触发时才闪烁 ， 在标准硬件上的采样率为kHz级 。
该方案采用双LED光源 ， 可提升角膜镜面反射检测的效率、准确性 。 为了照到光源和角膜反光/闪烁的对应关系 ， 其采用二进制模式 ， 让光源脉冲在两个周期运行 。
相关经验推荐
- 铭瑄|小米11 Ultra的相机太强！放在今年仍然是影像机皇的存在
- 华为|华为相机技术成功的三大核心因素：技术创新造就领导者
- iPhone 14 Pro|iPhone14Pro外观曝光，终于去掉了刘海，相机大升级
- 尼康|为什么尼康Z 9依然是我最喜欢的相机？
- gtx|iPhone换用上48MP相机，你还相信“高像素无用”论吗？
- 抖音|百元机上1亿相机？realme新机太狠了！红米跟不跟？
- 便携相机|高端显卡一夜暴跌35%，游戏玩家和“等等党”们赢了？
- 相机|美的集团有担当有底气: 家电维修服务, 多收费双倍赔
- 小米科技|3999元买小米“相机”，也是一台旗舰手机！米粉：心动的感觉！
- 相机|分析联想戴尔华硕新品游戏本：DDR5+双显三模，7K预算选这款最香