摄像头|当无人机远程飞行时,从摄像头传输的视频被投影纹理映射到几何模型上

摄像头|当无人机远程飞行时,从摄像头传输的视频被投影纹理映射到几何模型上

文章图片

摄像头|当无人机远程飞行时,从摄像头传输的视频被投影纹理映射到几何模型上

文章图片

摄像头|当无人机远程飞行时,从摄像头传输的视频被投影纹理映射到几何模型上

文章图片


【摄像头|当无人机远程飞行时,从摄像头传输的视频被投影纹理映射到几何模型上】杉本和兴等人提供了一种可视化 , 可以从外心的角度观察机器人 。 然而 , 他们的系统限制了视点的自由度 , 并且很难将周围的对撞机与机器人联系起来 。 卡拉南等人使用无人机传输的WiFi信号来监控它们在遮挡结构后面 。 佐尔曼等人专注于无人机远离用户时出现的空间理解问题 。 他们使用基于手持平板电脑背面摄像头的外心AR显示器 。 无人机在地形上的高度和与用户的距离在视频顶部以3D形式显示 。

但是 , 如果无人机在附近遇到密集的障碍物 , 则该技术无法提供足够详细的可视化以进行精确控制 。 贝尔热等人创建一个类似于无人机获得的3D重建的合成点云 , 并在沉浸式VR中对其进行可视化 。 他们还开发了一种方法来评估找到目标的难度 。 所有这些技术都展示了使用外心视点进行无人机控制的潜力 , 但不允许简单直观的导航 。 长期以来 , 为了揭示隐藏的基础设施而模拟X射线视觉一直是AR研究的目标 。

大多数X射线视觉技术用纯虚拟信息组成视频图像或模拟遮挡物的剖面图 。 科学家的工作还涉及在遥远的环境中进行可视化和交互的研究 , 进而涉及远程呈现系统 。 研究人员提出了基于增强视频环境的监控的想法 , 它依赖于实时视频的投影纹理映射到室外环境的重建 。 对于室内监控 , Wang等人探索了在空间模型的上下文中呈现视频流 , 而不是通过更传统的多窗口显示 。

这些系统假设在控制室中有一个观察者 , 但已经为移动用户探索了类似的想法 。 龟田等科学家报告了一个移动AR系统显示来自远程摄像机的注册视频流 。 艾弗里和桑德尔使用幻像X射线视觉透视墙壁 。 他们的系统显示用户通过操纵杆控制的远程机器人接收到的视频 。 桑多尔等人后来提出了一个“融化”的隐喻来隔离建筑物 。 桑多尔等科学家展示了一种使用遮挡物的显着特征进行X射线渲染的方法 。

远程信息显示的另一个方面是摄像机导航 。 例如 , 穆洛尼等人描述了如何在放置在室外环境中的多个摄像机的视频之间进行转换 , 而不会丢失空间上下文 。 科学家研究用于近距离观察的远程视点操作 。 研究人员从所有这些方法中汲取灵感 , 但还通过引入交互技术来间接控制无人机的飞行路径 , 以交互定义所需的视点 。 无人机增强人类视觉系统允许飞行员通过透视HMD中提供的外心可视化间接控制封闭空间内的无人机 。

当无人机在远程环境中飞行时 , 从机载摄像头流式传输的视频帧被投影纹理映射到场景的几何模型上 。 场景是从用户当前的角度渲染的 , 通过HMD的内置自定位来衡量 。 此外 , 在物理无人机报告的位置处呈现无人机的虚拟表示 , 以使飞行员了解被遮挡空间的物理配置 。 带有部分纹理映射的内部场景出现在一个“剖面”魔术镜头内 , 该镜头在封闭的墙壁结构中显示为一个洞 。

为了在不撞到障碍物的情况下在封闭空间中进行飞行控制和导航 , 科学家引入了两种交互技术 , 称为拾取和放置和凝视 。 科学家建议使用真实比例的交互来操纵远程无人机 。 这使得能够以较低的认知努力简单地控制无人机 。 根据用户的反馈和实验的定量结果 , 当全自动导航不够用时 , 拾放交互对于快速定位无人机很有用 。 佩戴HMD时 , 用户可以通过立体视觉感知深度 。 此外 , 用户可以通过简单地以自然方式四处走动来快速改变他们的观点 , 以了解对象在3D中的位置 。

相关经验推荐