Portal-ble AR可以将任何安卓手机变成一个AR门户 , 让用户可以超越现实世界 , 用手移动虚拟物体 。 利用该资源库 , 开发者可以执行多种操作 , 例如绘制、操纵和投掷对象 。Portal-ble 提供的功能与AR领域目前流行的功能之间的区别在于 , Portal-ble支持与对象的直接交互 , 而不是通常的空中手势 。
科研人员表示:Portal-ble市面上纯手机AR交互方案中最好的 , 其主要优势在于它使开发人员能够利用Portal-ble的框架并将其包含在他们的游戏和应用程序中 。Huang的目标是让AR无处不在 , 因为他知道其他人正在为其他设备构建 , 这就是为什么用于手机的AI一直是该公司相当关注的焦点 。
在一段demo中 , 科研人员演示了一种通过手势来抓AR小精灵的游戏:《Pokemon CatchAR》 。 这是一个Snapchat AR滤镜 , 不仅可以在Spectacles上运行 , 也兼容iOS和安卓手机 。 在游戏中你可以用手来旋转精灵球 , 也可以用手扔球 。
科研人员表示 , 在手机上运行Portal-ble可实现完整的手与物体交互 , 而如果加上深度传感器 , 手势交互的准确性可提升至3毫米 。
据了解 , Portal-ble开源库包含手势交互示例应用 , 以及构建手势交互Unity应用的文档 。 细节方面 , 该方案的手势识别基于MediaPipe机器学习框架 , 在开源后允许开发人员使用其代码 , 开发AR手势应用 。
【AR|低成本AR手势交互方案Portal-ble正式开源】
科研人员还设计了一个3D打印的支架 , 可将Leap Motion固定在手机摄像头模块下方 。 不过 , 运行Leap Motion还需要使用Intel计算模块(电脑棒) , 来提供额外的算力 。
理论上 , 还可以搭配智能手表使用 , 结合这种穿戴式显示屏 , 可进一步提升3D AR涂鸦的效果 , 在手机屏幕之外也可以继续交互 , 目的是解决手机FOV有限的问题 。
值得注意的是 , Portal-ble项目由美国国家科学基金会、皮克斯资助 。 参考:VentureBeat
相关经验推荐
- 中兴|低成本解决电视卡顿,泰捷WE60C升级版电视盒子评测
- 浏览器|华为浏览器功能和交互更完善
- ff91|赛轮思将为FF 91提供自然语音交互功能
- ColorOS|智能交互,大屏绝配,ColorOS for Pad得心应手
- 安卓|OPPO官宣6月8日公布安卓13适配计划:隐私安全、交互再上一台阶?
- 华硕灵耀|最适合创作者入手的专业本华硕灵耀X Pro,超高性能+独特交互体验
- 苹果|苹果WWDC 2022爆料汇总 平板迎来新交互,锁屏显示来了
- 鸡蛋|跪舔!50寸的平板你玩过吗?Touchjet Wave红外手势识别器
- 苹果|苹果新专利曝光:保护壳也有交互界面;屏下 Touch ID 秀黑科技!
- 操作系统|iOS 16 操作系统交互新形势