AR|低成本AR手势交互方案Portal-ble正式开源( 二 )


Portal-ble AR可以将任何安卓手机变成一个AR门户 , 让用户可以超越现实世界 , 用手移动虚拟物体 。 利用该资源库 , 开发者可以执行多种操作 , 例如绘制、操纵和投掷对象 。Portal-ble 提供的功能与AR领域目前流行的功能之间的区别在于 , Portal-ble支持与对象的直接交互 , 而不是通常的空中手势 。
科研人员表示:Portal-ble市面上纯手机AR交互方案中最好的 , 其主要优势在于它使开发人员能够利用Portal-ble的框架并将其包含在他们的游戏和应用程序中 。Huang的目标是让AR无处不在 , 因为他知道其他人正在为其他设备构建 , 这就是为什么用于手机的AI一直是该公司相当关注的焦点 。



在一段demo中 , 科研人员演示了一种通过手势来抓AR小精灵的游戏:《Pokemon CatchAR》 。 这是一个Snapchat AR滤镜 , 不仅可以在Spectacles上运行 , 也兼容iOS和安卓手机 。 在游戏中你可以用手来旋转精灵球 , 也可以用手扔球 。
科研人员表示 , 在手机上运行Portal-ble可实现完整的手与物体交互 , 而如果加上深度传感器 , 手势交互的准确性可提升至3毫米 。
据了解 , Portal-ble开源库包含手势交互示例应用 , 以及构建手势交互Unity应用的文档 。 细节方面 , 该方案的手势识别基于MediaPipe机器学习框架 , 在开源后允许开发人员使用其代码 , 开发AR手势应用 。
【AR|低成本AR手势交互方案Portal-ble正式开源】
科研人员还设计了一个3D打印的支架 , 可将Leap Motion固定在手机摄像头模块下方 。 不过 , 运行Leap Motion还需要使用Intel计算模块(电脑棒) , 来提供额外的算力 。
理论上 , 还可以搭配智能手表使用 , 结合这种穿戴式显示屏 , 可进一步提升3D AR涂鸦的效果 , 在手机屏幕之外也可以继续交互 , 目的是解决手机FOV有限的问题 。

值得注意的是 , Portal-ble项目由美国国家科学基金会、皮克斯资助 。 参考:VentureBeat

相关经验推荐