近期 ， 谷歌跨平台机器学习应用开发框架MediaPipe为XR开发者提供KNIFT和Objectron两种工具 ， 并引入高级AI框架来提升3D目标追踪 。 该功能将为AR/VR应用带来手势追踪、面部追踪、姿态追踪和目标追踪等功能 。
据青亭网了解 ， MediaPipe是谷歌在2019年推出的AI框架 ， 主要用来检测3D空间的人和物体 ， 并通过机器学习方案来追踪目标 ， 将2D数据转换为3D空间结构 。 MediaPipe的跨平台兼容性好 ， 支持安卓、iOS等系统的AR/VR开发工具 。 除此之外 ， 谷歌还推出Apache 2.0开源框架 ， 为开发者提供完全可定制的XR项目 。
MediaPipe提供的各类3D追踪功能 ， 可以用于AR/VR内容开发 。 其中包含的主要XR功能包括：人脸检测、人脸网格、虹膜检测、手部检测、姿势检测、整体检测、自拍分割、头发分割、物体检测、方格追踪、即时运动追踪、Objectron（对象框跟踪）、KNIFT、AutoFlip、MediaSequence等等 。
其中 ， KNIFT全称为关键点神经不变特征变换 ， 主要作用是增强对象检测效果、帮助理解物体上的信息 ， 可匹配现实世界对象（例如停车标志）上显示的信息 ， 并作为空间数据进行传递 。 而Objectron则是将2D图像中的对象转化为实时3D（RT3D）数据点 ， 并通过机器学习算法来预测对象的姿势变化 。 此外 ， Objectron可根据2D视频片段跟踪户外空间/环境 。
【Google|谷歌机器学习应用框架MediaPipe增强3D对象追踪功能】值得注意的是 ， 谷歌曾将MediaPipe与各种内部项目集成 ， 比如去年推出的Art Filter应用 ， 利用MediaPipe工具将任意物品转化成经典艺术品 。 谷歌SignAll也集成了MediaPipe服务 ， 用于追踪和读取手语 。
相关经验推荐
- |不出意外就会出意外，Google 不小心又把Pixel 7 Pro 泄露了
- 机器视觉|围攻“智能制造”，机器视觉的后起之秀
- 机器人|比亚迪订单太多，国际机器人巨头发那科接单接到手软
- 机器人|从5699元跌至2829元，8P镜头+2K屏+IP68防水，你想要的都有了！
- 机器|美版iPhone在国内到底能不能保修？记录一次美版机器国内保修经历
- 机器人|天玑810+水滴屏卖2K，OPPO又在收割智商税
- 机器人|空调加氟图文教程
- |不愧是台积电！看了小米12S系列用户反馈，骁龙8 Plus的机器可以冲
- 空调|夏季空调制冷不给力？可能不是机器坏了，教你一招自己在家就搞定
- 扫地机器人|1.52铜线能带动单相1.5P的空调？