洗衣机|微软:这个AI应用能帮助视障儿童找到社交自信( 二 )





【洗衣机|微软:这个AI应用能帮助视障儿童找到社交自信】PeopleLens采用了5种计算机视觉算法 , 可持续定位、识别、追踪和捕捉附近人的注视方向 。 也就是说 , 它可以帮你识别附近看你的人 , 并根据空间音频提示找到这个人 。 当你得到其他人注意力时再开启对话 , 体验感会更自然、效率也更高 。
PeopleLens可以帮助盲人/视障人士建立一个3D社交地图 , 这个地图旨在帮助他们了解环境中不同人的定位、距离 。 创建地图的好处是 , 即使用户背对着其他人 , 或其他人不在HoloLens追踪范围内 , 其位置也会记录在实时更新的地图中 。
细节方面 , PeopleLens利用空间音频来念人名 , 也就是说将空间信息与人名结合 , 帮助用户根据声音传播方向来定位其他人的距离和所在地 , 并进行系统的记忆 。



AR眼镜还可以通过灯光等形式 , 提醒周围的人他们的追踪状态 , 如果你不想进入AR的定位范围 , 在看到LED灯光后可以躲开 。 这种方式可以一定程度上替代人与人互动时的眼神交流 。 (白光表示检测到人的位置 , 闪烁绿光代表人脸识别成功)
值得注意的是 , PeopleLens的面部识别是基于自愿收集的 , 人们可以上传几张自己的照片来注册系统 , 这些照片不会被储存 , 而是被系统转换成可识别的面部数据 。
PeopleLens在10米范围内识别到的人用撞击声表示 , 当这个人距离用户4米以内时 , PeopleLens会念出其名字 。 如果这个人的脸没有正面对着PeopleLens的追踪范围 , 系统会通过声音来引导用户看向这个人 , 如果识别到注册的用户则会念出名字 , 如果识别到未注册的人则通过咔哒声来确认 。
应用场景
对于盲人、视障人士 , PeopleLens是一种寻找朋友的方式 , 也是一种提升反应能力和社交自信的工具 。 通过一系列培养注意力的交互游戏 , 还可以进一步提升盲人/视障人士的空间感知能力 , 让他们更容易和周围的环境互动 。
此外 , 也可以通过交互游戏来训练盲人/视障人士的社交能力 , 比如PeopleLens在检测到周围有人时 , 会发出咔哒声 , 识别到人脸后 , 会播放碰撞声 , 然后念出这个人的名字 。 在听到咔哒声 , 想要寻找这个人时 , 会听到一种类似于橡皮筋拉伸的声音 , 其音量会根据你跟这个人之间的距离而变化 , 直到你面对着这个人时 , 会发出响亮的咔哒声 , 向你确认定位成功 。



这种声音提示 , 可以帮助盲人/视障人士快速发现周围的人 , 通过改变/引导注意力 , 来发起或结束对话 。
科研人员解释 , 这参考了儿童学习的方式 , 比如当婴儿指着天空时 , 父母说“鸟” , 他/她便会将语音和视觉匹配 。 而对于视力不佳的孩子来讲 , 他们的注意力通过听觉来表现 , 因此PeopleLens试图将听觉和空间方位结合 , 帮助他们在空间中导航 。



除此之外 , 用户还可以通过连续敲击声的次数来识别不同方向有多少个人 , 比如在教室里 , 如果一个方向有三个人 , 他们可能是在讨论题目 , 如果听到一连串敲击声 , 可能是一群孩子在课桌前看书 。 你还可以在周围寻找好友奥斯卡 , 当他看到AR头显上的LED灯光时 , 可以移动到头显摄像头可识别的位置 , 当你识别到奥斯卡后 , 可以根据奥斯卡的位置来分析他的姿态 , 如果奥斯卡在坐着 , 那么你也可以抓一把椅子坐在他旁边 。 参考:微软

相关经验推荐