经验啦

  1. 首页 > 科技 > >

郑州|使用Unity创造并快速训练数字孪生机器人

郑州|使用Unity创造并快速训练数字孪生机器人
文章图片
郑州|使用Unity创造并快速训练数字孪生机器人
文章图片

人工智能系列项目展示了创作者使用Unity制作的一系列人工智能项目 ， 项目涉及人工智能产品 。 本案例中展示了最近使用Unity为OpenCV空间人工智能竞赛制作的一个项目的一些实用资料 ， 该项目以一系列令人印象深刻的例子展示了Unity中的机器人技术、计算机视觉、强化学习和增强现实等功能 。
Unity是世界一流的实时3D引擎 。 虽然Unity的游戏引擎和工具传统上只支持游戏开发者 ， 但AI@Unity团队正在围绕机器学习、计算机视觉和机器人模拟等领域构建全新的工具 ， 以支持游戏以外的应用 ， 尤其是那些使用人工智能和实时3D环境的应用 。
在OpenCV空间人工智能竞赛中Gerard Espona和KaudaTeam提供了多个案例作品 ， 他们大量使用了Unity的人工智能工具和软件包 。 团队通过使用Unity的感知包训练计算机视觉模型并通过移动代理工具包来训练他们的机器学习模型 ， 此外他们还做出一个机器人手臂的模拟演示案例 。
OpenCV计划
KaudaTeam名字的由来
Kauda Team由Giovanni Lerda和Gerard Espona两名成员组成 ， 名字来自Giovanni创建的免费开源桌面大小的3D打印5轴机械臂——Kauda 。 这是一个非常棒的桌面机器臂 ， 任何人都可以使用 ， 且允许他们在项目上远程合作 。
Kauda机械臂
如何在Unity获得Kauda机械臂的数字孪生
【郑州|使用Unity创造并快速训练数字孪生机器人】Giovanni Lerda和Gerard Espon开发了Kauda工作室 ， 这是一个Unity的应用程序 ， 目的是为了生成Kauda的数字孪生 。 它通过反向运动学（IK）控制、USB/蓝牙连接到真实的Kauda ， 提供了功能齐全且精确的Kauda机械臂模拟 ， 并可以支持多个OpenCV OAK-D相机 。
OAK-D相机是什么 ， 它是如何与Unity一起使用的？
OAK-D相机结合了两个立体深度相机和一个带有板载处理功能的4K彩色相机（由英特尔MyriadX VPU提供） ， 可自动处理各种情况 。 作为竞赛作品 ， Kauda Team为OAK设备构建了一个Unity插件 ， 但他们也想在Unity中创造出一个数字孪生设备 。 OAK-D Unity数字孪生相机为他们提供了帮助 ， 这是一部具有精确模拟功能的3D虚拟相机 ， 可用于合成数据收集 。 OAK-D Unity数字孪生相机帮助他们将虚拟图像输入到真实设备的管道中 。 让他们通过使用Unity感知包来收集合成素材 ， 并用于为虚拟OAK-D相机训练定制项目 。
OAK-D相机中的Unity模型
在Unity中拥有一个数字孪生模型的优势
拥有一个数字孪生让Gerard Espon能够在Kauda上启用额外的功能 。 他们还能够使用Unity的增强现实（AR）功能与现实世界中的虚拟机器人进行交互 。 其中的一个应用是学习如何在不需要机器人的情况下对机器人进行维护 。 这也允许他们用无代码方法编程顺序任务 ， 使机器臂精确的完成任务 。
数字孪生还能使他们对机械臂进行强化学习（RL）训练 。 RL是一个耗时的过程 ， 除了极其简单的案例之外 ， 任何事情都需要模拟 。 为此Kauda Team在Unity中使用了ML-agent工具包来执行RL训练以对机械臂进行训练与控制 。
Kauda Team还在Unity中测试了人机协作和安全程序 ， 他们在Unity中创建了数字孪生机械臂 ， 并使用摄像头测量人类在机械臂区域内的位置 。 可以想象这样做是为了那些更大型的机器人 ， 当程序错误发生时 ， 它会对人类造成伤害 。 模拟环境让他们可以在不危及人类安全的情况下测试这些场景 。

相关经验推荐


上一篇：法拉利|别再吹了，华为mate30pro根本不是什么一代神机

下一篇：主板|华为折叠神机刚买就被换主板，一场两万块的“情怀税”？