03
动画
最后是动画部分 ， 这是我们这几年工作的重心 。 前面提到 ， 游戏研发总成本的大头一般是美术资产 ， 那么美术资产成本的大头一般就是动画 。 因为原画、模型虽然也很贵 ， 但大部分属于一次性开销 ， 而动画则需要配合剧情持续产出 ， 且高质量动画一分钟的制作成本很轻松就可以过万 。
在这方面 ， 我们首先在光学动捕数据的清洗方面做了一些工作 。 光学动捕会在紧身动捕服表面设置很多标记点 ， 通过多视角红外相机跟踪这些点的坐标 ， 并算出人体骨骼的旋转、平移信息 。 当然 ， 这些数据不可避免会有错误 ， 所以会有专人负责清洗标记点 。
资深的动捕美术直接看标记点的轨迹曲线 ， 就能知道出现了什么错误、怎么修改 ， 这也是目前动捕工作流中主要的人工工作量 。
2018年 ， 育碧提出了一种通过AI模型来取代这个过程的算法 ， 发表在了SIGGRAPH上；2019年 ， 网易投资了一家法国3A游戏工作室Quantic Dream ， 也就是《底特律：变人》的研发商 。 当时我们开始有一些技术合作 ， 他们提出需求后 ， 我们跟进了相关研究 。 一年多之后 ， 我们找到了一种精度更高的解决方案 ， 也发表在了SIGGRAPH上 。
目前我们已经把这套算法 ， 以vicon软件的插件形式部署在了网易互娱和Quantic Dream的动捕工作流中 。 这里是一个例子：这是原始含噪音的标记点 ， 闪来闪去的就是局部噪音 ， 留在原地的就是跟丢的那些点 ， 这是暂时调用我们算法得到的清洗结果 。
接下来介绍几个我们部门落地最多的项目：首先是一套基于普通单目摄像头的轻量级面部动捕系统 ， 基本原理就是利用前面的三维参数化人脸模型 ， 对视频中演员的脸型、表情头部姿态进行回归 ， 把回归得到的系数重定向到游戏角色上 。
当然 ， 我们也会配合一些CV检测和识别模型 ， 加强算法对眨眼、视线、舌头和整体情绪的捕捉精度 。 这个项目我们从2018年开始做 ， 前前后后差不多有十位同事参与 。 其中所有算法模块都是我们自己开发 ， 打磨到现在已经是一套非常成熟的in-house面部动捕解决方案 。
围绕这套算法 ， 我们还打造了一整套工具链 ， 有实时的动捕预览工具 ， 有针对动捕结果进行离线调整和编辑的工具 ， 还有Maya/Max里的动捕数据重定向插件 。 另外为了方便项目组接入面部动捕系统 ， 我们还开发了一套专门适配自家算法的面部自动绑定插件 。 此外 ， 核心算法我们还打包了全平台的SDK ， 在iPhones 6s以上的机器 ， 可以做到单核单线程实时 。
这套系统在游戏里有非常多的应用场景 ， 首先就是辅助动画师制作正式的游戏动画资源 。 相比于传统一帧一帧手k ， 采用动捕方案的制作效率有明显优势 。 而且只要演员表演到位 ， 效果跟美术手k几乎看不出来区别；
其次 ， 它可以给营销同学快速产出一些面部动画素材 ， 营销场景的特点是精度要求没那么高 ， 但时效性要求很高 ， 因为慢了就跟不上实时热点了 。 我们这种轻量级方案非常适合这种场景 ， 比如某段短视频火了 ， 用这套工具可以快速产出面部动画素材；
另外 ， 因为我们的算法会提供全平台SDK ， 所以也可以打包在游戏客户端里 ， 给玩家提供一些UGC玩法 。 比如我们在《一梦江湖》里上线的颜艺系统 ， 可以让玩家录制自己的表情动画 。 右上是我在B站上找到的一个视频——玩家录制的打哈欠动画；
相关经验推荐
- 华为|若想五年内不换手机，建议一步到位，目前只有这4款机型符合要求
- |大多数人工智能程序都是相当复杂的对象，掌握其复杂性是一个主要的研究目标
- 中国信息通信研究院|英特尔Raptor Lake-P准备中，Linux 5.19已提供初步支持
- 海尔|Maven11 研究：模块化的定义、发展与未来 对加密世界为何重要
- 酷派|1500-2000价位值得捡漏的五款旗舰，公认极致性价比，还能用三年
- 华为鸿蒙系统|五款新机再次被确认，参数更精彩，配置也够牛
- 华为荣耀|不如荣耀X30？6000mAh+LCD屏，华为智选新机五月发
- find x|五一出行怎么记录行程？有Find X5 Pro就够了！
- 红米手机|红米手机无处下手？这五款值得一看，切勿盲目跟风！
- 芯片|iPhone13跌出前五，荣耀进入前三，另一个“国产黑马”也不甘示弱