生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风( 二 )


文章插图

从左至右为(a)参考图像,(b)原始照片,(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验,(g)为正式效果
双分支鉴别器(Double-branch Discriminator)
二次元人脸与真实人脸既有很大不同,又都是关于人脸。在研究中称作领域X和领域Y。
双分支鉴别器不仅可以通过卷积层的两个分支处理特定领域的数据分布,还可以处理跨领域共享的数据分布。






生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
文章插图

双分支鉴别器使生成的二次元人脸减少瑕疵,更加赏心悦目。
另外,该鉴别器也可以在后续研究中轻松扩展成多分支鉴别器(Multi-Branch Discriminator)。
图像质量远超前辈
研究团队使用了Frechet Inception Distance指标来评估生成图像的质量,数值越低代表生成图像越接近参考的二次元图像。






生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
文章插图

并使用Learned Perceptual Image Patch Similarity来评估生成图像之间的风格差异性,数值越高代表多个生成图像之间越多样。






生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
文章插图

另外还选取了20位20-35岁的测试者进行A/B测试,询问他们不同算法生成的图像中哪张最符合真实照片的特征以及参考图像的风格,统计结果也是AniGAN得分最高。






生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
文章插图

作者团队
本论文第一作者李冰,2016年中国科学院博士毕业,现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。






生成器|博士后小姐姐把“二次元老婆生成器”升级了:这一次可以指定画风
文章插图

团队其他成员分别来自字节跳动、中国台湾国立清华大学与深圳大学。
参考链接:
[1]https://arxiv.org/abs/2102.12593

— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态

相关经验推荐