生成器|博士后小姐姐把“二次元老婆生成器”升级了：这一次可以指定画风
梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI
用GAN（生成对抗网络）制作卡通人物形象的研究，相信大家已见过不少。
但这一次新出炉的AniGAN，可以让你指定任意画风！
只需一张真实人物照片，加上一张你喜欢的画师作品做为参考，就能在保留原照片发型、五官等形状特征的同时，迁移成相应的画风。
拿来做头像是不是很棒？
文章插图
又双叒叕一款GAN？这次更强！
AniGAN团队认为，之前的二次元人物生成算法有两大问题。
要么不能很好模仿参考图的画风，要么会过于强调保留原始照片的形状，却并不适合二次元人物的风格，造成不符合审美的扭曲与瑕疵。
通过对比可以看出，AniGAN生成的结果在模仿参考图颜色、材质，以及将原始特征转换成适合二次元方面都更出色。
文章插图
下图使用了更大的数据集，包含更多样的色彩、线条、材质、发型及五官特征。
文章插图
新的生成器架构
为了在转换形状特征的同时进行风格迁移，AniGAN团队提出了新的生成器架构。
不同于以往使用残差块（Residual Blocks）在生成器的瓶颈层注入风格信息的方法。
AniGAN提出了自适应堆栈卷积块 （Adaptive Stack Convolutional Block）和细粒度风格转移块（ Fine-grained Style Transfer Block），以下简称为ASC块和FST块。
文章插图
ASC块由卷积层、激活层和归一化层组成。
在以往使用残差块时，可能会忽略一些风格信息，如在下面例子中将右眼都错误地生成为棕色。
文章插图
FST块由上采样层，卷积层和归一化层组成。
风格数据会在上采样层之后而不是瓶颈层注入，负责把局部形状特征也处理成一种风格数据，并转换成对应的二次元形状。
【 生成器|博士后小姐姐把“二次元老婆生成器”升级了：这一次可以指定画风】去掉FST块的情况下，生成图像的面部特征并不适应二次元风格。
文章插图
两种新的归一化函数
以往的AdaLIN归一化函数会将实例归一化（IN）和层归一化（LN）按channel结合在一起，而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。
AniGAN团队提出了点状层实例归一化（point-wise layer instance normalization）和适应性点状层实例归一化（ adaptive point-wise layer instance normalization ），以下简称PoLIN和AdaPoLIN。
文章插图
文章插图
PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。
相关经验推荐
- 迪士尼|迪士尼公主都成家了，爱洛公主儿女成群，艾莎跟谁生的娃
- 反派|人类与宝可梦是平等的，漠视宝可梦生命的人，注定了他的失败
- 漩涡鸣人|人生最美是青春，动漫中那些高人气热血运动番，你最喜欢哪几部
- 阿星|为了考试，阿星浑水摸鱼，小桂子携带“生化武器”，奋豆瞒天过海
- 比比东|罗刹神的继承人究竟有多难？除了罗刹考核比比东还要在夹缝中生长！
- 冥王神话|解析《冥王神话》中的卡路迪亚，一生追寻灿烂一战的王牌刺客
- 反派|仙王的日常生活：放飞自我，给孙蓉换个家庭背景，评分还能更低
- 海贼王|小学生漫画《女生为啥不能光膀子》，老师笑到捧腹，妈妈却被误伤
- 堀与宫村|虽然《无职转生》被下架了，但仍有三部日漫播放量破亿
- 血小板|小学生玩COS真有天赋，本以为雏鹤爱很还原了，看到祢豆子羡慕了