头像瞬间萌化!这个技术让你一键变身日漫主角

?

3a14-iaxiufn2592648.jpg

欢迎来到“Creation”微信订阅号:sinachuangshiji

韩国游戏巨头研究了头像AI卡通,最终实现了“新达雅”的翻译。

文本/频谱

硅星(ID: guixingren123)

许多年轻一代都是ACG(动画,漫画和游戏)死硬。在社交网络上,经常会看到动画角色的化身,因为对于这些用户来说,共同的爱好是他们识别对方并改善沟通的有效方式。

首先,只有少数流行的动漫作品,并且经常发生事故。除了帐户所有者的性别,头像是一个可爱的女孩,时间很长,无法辨认。每当我在互联网上阅读帖子时,就像看着一堆动漫角色互相评论.

d1eb-iaxiufn2592701.jpg

我们都知道,基于神经网络的AI近年来发展非常迅速。其中之一称为风格转移。简单来说,就是让图片A得到图片B的风格,但仍然具有明显的A特征。

有了这项技术,ACG爱好者也可以让他们的头像具有动漫风格。但效果仍然不太令人满意,看起来它是用刷子和颜色刷脸:

df9a-iaxiufn2592777.jpg

这种移植风格实际上与初衷有点相反:许多人为了可爱而使用动漫头像,但最终输出看起来并不可爱。

但是,ACG爱好者不会停止!

一组韩国AI研究人员最近发表了一篇论文,展示了他们在图像到图像翻译方面的重要进展。

他们取得的效果似乎更像是找到一位严肃地重新制作原始照片的漫画家,超越了所有现有的化身漫画技术:

e6ce-iaxiufn2592812.jpg

红色框表示原始图像(a)和输出结果(e)。输出化身不仅更接近我们在动画中经常看到的图像,而且还具有高度的可识别性。

基于无监督学习方法和生成对抗网络(GAN)的架构,研究人员添加了一个新的注意模块,并发明了一个名为“自适应层 - 实例规范化”(Ada LIN)的模型。归一化机制已经形成了一个全新的神经网络。

该研究被命名为U-GAT-IT:无监督生成注意网络,具有用于图像到图像的自适应层实例标准化[1]。

正是由于研究人员设计的新的注意力和规范化机制,我们可以从输出中看到,这个神经网络以不同的方式处理不同的特征。

放大的特征,如眼睛,被放大了;减少的特征,如鼻子和嘴巴,也减少了;至于其他功能,如发型,头发颜色,肤色,甚至面部阴影,也有相当准确的减少。

2836-iaxiufn2592857.jpg下图显示了针对网络生成的此生成器和鉴别器的体系结构:

6d4c-iaxiufn2592898.jpg

ebb1-iaxiufn2592931.jpg

背景映射到输出;它们开发了可用于原始图像的注意力和归一化机制。目标样式图引起了注意,然后将模型引导到不同区域和特征的不同重建。

换句话说,这个新模型可以理解动漫化身必须有大眼睛,更多线形头发,更有活力的头发颜色和赭石。它将根据这些原则进行翻译(取自输入参考头像)。

研究人员在论文中提到,他们的模型在简单的样式迁移的基础上迈出了新的一步,具有转换(对象变形)的能力。

他们发明了自适应层实例归一化机制Ada LIN,并且还有其他优点,例如可调性,研究人员可以分别调整Layer和Instance以在输出中实现不同程度的输出。形状和材料的变化。

如下图所示,从第三个到第六个,通过调整规范化机制可以得到不同的结果:

912f-iaxiufn2592973.jpg

在文本翻译中,输出必须符合对象语言的语法,使用习惯等。在图像到图像转换中也是如此。你可以理解这一点:以前的风格迁移只是在进行“直译”,U-GAT-IT在“Xinda Ya”中取得了突破。

该技术的另一个重要特征是能够对几乎任何类型的照片(动物,宠物脸,风景)进行精确的图像翻译,而无需对神经网络的参数进行任何调整:

be97-iaxiufn2593068.jpg该论文的第一作者是Junho Kim:

ff39-iaxiufn2593104.jpg

值得一提的是,包括Kim在内的三位作者来自NCsoft,这是一家韩国游戏公司,被称为游戏行业的“金色双重英雄”之一;另一位作者来自波音韩国工程技术中心。

由NCsoft《天堂》(Lineage1& 2)开发的旧在线游戏于1998年推出,并在包括中国在内的许多国家连续运营了21年,以及《永恒之塔》等多个知名游戏。但事实上,鲜为人知的是,NCsoft也是韩国人工智能研究和开发领域最激进的公司之一。

根据《韩国时报报道》,NCsoft于2011年成立了专门的研发团队,目前运营着两个独立的研究机构,即人工智能中心和自然语言处理中心。前者负责游戏AI,语音识别和计算机视觉,后者则侧重于语言理解和知识系统。

327f-iaxiufn2593148.jpg公司活动中NCsoft人工智能中心和自然语言处理中心负责人

两个中心的负责人直接管理公司的创始人兼首席执行官金泽臣。员工总数约为160人,今年将增加到约300人。

NCsoft深度学习的主要目的是将相关技术引入游戏和服务。目前,该公司正在使用AI来检测插件并根据玩家的游戏习惯和兴趣数据定制服务。

本文中提到的技术将极大地改善玩家的游戏体验。也许你不需要在将来捏你的脸,只需上传头像,你就可以生成一个准确的卡通游戏角色。

7758-iaxiufn2593199.jpg

波音去年刚刚在韩国建立了一个工程技术中心。其主要研究兴趣包括自动化,人工智能,航空电子和数据分析。该组织的技术人员主要来自韩国的知名大学和科技公司。

目前,没有可用于此技术的演示,但如果您熟悉TensorFlow,则可以浏览GitHub上的代码[2]或阅读原始文本并按照说明在您的计算机上运行

[1] U-GAT-IT:具有自适应层实例规范化的无监督的遗传注意网络,用于图像到图像的转换

[2

rTya-fynmzun0700720.jpg