趁着中国版 Prisma 的发布，我们今天复盘一下深度学习的图像应用。

 

把计算机 “调教” 成梵高

 

似乎欧洲国家对艺术这件事比其他地区更有群众基础。早在 2016 年 Prisma 大火的一年之前，就有三个德国研究员想把计算机调教成梵高。

 

这三个研究员名字分别叫做莱昂 · 盖提斯(Leon Gatys)，亚历山大 · 埃克(Alexander Ecker)和马蒂亚斯 · 贝特格(Matthias Bethge)，来自德国图宾根大学(University of Tübingen)的 Bethge 实验室。他们研发了一种算法，模拟人类视觉的处理方式。具体是通过训练多层卷积神经网络(CNN)，让计算机识别，并学会梵高的 “风格”、然后将任何一张普通的照片变成梵高的《星空》。

 

Deep Art 首页贴出得到一张 “梵高风格” 图片的步骤。第一步，吸收用户拍摄的照片。第二步，让计算机学会星空图的风格。第三步，计算机输出自己做的“新画”。

 

在人类的视觉系统中，从眼睛看到一件实体，到在脑中形成图像的概念，中间经历了无数层神经元的传递。底层的神经元获取到的信息是具体的，越到高层越抽象。

 

这三个德国人发现，如果用计算机模拟这个网络，将每一层的结构分析出来，能看到：在采样过程中，底层网络对于图像的细节表达得特别清楚，越到高层像素保留得越少，轮廓信息越多。

 

所谓深度学习(Deep Learning)中的 “深度(Deep)” 即意为层数。神经网络的每一层都会对图片特征进行提取，而 “艺术风格” 则是各层提取结果的叠加。

 

这三个德国人把他们的上述发现写成了两篇论文：《艺术风格的神经算法(A Neural Algorithm of Artistic Style)》，和《利用神经卷积网络进行纹理合成(Texture Synthesis Using Convolutional Neural Networks)》，在学术圈引起极大的讨论。

 

 “起初，我们只是想创造一个关于神经科学的新鲜事物。而艺术人工神经网络的状态与人类的视觉系统有颇多相似之处。所以后来我们觉得，可以对图片做更有趣的处理。” 莱昂 · 盖提斯对深蓝 Deeper Blue 说。

 

论文发表后不久，他们便建立了一家名为 Deep Art 的初创公司，着手实现他们在论文里提出的想法。

 

 

 

Deep Art 网站，图像制作界面。Deep Art 提供多种艺术风格选项，图像制作完成后需发至用户邮箱。图片来源： https://deepart.io/hire/

 

用户在 Deep Art 网页上上传自己的照片，然后通过 Deep Art 提供的 “机器人梵高” 进行新画创作。整个过程需要等待几个小时让计算机进行数据运算和处理。用户可以选择清晰程度不等的作品。用户可以花上 19 欧买一张适合明信片用的作品，或者多掏 100 欧，买一张大尺寸油画级别的。

 

莱昂 · 盖提斯们做的事情并不是美图秀秀的滤镜。在 Deep Art 出来之前，已经有很多致敬莫奈与梵高的滤镜类应用，但核心原理和 Deep Art 完全不同，比如 2010 年上架的 Mobile Monet， Van Gogh Camera 。

 

 

 

Camera Monet 与 Van Gogh Camera的界面展示。这两款滤镜软件，都能讲用户照片渲染成某种艺术效果。但核心原理和Deep Art使用的卷积神经网络完全不同。(深蓝制图)。

 

如果我们将同一张图片放入 Van Gogh Camera 中，Van Gogh Camera 会按照程序员事先内置的 “公式”，计算图中每一个像素点，最后输出一张梵高风格的照片。但只要我们想将图片风格从梵高换到毕加索，程序员就必须重新写一套代码，更改计算 “公式”。

 

而在 Deep Art 中，编写 “公式” 的程序员是卷积神经网络(CNN)，只需输入梵高的《星空》，卷积神经网络便能自动提取这幅画作的风格特征，并量化成具体公式。也就是说，艺术史上所有的作品都能作为滤镜来源。

 

“卷积神经网络可以被看做是一个机器艺术家。” 莱昂 · 盖提斯说。

 

从德国到俄罗斯

 

2016 年年初，俄罗斯计算机工程师阿列克谢 · 莫伊谢延科夫(Alexei Moiseyenkov)读到了这三个德国人的论文。他敏锐地嗅到，德国人做的远远不够，这项技术在消费级市场仍是一片空白。

 

随后他组建了一个四人团队，研发了 Prisma，力求做到：免费，更快，更简单。“ 两个月研究数学模型，一个半月开发。” 莫伊谢延科夫说。

 

“ Prisma 第一次将这项技术成功商业化。他们充分考虑了智能手机覆盖率的飞速增长，并且细致研究了用户行为。Prisma 接入的是以亿数量级的市场。” 《莫斯科时报》这样报道他们：“ 谁抓住了用户需求，谁就能成为亿万富翁。”

 

Prisma 的横空出世，算是俄罗斯互联网圈子少有的高光时刻。2016年6月中旬，这款应用刚在 iOS 上发布，15 天内下载量 750 万，火遍四十个国家。

 

巨大的成功甚至让开发团队措手不及，不得不以每天扩大一倍的速度提升服务器处理能力。

 

“看起来，整个俄罗斯都被我们征服了。” 莫伊谢延科夫随后在 Facebook 上写下了这句话。8 月 2 日，Prisma 全球范围内已获得超过 5000 万用户。

 

 

 

坐拥 2300 万粉丝的俄国总统梅德韦杰夫也成为 Prisma 的用户。他在 Instgram 上晒出一张 Prisma 作品，迅速获得 8.7 万个赞。

 

Prisma 比 Deep Art 先进的地方在于，它大大缩短了图像处理的时间。在用户还没有达到十几亿数量级的时候，每张照片在 Prisma 系统内的处理时间只有 20 秒。其次，Prisma 是一款免费手机应用，相比网页版的 Deep Art， 无疑具有更多的用户基数。

 

20秒，全球的某个角落，一个用户上传照片，他的照片被传送到位于莫斯科的服务器上，Prisma利用人工智能和神经网络进行处理，然后经 “风格化” 后的图片再返回用户手机。

 

这个速度在业内是顶级的。为什么这么快?

 

“一定是下了血本，”一位来自国内著名人脸识别技术公司的工程师告诉深蓝 Deeper Blue，“在我当时搭建的框架之下，用普通笔记本的计算能力，做一张这样的图有可能需要几个小时。”

 

德国人莱昂 · 盖提斯则对深蓝 DeeperBlue 猜测道：“我认为他们训练了一个前馈神经网络来制造图片。”

 

 

“Prisma 没有完全依赖机器学习，而是对一些关键的内容加以控制。”一位业内人士则对深蓝 Deeper Blue 说，“例如，在海量的用户上传内容中，一定有相当一部分比例是人像，而相对于原始算法，Prisma 对面部细节的处理似乎更胜一筹，也许他们专门加入了对面部的识别和控制。”

 

据莫伊谢延科夫自己介绍，Prisma 一共用了三组神经网络，它们分工明确：两组神经网络负责的风格提取和照片制作，还有一组神经网络作为后台，为整个计算过程加速。

 

相比之下，Deep Art 更像是精工细作的手艺人。莱昂 · 盖提斯认为自家的原始算法虽然慢一些，但在细节表现力上更胜一筹—— “是真正的艺术品。” Deepart.io 提供的收费高分辨率大图，堪比一副挂在博物馆墙上的画。

 

 

Deep Art 主页上，关于作品定价的界面展示。图片来源：https://deepart.io/pricing/

 

“他们的风格化工作比最初的工作要弱了些，我认为他们是做了一些较低级别的图片处理，以掩盖风格化的不足，例如，加强了边缘的表现。” 莱昂 · 盖提斯对深蓝 Deeper Blue 说，他认为 Prisma 牺牲了艺术质量而求速度。