人工智能滤镜一度翻轰朋友圈，Prisma、电影《你的名字》同款滤镜都是如此，但人工智能在图像方面的进展远不止这些。除了打造出“艺术滤镜”，人工智能还可以协助用户根据必须分解图片、减少纹理、对原本像素很差的图片展开超强分辨率处置，幸你沦为“画家”。其中中用的技术也与最近很火的“分解对付网络”（GANs）有关。
本期公开课，(公众号：)请来了图普科技机器学习工程师Vincent 为大家揭露 AI 可以幸你沦为“画家”的秘密。Vincent 曾在英国求学两年，回国后重新加入图普，兼任机器学习工程师一职，参予图普多个产品的研发工作，发誓要做深度自学做到杀。嘉宾讲解：Vincent，图普科技机器学习工程师，主要专门从事工业级深度自学算法的研发。
曾任摩根大通欧洲技术中心分析师，IBM爱丁堡办公室软件工程师。熟知自然语言处置（文本分类，语言模型等），图像切换（艺术滤镜、图片上色等）和分类算法。
以下内容章整理自公开课共享。｜深度神经网络在图像识别领域的进展自从 2012 年 Alexnet 横空出世，乘势勇夺 ImageNet 图片分类大赛冠军之后，深度自学一飞冲天，以卷积网络派的深度神经网络大大创下各种计算机视觉任务的State-of –the-art。
过去四五年间，我们可以看见学术界大大地研发出有各种有所不同结构的卷积神经网络，而且，这些结构并某种程度是在 Alexnet 的基础上加剧层数，而是合为一派，各有所长。本次公开课重点共享三种神经网络结构：Network in Network（NIN，网络中的网络）：卷积网络是一种线性操作者，非线性的展现出能力受限，NIN 的研发者设计了相比传统的卷积网络更加简单的操作者 —— MLPconv，后用 Global average pooling 很大的改良了卷积网络的大小。
VGG 和 GoogLeNet（inception_v1）：二者是 2014 年 ImageNet 竞赛的双雄。VGG 的设计理念，全部都用了3x3卷积，减少了网络的深度。GoogLeNet 归属于Google 的 Inception 系由列，用了较为花式的网络设计，目的增加网络的运算量，减缓训练。Resnet（深度残差网络）：根据无限迫近定理（Universal Approximation Theorem），我们可以用一个一层的神经网络来构建给定的维到维的同构，但网络的荐数量（网络的宽度）不会随着问题复杂度的减少显得十分大，而减少网络的深度则可以让我们用较少的荐数量构建某种程度的同构。
但是，随着神经网络层数的加剧，它们的训练也不会显得更加艰难，因为在训练时会经常出现梯度消失的状况。Resnet 很好的解决问题了这个问题，让训练约1000多层的神经网络显得有可能。除了图片分类，以 RCNN 系由列派的神经网络技术在物体检测任务上也获得了重大进展，将近年来也经常出现了速度更慢（YOLO），效果更佳的算法（SSD）。
最近很火的 GAN 是一个训练框架，在 GAN 经常出现之前， 分解模型的训练是一件比较较艰难的事情，GAN 经常出现后，分解模型训练的效率大大提高。GAN的应用于大部分也是分解模型的应用于，用来分解图片、音乐、文字等。但是对付训练对训练判断模型也是有十分大的协助的，因为虽然有非线性的转录函数，但深度网络仍然是高度线性的，不会对误差展开积累，积累的误差结果通过肉眼辨别不出来，但是可以从卷积网络中显现出。但与普通线性模型有所不同，深度神经网络可以数值对付训练可以很好的解决问题这个问题，解决问题方式是分解对付样本，使得网络对对付样本的容忍性更加强劲些。
GAN这一两年来产生了许多十分有意思的应用于，其中还包括上期公开课中冯佳时博士提及的超强分辨率，目的把低分辨率的图片缩放，而尽可能不想其清晰度不受影响。｜纹理切换近几个月较为火的纹理切换也就是所谓的图片风格化，在深度自学之前，这也是一个十分艰难的问题。其本质原因在于之前非深度自学的方法不能提供到目标图片低层次的图片特征，这造成这些方法无法独立国家的对图片的语义内容和风格的变化入行有效地建模，从而无法很好地对两者展开解法耦和制备。
风格化算法现在更替了两代。第一代风格化算法：Neural Style2015年的时候，德国图宾根大学的学者们明确提出了一种用深度神经网络各层的号召来传达图片的风格和内容的办法，方法可总结为：准备好在 ImageNet 数据集上训练好的 VGG 网络，然后挑选其中的某些层作为风格语义的萃取层，某些层作为内容语义的萃取层；用这个训练好的VGG萃取风格图片代表风格的高层语义信息，明确为，把风格图片作为VGG的输出，然后萃取在风格语义挑选层转录值的格拉姆矩阵（Gramian Matrix）。值得一提的是，格拉姆矩阵的数学意义使得其可以很好地捕猎转录值之间的相关性，所以能很好地展现出图片的风格特征；用VGG萃取被风格化图片代表内容的高层语义信息，明确为，把该图片作为VGG的输出，然后萃取内容语义萃取层的转录值。
这个方法很好地利用了卷积神经网络的性质，既捕猎了图片元素的结构信息，又对细节有一定的容错度；随机初始化一张图片，然后用2，3讲解的方法萃取其风格，内容特征，然后将它们分别与风格图片的风格特征，内容图片的内容特征相加，再行按一定的权重相乘，作为优化的目标函数。维持VGG的权重不不逆，必要对初始化的图⽚做到梯度上升，以后目标函数降到一个较为小的值。这个方法的风格化效果愤慨了学术界，但它的缺点也是显而易见的，由于这种风格化方式本质上是一个利用梯度上升递归优化的过程，所以尽管其效果不不拢，但是风格化的速度较快，处置一张图片在GPU上大约必须十几秒。deepart.io这个网站就是运用这个技术来展开图片纹理切换的。
第二代风格化算法：Fast Neural Style有了可以解法耦图片风格和内容的方式，我们就能训练一个末端到端的网络，使得我们只必须做到一次前向，就能获得风格化图片。因此分解图片大约的步骤是，根据转化成的网络获得输入，输入至 VGG 网络，萃取风格特征后，跟风格图片的特质做到较为，内容图片的特征也不会被萃取，跟内容图片做到较为。这种算法的有点是速度快，可以在GPU上做动态分解。
去年年中疯狂全世界的 Prisma，背后就是这个技术。但这个技术还是有缺陷的，比如由于卷积网络固有的性质，它无法像手动绘图一样对图片的细节展开精挑细选的处置，所以它看起来一个豪迈的印象派画家，对一些对细节拒绝较为低的任务，比如人物的动漫化，这种方式是不过于合适的。
所以，前段时间⽐较东流行的《你的名字》同款滤镜所用到的技术跟Prisma 并不一样，我们猜测这个滤镜不是末端到端的，而是不会再行对原图做到像素拆分，找到有可能是天空的部分，然后再加新的海诚特色的云，其他部分则不会做到一些滤镜化处置。纹理切换的另外一个十分有意思的应用于是Neural Doodle，运用这个技术，我们可以让三岁的小孩子都只能地像毕加索一样沦为绘画大师。这个技术本质上只不过就是先对一幅世界名画（比如皮埃尔-奥古斯特·雷诺阿的Bank of a River）做到一个像素拆分，得出结论它的语义图，让神经网络自学每个区域的风格。
然后，我们只必须像小孩子一样在这个语义图上面涂鸦（比如，我们想在图片的中间画一条河，在右上方画一棵树），神经网络就能根据语义图上的区域图形它，最后得出结论一幅印象派的大作。大家如果有注目 AI 领域信息的话，有可能也告诉 Facebook 宣告了他们的 caffe2go 框架，并展出了他们在手机上的动态风格化视频，这项成果意义根本性，主要反映在可以在手机末端十分有效率的运营人工智能的算法，把有意思的人工智能技术构建到你的手掌心。例如现在直播或视频中可以在人脸上加到各种甜美小动物表情的技术也是人工智能的技术，其主要运用了人脸关键点检测技术。
构建视频风格化的难题在于：像图像风格化这样的重型应用于，如果要在手机上做动态效果，必须有十分多工程上的优化和算法方面，在尽可能不影响效果的前提下增加网络的荐数量；⽐起单图片风格化，视频风格化必须考量的东西不会更多，分开对视频的每一帧展开处置，不考虑到帧与帧之间的关联，不会导致风格化的视频晃动和不协商。｜黑白照片上色最后一个要讲解的技术为黑白照片上色（Colourful Image Colourization），想象一下，如果人工智能出众地已完成这个任务，我们之后可以用它来为老照片，老电影增色，只能地为漫画上色了。本次公开课我会主要讲解去年 ECCV 里加州大学伯克利分校的一篇文章讲解的方法。
这个方法与之前方法的不同之一处在于，它把照片上色看作是一个分类问题——预测三百多种颜色在图片每一个像素点上的概率分布。这种方法tackle了这个任务本身的不确定性，例如，当你看见一个黑白的苹果时，你可能会实在它是红色的，但如果这个苹果是青色的，只不过也并没多少违和感。
大家也可以到作者的网站网站来试用他们的demo。这篇文章里面讲解的方法有两个十分最重要的trick：颜色轻均衡（Class rebalancing）我们都告诉，各个颜色在全世界所有彩色照片里面的产于是不一样的。比如，大部分照片里面可能会有天空，墙壁，草地等。
论文作者得出了 ImageNet 数据集中于颜色的产于，可以显现出，如果用 LAB 的方式来回应图片(L 地下通道为像素的亮度，AB 地下通道回应颜色)，ab值较为较低的颜色经常出现的频率远高于其他颜色。如果不考虑到这个问题，我们的目标函数不会对 ab 值⽐较为低的颜色极为不脆弱。所以，论文作者明确提出了了一种方法——在训练时让每一个像素点乘上一个系数，系数的大小与该像素点 ab 值的产于有关。
运用这个trick，输入图片的颜色不会更加有多样性，更加相似现实的图片。从概率分布得出结论预测颜色值（Point estimate）我们告诉，这个网络的输入是各个像素点ab值的概率分布，那么我们如何去通过这个概率分布得出结论这个ab值呢？当然，我们可以必要自由选择概率仅次于的值作为我们的 prediction，这种作法下输入图片的颜色不会更为艳丽，但很多时候不会有不大自然的patch经常出现。另外一种作法是，所取这个概率分布的均值作为prediction，这不会造成我们的输入图片对比度非常低。
作者在这篇文章里明确提出了一个折衷的作法：我们可以调整Softmax 函数的 temperature，然后再求新的概率分布的均值。这篇文章讲解的方法虽然效果很好，但它还是有缺陷的。
比如，对狗的图片上色时，即使它没张开舌头，神经网络总是不会“想象”它张开了，然后在鼻子下面的一小块区域涂抹上红色。而且，上色后的图片有时不会经常出现一小块高耸的 patch。
以上讲解的几个技术都并不是极致的，但是瑕不掩瑜，我们能借此看见深度自学的潜力，明白它能做到的相比之下好比是分类和检测。我坚信随着社会对深度自学的热情更加大，更加多有意思的成果不会不折断产生。如果你实在以上的技术很棒，那我确保，你的吃惊才刚刚开始。｜有关产品化的思维当然，要把学术界的成果应用于到工业界只不过并不是一件怀易的事情。
我们做到机器学习的都告诉一个知名的定理叫No Free Lunch Theorem，它说道的就是，我们并不有可能寻找对所有问题都拟合的算法。在ImageNet数据集上展现出最差的算法，在工业级可观、简单、多变的数据上不一定就不会展现出好。所以我们也根据各个客户数据分布的不同做到了很多特定的优化。比如我们在为映客获取审查服务，直播场景本身就十分多样和简单，我们找到当直播视频界面经常出现大量用手机或者电脑等电子产品播出另一个界面的内容，比较整个图片来说，内容呈现出部分所占到比例较小且十分模糊不清、不显著，当经常出现色情、暴恐等不良信息的时候，人工以及标准化的审查模型无法精准辨识，失误、漏被判的概率较高。
于是我们必须针对这个问题明确优化，针对画中画的数据再行做到辨识，然后再行调用普通的审查模型。图普的产品目前早已在多个行业领域获得很好的应用于，但它们继续不能在一定程度上增加大部分审查人力，无法几乎替代人工。这一轮融资过后，我们将增大在服务和计算能力方面的投放，提高产品运营速度和鲁棒性；在算法方面，之后提升图像识别准确率和解任亲率，我们的愿景是几乎和平审查人力，我们也将往审查之外的其他方向扩展业务，如人脸识别，增强现实等，获取更必要，高效和多样化的任务。
原创文章，予以许可禁令刊登。下文闻刊登须知。
本文来源：365完美体育app官网-www.hjydszl.com
