首页 > 资讯
快讯丨MIT与谷歌开发新系统 可以在手机上美化图片
众创网2017-08-03

新浪科技讯 北京时间8月2日消息,今天,数码相机捕捉的数据往往只是生成最终照片的原始数据。在我们将照片传到社交网络之前,即使只是普通的手机摄影师,也会花1分钟或者2分钟调节色彩和对比度,用图片处理软件处理,现在市场上有很多这样的软件。

在本周举办的Siggraph会议上,麻省理工学院(MIT)计算机科学与AI实验室和谷歌的研究人员展示了一套新系统,它可以自动按专业摄像师的处理方式润饰图片。系统相当节能,可以在手机上运行,处理速度很快,可以实时显示润饰的图片,这样一来摄影师可以一边拍摄一边查看最终图像。

MIT与谷歌合作

不只如此,这套系统还可以让现有的图像处理算法加速运行。谷歌有一套算法可以生成HDR图像,在标准数字图片中有些色彩细节会丢失,谷歌算法却可以捕捉到细节,研究人员在测试中发现,新系统生成的图像与谷歌算法生成的图像很难区分,但所用的时间只有十分之一,速度足够快,完全可以实时显示。

MIT与谷歌开发的系统是一套机器学习系统,也就是说它可以通过分析训练数据不断学习,提高完成任务的技能。在MIT系统中,每一次学习新任务都要用几千对图片进行训练,包括原始图片和润饰图片。

系统是根据MIT研究人员之前从事的项目开发的,在之前的项目中,研究人员用手机将低分辨率图片发送到网络服务器,服务器发回“转化方案”,用它就可以在手机上对高清版本的图片进行润饰,这样就可以降低带宽要求。

MIT电子工程、计算机科学研究生迈克尔·加哈比(Micha?l Gharbi)说:“谷歌听到了我们在做这样的研究,他们自己也跟着研究,我们见了面,将两套方案整合在一起。总的构想是这样的:要做我们之前所做的所有事,但是必须在云端处理一切,不断学习。学习的第一目标就是加快速度。”

两种关键技术

在新系统中,大量的图片处理任务是用低分辨率图片完成的,这样就可以大大缩短时间,降低能耗。采用新方法带来许多困难,因为机器学习系统输出的结果粗糙很多,新技术必须从粗糙结果推断出高清图像单个像素的颜色数值。

以前,研究人员尝试让机器学习系统学会一门技巧:增强低分辨率图片,系统会猜测遗漏像素的数值,然后提升分辨率。在训练时,研究人员向系统输入低分辨率图片,最终输出的却是高分辨率图片。方法看起来很好,但在实际应用中效果不好,为什么?因为低分辨率图片丢掉太多的数据。

加哈比与同事用两种技术解决此问题。首先,机器学习系统输出的结果不是图片,而是一组简单的公式,它可以对图片的像素色彩进行修改。在训练时,系统的性能如何由输出公式的表现来决定。

如何将公式应用于高分辨率图片的单个像素?那就要靠第二项关键技术。研究系统输出的是3D网络,16x16x8。网络16x16的一面对应原图像的像素位置,上面会堆叠共8层,它们对应不同的像素强度。每个网格单元都会有一个公式,它决定如何对源图像的色彩数值进行修改。

在网络16x16的一面有许多单元,每一个单元代表高清图片的几千个像素。假设每一组公式对应单元中央的一个位置,那么方块内每一个高清像素都是由四组公式决定的。

简单来说,该像素的色彩数值如何修改由方块四角的公式组合之后决定,它会根据距离判断。网络的第三维也这是样判断的,也就是对应像素强度的那一面。

速度大幅提升

研究人员用Durand和Adobe的数据集训练系统。数据包括5000张图片,每一张都由5位摄像师润饰过。然后研究人员用几千张配对图片训练系统,这些图片是用流行图片处理算法生成的,比如当中有一套算法专门生成HDR图片。软件处理图片时占用的内存空间与一张数码照片差不多,因此我们可以将软件装进手机,用手机将图片处理成各种风格。

最后,研究人员将还将自己的系统与其它机器学习系统对比,其它机器学习系统处理高分辨率图片,不是低分辨率。在处理过程中,全分辨率图片需要12GB的内存执行操作,而研究人员的新系统只要100MB左右,相当于1/100。全分辨率HDR系统的处理时间相当于原始算法的10倍,相当于MIT系统的100倍。

阅读:
分享
用微信扫描二维码分享
请点击右上角分享给微信朋友或朋友圈