马赛克秒变没!杜克大学推AI图像生成器,糊图像5秒变清晰

发布时间:2020-06-30    来源:智能制造网    浏览量:0

  近日,杜克大学的研究团队研发了一个AI图像生成模型PULSE。PULSE可以在5秒钟内将低分辨率的人像转换成清晰、逼真的人像。
 
  要指出的是,PULSE所做的工作并不是把输入的低分辨率人像变成一张高分辨率的人像,而是“一对多”地输出许多张面部细节各不相同的高分辨率人像。比如,用户输入一张16*16分辨率的图像,PULSE可输出一组1024*1024分辨率的图像。
 
  这项研究于本月在计算机视觉与模式识别顶会CVPR 2020上发表,论文标题为《PULSE:通过对生成模型的潜在空间探索实现自监督照片上采样(PULSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models)》。
 
  一、PULSE:能为天文学/医学提供参考
 
  在好莱坞间谍电影中,肩负拯救世界重任的特工常常采用高科技手段、把一张模糊的凶犯照片还原成清晰的人脸照片。现实中,许多研究人员致力于用AI技术使电影中的炫酷场景成真。但是,现有AI模型的性能普遍较差,生成的人脸图像往往与照片主人公的真实长相并不相似。
 
  杜克大学计算机科学专业教授Cynthia Rudin指出,这是因为低像素图像中的信息较少,AI模型无法准确地“补足”缺失信息、进而还原出清晰人脸图像。因此,用AI技术对模糊人像进行面部识别十分困难。
 
  Rudin团队认为,虽然不能用于模糊人像的面部识别,但是这类AI模型可以作为一种分类和探索工具,用于天文学、医学等难以获得清晰图像的领域。也就是说,基于模糊图像中缺失信息的各种可能性,AI模型可以生成许多清晰的图像,生成的多种图像可以为天文学、医学等领域研究人员提供参考。
 
  基于这种设想,杜克大学研究人员研发了基于生成式对抗网络(GAN)的图像超分辨率模型PULSE。PULSE模型基于NVIDIA的StyleGAN算法进行开发。
 
  二、降尺度损失方法:用生成图像“倒推”模糊图,相似才能输出
 
  为了保证输出图像与输入图像的“对应性”,研究人员在PULSE模型中应用了一种“降尺度损失(downscaling loss)”方法。
 
  当PULSE模型的生成网络提议以一张清晰图像作为输出时,判别网络会把这张清晰图像的分辨率降低到与输入图像相等的水平。然后,判别网络会对比降尺度损失图像与输入图像之间的相似性。
 
  只有在降尺度损失图像与输入图像相似性较高时,判别网络才会判定生成网络提议的清晰图片可以作为输出。
 
  三、40位评估者参与打分,PULSE模型MOS得分最高
 
  研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比,研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。
 
  所有模型均以16*16分辨率的图像作为输入,BICBIC、FSRNET和FSRGAN模型以128*128分辨率图像作为输出,PULSE模型以128*128分辨率图像和1024*1024分辨率图像作为输出。
 
  评估结果显示,图像质量方面,PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。
 
  接下来,研究人员用平均意见分数(MOS)测试来定量评估模型的分辨率。研究人员应用6个模型生成128*128分辨率的图像,邀请40位评估者对6个模型的输出结果进行打分。
 
  用于对比的模型分别是:HR、Nearest、Bicubic、FSRNet、FSRGAN。
 
  结果显示,PULSE的MOS分数最高,为3.60,即评估者认为PULSE模型生成的图像分辨率最高。
 
  结语:代码已在GitHub开源,用户担忧种族偏见
 
  本项研究中,杜克大学研发的PULSE模型能够基于一张模糊的人像,生成多张面部细节不同的清晰人像,为使用者提供一个可能的参考范围。目前,研究团队已将模型代码在GitHub开源,鼓励其他开发者进行实验。
 
  研究人员称,在未来,PULSE或可被用于天文学、医学等领域。比如,一位天文学研究人员可以输入一张模糊的黑洞图像,并获得许多可能的天体照片。
 
  同时,也有人对PULSE的种族偏见问题表示担忧。有Twitter用户爆料称,其在PULSE模型中输入深肤色种族(比如奥巴马的照片)的人脸照片后,PULSE输出了白人的照片。研究人员称,目前他们正尝试通过引入更广泛的数据集解决这一问题。
文章链接:智能制造网 https://www.gkzhan.com/news/detail/125087.html

责任编辑:蒋林佚

新闻搜索

本网站是服务于中国中小企业的政府公益性网站,因部分信息来源于网络,如有侵权请来邮、来电告知,本站将立即改正。

指导单位: 河南省工业和信息化厅

承办单位: 河南中小在线信息服务有限公司 豫ICP备17042489号

联系方式:0371-65749597 电子邮箱:65749597@163.com