用技术致敬每一位妈妈,B站up主用AI还原李焕英老照片动态影像

  2021-02-24

春节档上映的《你好,李焕英》让不少人在影院哭得稀里哗啦,它戳中了每个人心里最柔软的部分。有人看完电影之后会给妈妈打个电话,有人会拿出妈妈年轻时的照片,感叹一下爸爸的基因为什么要那么强大。

B站知名up主也是《你好,李焕英》的影迷之一,不过他做了一点不一样的事情:尝试用一系列AI技术修复了李焕英年轻时的黑白照片,不仅给照片上了色、提高了分辨率,还让照片中的人物动了起来。


1614135439224870.jpg

原始黑白照片。

42.gif

修复后的动态彩色照片


整个修复的流程并不复杂,涉及AI色彩还原、AI清晰度增强、脸部精修、手绘微调等过程:


43.gif

44.gif

45.gif

最终的修复效果如下:

46.gif


不过,由于还原场景动态与上色是基于AI技术生成,具有一定的想象元素,因此不等于准确还原。


为了帮助大家掌握这项技能,还公布了两个开源项目:飞桨PaddleGAN和DFDNet。


飞桨PaddleGAN


GAN的全称是生成对抗网络,被「卷积网络之父」Yann LeCun(杨立昆)誉为「过去十年计算机科学领域最有趣的想法之一」,是近年来火遍全网、AI研究者最为关注的深度学习算法方向之一。


GAN在诸多领域都有着成功的应用,如图像生成 / 修复、超分辨率、图像噪声消除、换装 / 妆、图像风格迁移、文字 / 声音生成等,覆盖互联网、娱乐、游戏等各个行业。


为了给开发者提供经典及前沿的生成对抗网络高性能实现,并支撑开发者快速构建、训练及部署生成对抗网络,百度飞桨打造了一个图像生成模型库——PaddleGAN,覆盖 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等经典 GAN 模型,支持视频插帧、超分辨率、老照片 / 视频上色、视频动作生成等应用。


除了上面展示的视频修复,PaddleGAN 还能提供各类不同的图形影像生成、处理能力。人脸属性编辑能力能够在人脸识别和人脸生成基础上,操纵面部图像的单个或多个属性,实现换妆、变老、变年轻、变换性别、发色等,使得一键换脸成为可能 *;* 动作迁移能够实现肢体动作变换、人脸表情动作迁移等。


DFDNet

近年来,基于参考的人脸修复方法已经受到了很多关注,但这些方法大多需要来自相同身份的高质量的参考图像,因此只适用于有限的场景。为了解决这一问题,来自哈尔滨工业大学、香港大学等机构的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一种名为深度人脸字典网络(deep face dictionary network,DFDNet)的方法来指导退化观测(dgraded observation 的修复过程。


首先,作者使用 K-means,利用高质量图像为感知显著的人脸部位(如左 / 右眼、鼻子和嘴)生成深度字典。接下来,利用退化输入(degraded input),研究者从相应的字典中匹配和选择最相似的部位特征,并通过提出的字典特征迁移块(DFT)将高质量的细节迁移到输入上。最后,利用多尺度字典逐步实现从粗粒度到细粒度的修复。


实验结果表明,作者提出的方法在定性和定量评估中都能实现合理的性能。更加重要的是,该方法可以在不需要 identity-belonging 参考的情况下,利用真实的退化图像(degraded image)生成逼真、有前景的结果。


该网络的基本结构如下:


1614136094730593.png

1614136168550416.png


网络主要包含两个部分:a.从大量包含各种姿态和表情的高质量图像中离线生成多尺度组件字典。这部分使用K-means算法为每个部位(即左 / 右眼、鼻子和嘴)在不同尺度上生成K个簇;b.修复过程和字典特征迁移(DFT)块,用于以渐进的方式提供参考细节。



免责声明:本文来自网络,不代表中宜云控互联网科技股份有限公司的观点和立场



云服务   免费啦

即日起,凡新注册用户均可免费试用7天(基础配置)

免费试用