|
AI修复的林青霞猝不及防上了热搜。
网友们纷纷感叹好美好有气质，甚至还有人起哄说道：“赶紧把7080年代的时候的港台男女明星都修复一下，那时候颜值基本上个个都赏心悦目。”
图像修复术与一键磨皮不同
在一片拜倒、赞美的声浪中，也有网友提出了疑问：“这就是一键磨皮”？
尽管修复老照片，一键磨皮，都利用了卷积神经网络，但二者并不一样。
修复老照片是利用AI算法替代图像数据中缺失或者损坏的部分。而一键磨皮是在保护头发、眼睛等细节部位外，其它部位进行模糊处理，相当于是一种粗糙的去噪声的方式，并不能很好的去除模糊和提升清晰度。
常用的磨皮算法包括均值模糊、高斯模糊、中值滤波等，它们的去噪效果很好，但视觉效果太差。效果比较好的去噪算法是双边滤波算法。
一位接受采访的图像识别专家告诉我们，AI修复的林青霞照片采用的算法包括，人物区域监测，任务区域去噪音，去模糊等算法。
通常来说，图像修复包括多种任务：降噪/去噪、超分辨率重建、图像填充、图像去模糊、JPEG去块等。
传统上，图像修复可以使用基于扩散方法来处理，这种方法将局部结构传播到位置部分，或者基于示例的方法，每一次构建缺失部分的一个像素点（块）同时保持和周围像素点的一致性。
当缺失部分很大时，这些方法会失效，因此需要一个额外的部件提供合理的想象力（来自机器的幻觉）。这些附加的信息可能是由自然图像的高阶模型提供，例如由深度神经网络计算的那些。
依赖预训练神经网络的幻觉来填补图像中的大洞。深度神经网络使用监督图像分类。在监督图像分类中，每个图像都有一个特定的标签，并且神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。
当在巨大的数据集（数百万张带有成千个的标签的图像）上被训练后，神经网络具有卓越的分类表现并且偶尔可以超越人类的准确率。实施一个判别式预训练的神经网络来指导图像重建，其中神经网络的最后一层在图像修复问题中被直接运用。
在图像修复过程中，最值得关注的信息有哪些呢？上述接受采访的图像识别专家告诉我们，“图像修复过程中，人物区域的识别信息，相关图片的噪声强度，模糊程度信息很关键。”
结合深度学习的图像修复是如何实现的？知乎答主QZhang 为大家整理了13篇论文，供学习参考：
CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖级的 NN修复方法）。 链接： https://arxiv.org/abs/1604.07379
CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，结合了风格迁移的思路。
链接： https://arxiv.org/abs/1611.09969
ICCV 2017的on demanding learning(本质上还是Context-Encoders的衍生版)。 链接： http://vision.cs.utexas.edu/projects/on_demand_learning/
SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local两个判别器的改进)。 Github代码： https://github.com/satoshiiizuka/siggraph2017_inpainting
ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷积，能够修复任意非中心、不规则区域）。
CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution。 Github代码：
https://github.com/JiahuiYu/generative_inpainting
ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大 左旺孟教授组的工作）效果也不错。 Github代码： https://github.com/Zhaoyi-Yan/Shift-Net_pytorch
ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。 链接： https://arxiv.org/pdf/1711.08590.pdf
ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，简称PGN，采用了由外至内的步进式修补策略。 Github代码： https://github.com/crashmoon/Progressive-Generative-Networks
NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。 Github代码：
https://github.com/shepnerd/inpainting_gmcnn
ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 采用边缘推断信息的思路进行重建。 Github代码： https://github.com/knazeri/edge-connect
CVPR 2019的Foreground-aware Image Inpainting, 思路类似于上面的工作，也是先推断生成轮廓边缘，辅助缺失区域进行修复。
CVPR 2019的Pluralistic Image Completion。
| 
发表于 2019-5-4 19:28:35
