图像处理开源项目汇总

lsh手机认证

第一部分：图像生成

1、绘画风格到图片的转换：Neural Style

简介：这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文“A Neural Algorithm of Artistic Style”的一个实现。论文中提出一种算法，用卷积神经网络将一幅图像的内容与另一幅图像的风格进行组合。

GitHub库：https://github.com/jcjohnson/neural-style

2、图像类比转换：image-analogies

简介：“神经图像类比”（neural image analogies）这个项目基本上是 A. Hertzmann et. al（2001）的论文“Image Analogies”的一个实现。在这个项目中，我们使用了 VGG16 的特征，利用 Chuan Li, Michael Wand (2016) 的论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中描述的方法进行patch的匹配和混合。初始代码改编自 Keras 的“神经风格迁移”示例。

GitHub库：https://github.com/awentzonline/image-analogies

3、根据涂鸦生成图片：Neural Doodle

简介：使用深度神经网络把你的二流涂鸦变成艺术一般的作品！这个项目是 Champandard（2016）的论文 “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks”的一个实现，基于 Chuan Li 和 Michael Wand（2016）在论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中提出的 Neural Patches 算法。

GitHub库：https://github.com/alexjc/neural-doodle

4、匹根据涂鸦类比图片：Sketchy

简介：这个项目可以根据用户手绘的涂鸦，匹配出类似的图片。

GitHub库：https://github.com/janesjanes/sketchy

5、根据图片生成铅笔画：Pencil

简介：把一副图像变成铅笔水粉画。

GitHub库：https://github.com/fumin/pencil

6、手写文字模拟：rnnlib

简介：这个项目可以做到手写文字模拟。

GitHub库：https://github.com/szcom/rnnlib

7、转换风景图片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes

简介：这个项目可以识别和理解图片中的风景，并且可以根据用户提出的条件，定向改变原风景画中的环境（比如more night）

资料来源：http://transattr.cs.brown.edu/

8、图片变Emojis表情：What emojis will the Emojini 3000 grant your photos?

简介：将用户提供的图片转化成相关的表情图标

资料来源：http://engineering.curalate.com/2016/01/20/emojinet.html

9、增加图片分辨率：srez

简介：srez（super-resolution through deep learning），即通过深度学习实现图像超分辨率。这个项目是利用深度学习将 16x16 的图像分辨率增加 4 倍，基于用来训练神经网络的数据集，所得到的图像具有鲜明的特征。

GitHub库：https://github.com/david-gpu/srez

10、图片自动上色：Colornet

简介：Colornet 是一个给灰度图像自动上色的神经网络。

GitHub库：https://github.com/pavelgonchar/colornet

11、生成可爱的动漫头像：AnimeGAN

简介：使用PyTorch实现的GAN，可以自定义生成漂亮的动漫妹子头像，附带训练数据集哦！

GitHub库：https://github.com/jayleicn/animeGAN

12、骡子变斑马：CycleGAN and pix2pix in PyTorch

简介：图到图的翻译，著名的 CycleGAN 以及 pix2pix 的PyTorch 实现。

GitHub库：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

13、强大的图像生成器：DiscoGAN in PyTorch

简介：《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》的 PyTorch 实现。

GitHub库：https://github.com/carpedm20/DiscoGAN-pytorch

14、使用RNN生成手写数字：DRAW implmentation

简介：使用RNN生成手写体数字。

GitHub库：https://github.com/skaae/lasagne-draw

15、使用CNN来放大图片：waifu2x

简介：使用CNN来放大图片，与普通图片放大不同的是，使用CNN“生成”放大，使低分辨率的图片在放大后也不会出现像素锯齿。

GitHub库：https://github.com/nagadomi/waifu2x

第二部分：看图说话

1、根据图片生成一段描述：Show and Tell

简介：这是 Oriol Vinyals et. al.（2016）的论文“Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge”的用TensorFlow实现的 image-to-text 图片说明生成模型。

GitHub库：https://github.com/tensorflow/models/tree/master/im2txt

2、根据图片讲故事：neural-storyteller

简介：Neural-storyteller 是一个能够根据图像内容生成一个小故事的循环神经网络。这个 GitHub 库里包含了使用任意图像生成故事的代码，以及用于训练新模型的说明。

GitHub库：https://github.com/ryankiros/neural-storyteller

3、根据图片将故事2:NeuralTalk2

简介：循环神经网络（RNN）可以用于给图像取标题。NeuralTalk2 比原始版本的 NeuralTalk 更快而且性能更好。与原来的 NeuralTalk 相比，NeuralTalk2 的实现是批量的，可以使用 Torch 在 GPU上运行，并且支持 CNN 微调。这些都使得语言模型（~100x）的训练速度大大加快，但由于我们还有一个 VGGNet，因此总体上的提升没有很多。但是这仍然是个好模型，可以在 2~3 天里训练好，而且表现出的性能非常好。

GitHub库：https://github.com/karpathy/neuraltalk2

4、识别图片中的文字：CRNN for image-based sequence recognition

简介：这个是 Convolutional Recurrent Neural Network (CRNN) 的 PyTorch 实现。CRNN 由一些CNN，RNN和CTC组成，常用于基于图像的序列识别任务，例如场景文本识别和OCR。

GitHub库：https://github.com/bgshih/crnn

第三部分：图像识别
1、用于物体识别的全卷积网络：PyTorch-FCN

简介：一个性能出众的物体识别全卷积神经网络，使用PyTorch实现。

GitHub库：https://github.com/wkentaro/pytorch-fcn

2、引入注意力的卷积网络：Attention Transfer

简介：论文 "Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer" 的PyTorch实现。

GitHub库：https://github.com/szagoruyko/attention-transfer

3、物体识别实例：Deep-Learning

简介：一个基于Ipython Notebook的物体识别实例，使用了Tensorflow Object Dectection API

GitHub库：https://github.com/priya-dwivedi/Deep-Learning

Object_Detection_Tensorflow_API.ipynb

4、物体识别API：Tensorflow Object Detection API

简介：Google Tensorflow Object Dectection API 的开源代码

GitHub库：https://github.com/tensorflow/models/tree/master/object_detection

5、推理场景结构：SfMLearner

简介：用单张图片推理场景结构：UC Berkeley提出3D景深联合学习方法

GitHub库：https://github.com/tinghuiz/SfMLearner

6、用于分辨色情图像的open_nsfw

简介：这是雅虎构建的用于检测图片是否包含不适宜工作场所（NSFW）内容的深度神经网络项目，GitHub 库中包含了网络的 Caffe 模型的代码。检测具有攻击性或成人内容的图像是研究人员进行了几十年的一个难题。随着计算机视觉技术和深度学习的发展，算法已经成熟，雅虎的这个模型能以更高的精度分辨色情图像。 由于 NSFW 界定其实是很主观的，有的人反感的东西可能其他人并不觉得如何。雅虎的这个深度神经网络只关注NSFW内容的一种类型，即色情图片，所以该模型不适用于检测素描、文字、动画、暴力图片等内容。

GitHub库：https://github.com/yahoo/open_nsfw

7、人脸识别：Open Face

简介：OpenFace 是一个使用深度神经网络，用 Python 和 Torch 实现人脸识别的项目。神经网络模型基于 Google Florian Schroff 等人的 CVPR 2015 论文“FaceNet: A Unified Embedding for Face Recognition and Clustering” ，Torch 让网络可以在 CPU 或 CUDA 上运行。

GitHub库：https://github.com/cmusatyalab/openface

8、易用人脸识别：Face_recognition

简介：这也提供了一个简单的 face_recognition 命令行工具，你可以打开命令行中任意图像文件夹，进行人脸识别！

GitHub库：https://github.com/ageitgey/face_recognition#face-recognition

9、快速人脸识别：MobileID

简介：据说是个超级快速的人脸识别程序，可以用在手机上

GitHub库：https://github.com/liuziwei7/mobile-id

10、图像识别框架1：AlexNet & VGG Net & GoogleNet & ResNet

GitHub库（AlexNet）：https://github.com/fchollet/keras/tree/master/keras/applications

GitHub库（VGG Ne）：

https://github.com/fchollet/keras/blob/master/keras/applications/vgg16.py

GitHub库（GoogleNet）：

https://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py

GitHub库（ResNet）：

https://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py

11、图像识别框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet

GitHub库（ResNeXt）：https://github.com/titu1994/Keras-ResNeXt

GitHub库（RCNN (基于区域的 CNN)）： https://github.com/yhenon/keras-frcnn

GitHub库（YOLO (You Only Look once)）：https://github.com/allanzelener/YAD2K

GitHub库（SqueezeNet）：https://github.com/rcmalli/keras-squeezenet

GitHub库（SegNet）：https://github.com/imlab-uiip/keras-segnet

12、预训练的图像识别模型：functional-zoo

简介：由PyTorch和Tensorflow实现的常用图像识别模型包含预训练参数。

GitHub库：https://github.com/szagoruyko/functional-zoo

13、预定义的CNN过滤器： PyScatWave

简介：一套预定义的filter，用于增强图像识别的效果。

GitHub库：https://github.com/edouardoyallon/pyscatwave

14、计算图片中物体的相似度：Conditional Similarity Networks (CSNs)

简介：《Conditional Similarity Networks》的PyTorch实现，可以根据不同的条件计算图片中物体的相似度。

GitHub库：https://github.com/andreasveit/conditional-similarity-networks

15、量子化学中的神经信息传递(･_･;Neural Message Passing for Quantum Chemistry

简介：论文《Neural Message Passing for Quantum Chemistry》的PyTorch实现，讲的是量子化学里的神经信息传递！听起来碉堡了。

GitHub库：https://github.com/priba/nmp_qc

第四部分：图像理解

1、Visual Question Answering in Pytorch

简介：一个PyTorch实现的优秀视觉推理问答系统，是基于论文《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》实现的。项目中有详细的配置使用方法说明。

GitHub库：https://github.com/Cadene/vqa.pytorch

2、Facebook看图答题：Clevr-IEP

简介：Facebook Research 论文《Inferring and Executing Programs for Visual Reasoning》的PyTorch实现，讲的是一个可以基于图片进行关系推理问答的网络。

GitHub库：https://github.com/facebookresearch/clevr-iep