深度学习架构之 二值网络

shaoheshaohe

https://mp.weixin.qq.com/s/QGva6fow9tad_daZ_G2p0Q

论文标题：Binary Neural Networks: A Survey

本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Survey，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。

神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮点数参数量化至 1 位定点数，降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程。但二值化会不可避免地导致严重的信息损失，其量化函数不连续性也给深度网络的优化带来了困难。
近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为直接量化的朴素二值化方法，以及使用最小化量化误差、改善网络损失函数和减小梯度误差等技术的改进二值化方法。
本文还调研了二值神经网络的其他实用方面，例如硬件友好的设计和训练技巧。然后，我们对图像分类，目标检测和语义分割等不同任务进行了评估和讨论。最后，本文展望了未来研究可能面临的挑战。
关键词：二值神经网络，深度学习，模型压缩，网络量化，模型加速