请选择 进入手机版 | 继续访问电脑版

易学智能

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 955|回复: 0

[深度学习] 深度学习架构之 二值网络

[复制链接]

665

主题

1234

帖子

6485

积分

xdtech

Rank: 5Rank: 5

积分
6485
发表于 2020-3-13 10:09:14 | 显示全部楼层 |阅读模式
https://mp.weixin.qq.com/s/QGva6fow9tad_daZ_G2p0Q

论文标题:Binary Neural Networks: A Survey

本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Survey,合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。

神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量,将神经网络中原本 32 位浮点数参数量化至 1 位定点数,降低了模型部署的存储资源消耗,同时极大加速了神经网络的推断过程。但二值化会不可避免地导致严重的信息损失,其量化函数不连续性也给深度网络的优化带来了困难。
近年来许多算法被提出致力于解决上述问题,并取得了令人满意的进展。在本文中,我们对这些方法进行了全面的总结和概括,主要分为直接量化的朴素二值化方法,以及使用最小化量化误差、改善网络损失函数和减小梯度误差等技术的改进二值化方法。
本文还调研了二值神经网络的其他实用方面,例如硬件友好的设计和训练技巧。然后,我们对图像分类,目标检测和语义分割等不同任务进行了评估和讨论。最后,本文展望了未来研究可能面临的挑战。
关键词:二值神经网络,深度学习,模型压缩,网络量化,模型加速


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|易学智能

GMT+8, 2022-8-20 08:04 , Processed in 0.019184 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表