yolov5剪枝实战2:网络剪枝原理介绍
创始人
2024-04-09 16:23:46
0次
1. 网络轻量化相关技术
网络轻量化的相关技术分类：1. 网络剪枝(Network pruning) 2. 稀疏表示(Sparse representation) 3. Bits precision(低比特表示，比如不用浮点型，使用int量化) 4. Kownledge distillation(知识蒸馏)
2. 网络剪枝
神经网络一般都是over-parameterized,也就是说网络参数一般是冗余的，超过解决任务所需要的权重数，所以针对冗余的权重和神经元就可以被剪枝掉。
这种思想也可以从人类自身的成长得到启示，比如小孩在出生不久它的突触密度是比较稀疏的，到6岁左右突触就比较密集。而在成长过程中，那些密集的突触反而又会变得稀疏，比如14岁左右它相对于6岁而言突触变得洗刷，然而对于人的思维反而是有利的，可以认为在人类成长过程中突触之间学到了更多有用的知识。
2. 1 剪枝的类型
权重剪枝(weight pruning)
对于网络的剪枝再什么样的颗粒度进行剪枝呢？，最小的颗粒度就是weight pruning, 在下图示意图中，在全连接的神经元之间都有相应的权重，我们如果可以将
相关内容
热门资讯
盘州市南湖社区：打造法律“服务...
近年来，为破解基层法律服务“最后一公里”难题，推进社区矛盾纠纷法治化实质性化解，贵州省盘州市以“精准...
内乡法院：彩礼纠纷引诉讼 法院...
大象新闻记者 魏广宝 通讯员 聂传青 张航/文图 近日， 内乡县人民法院灌涨法庭成功调解一起因婚姻关...
税费服务“主动敲门” 政策红利...
“税务部门的主动提醒和精准辅导真是太及时了，不仅帮我们规避了因政策理解偏差可能引发的风险，更让我们实...
民政部：会同有关部门建立最低生...
据新华社，记者12月30日在全国民政工作会议上获悉，民政部将会同有关部门建立最低生活保障标准备案制度...
肯尼亚投资：税务及法律合规指引
一、肯尼亚的外国直接投资 肯尼亚无疑是非洲吸引外国直接投资（FDI）最多的国家之一。根据《2025年...
大同多部门联动打击生态环境违法...
本报讯（通讯员刘美 陈俊宏）近日，大同市中级人民法院联合大同市人民检察院、大同市公安局、大同市司法局...
南阳宛城检察：让道争执酿祸端 ...
大象新闻记者 张定有 通讯员 魏颖 张婷/文图 一桩因乡间小道通行引发的争执，险些酿成极端事件。南阳...
寻找靠谱征地律师，孙侠律师
在征地相关法律事务中，找到一位靠谱且成功率高的征地律师至关重要。随着城市化进程的加速，征地纠纷日益增...
民政部：会同有关部门建立最低生...
记者12月30日在全国民政工作会议上获悉，民政部将会同有关部门建立最低生活保障标准备案制度，从制度上...