如何通过改进网络结构来压缩卷积神经网络？

目前通过改变卷积网络结构效果比较好的，有三种方式，分别为模型蒸馏、可分离卷积、组卷积方式。模型蒸馏的方式相当于模型压缩，即先训练完成一个大的模型，然后用训练完成的大模型的输出结果参与训练一个层数相对较浅的卷积神经网络模型，采用soft label方式压缩模型。可分离卷积是一个卷积核只负责一个通道的运算，然后用1x1卷积进行跨通道整合，相比传统的一个通道要对应多个卷积核的运算，大幅度降低模型的参数和计算量，在移动端应用的mobilenet网络模型就是采用的这种卷积结构。组卷积方式是在进行卷积运算时，将每层的输出分组进行分组卷积运算然后再将运算后结果合在一起，把输出的通道数进行分组，比如输入256个通道同时输出256个，分成8组，在进行卷积运算时就是8x3x3x32x32是标准的卷积运算256x3x3x256参数量的八分之一。在语意分割时采用的空洞卷积，效果也是不错的。

谢邀，卷积神经网络作为一种前馈神经网络，其神经元可以响应一部分覆盖范围内的周围单元，主要用于处理大型图像。 在结构中包括卷积层和池化层。其在组合过程中，元素的数量会逐层递减，但随着运算单元的增多，其运算参数数量也会增多，毕竟运算参数的数量决定了其感知能力，所以压缩起来的难度相对较大，为了保证计算的正确性，对于运算参数的压缩只能压缩一部分参数，但也有限。个人理解，有误勿喷。