轻量级神经网络架构

1. 人工设计的轻量级神经网络模型

1.1 使用小卷积核代替大卷积

​ 使用多层小卷积核代替一层大卷积核，可以减少网络的参数。如图所示：

例如使用两层3×3的卷积核代替5×5的卷积核，其卷积核的参数量可以从25减少到18，对于输入大小为 H×W×Cin 的特征,输出为 H×W×Cout 大小的特征图时，其浮点运算数从H×W×Cin×Cout×5²减少到了2×H×W×Cin×Cout×3。对于图b使用1×3核3×1的卷积核代替3×3的卷积核，可以使得参数量减少为原来的1/3。