这就是神经⽹络5：轻量化神经⽹络--MobileNetV1、MobileNetV2、Shu。。。概述 yig滤波器深度神经⽹络模型被⼴泛应⽤在图像分类、物体检测等机器视觉任务中，并取得了巨⼤成功。然⽽，由于存储空间和功耗的限制，神经⽹络模型在嵌⼊式设备上的存储与计算仍然是⼀个巨⼤的挑战。 本⽂介绍⼏个经典的⼈⼯设计的轻量化神经⽹络模型。（当然也有其它⽅法对已有的⽹络模型进⾏压缩，甚⾄⾃动学习设计紧凑的⽹络模型，本⽂不涉及这部分）
轻量化神经⽹络牵涉到的基础知识（如分组卷积、1x1点卷积、深度卷积（depth-wise convolution）、Channel Shuffle）请移步到参考资料的《轻量化神经⽹络综述》观看，作者的讲解和配图⾮常通俗易懂。本⽂很多⽂字就摘抄⾃这篇⽂章。 MobileNet V1 （2017）
MobileNet V1是Google第⼀个提出的体积⼩，计算量少，适⽤于移动设备的卷积神经⽹络。MobileNet V1之所以如此轻量，背后的思想是⽤深度可分离卷积（Depthwise separable convolution）代替标准的卷积，并使⽤宽度因⼦(width multiply)减少参数量。
深度可分离卷积（Depthwise separable convolution）思想是把⼀个卷积操作分为深度卷积核1x1卷积两步，也就是channel相关性和spatial相关性解耦：
获取信息的方法
蒸汽分水器⼀般情况下深度可分离卷积计算量可显著降低到标准卷积计算量的1/8–1/9。
上图右侧在空间及通道维度上的相关性⽰意图：
可以看到深度卷积只在空间维度上做了信息融合，通道之间是独⽴的，⽽紧跟的1x1卷积则在空间上没有融合，只在通道间进⾏信息融合。
MobileNet V1的整体结构如下（其中dw表⽰深度卷积）：视频处理
注意⽹络最后⾯使⽤了全局平均池化，这样就可以适配不同的分辨率图⽚了，后⾯会有不同尺⼨上对⽐的。
为了进⼀步降低Mobilenet v1计算量，对输⼊输出特征通道数M和N乘以宽度因⼦α(α∈(0,1),d典型值0.25,0.5和0.75)。当α为0.5的时候，所有层的宽度变为原来的⼀半，其他值依次类推。论⽂⾥使⽤beta字母表⽰图⽚尺⼨的缩放⽐例，范围0-1。
上图table4对⽐了使⽤和不使⽤深度可分离卷积的效果，可以看到计算量和参数量都⼤幅下降了，但是准确率下降很少。table5⽐较了在标准Mobilenet分别变窄和变浅之后的效果，发现变窄性能损失⼩。
table6测试了不同的宽度因⼦，可以看到0.75是个性价⽐不错的值。
table7测试了分辨率对Mobilenet的影响。木本植物的样本
table8表明，Mobilenet以少的多的参数和计算量实现了⽐GoogleNet更好的结果。table9表明了Mobilenet对AlexNet的巨⼤优势。
作者在论⽂⾥还列举了Mobilenet在⼈脸属性和⽬标检测上的应⽤，也取得了很好的成绩。
MobileNet V2 （2018）
MobileNet V1设计时参考传统的VGGNet等链式架构，既传统的“提拉⽶苏”式卷积神经⽹络模型，都以层叠卷积层的⽅式提⾼⽹络深度，从⽽提⾼识别精度。但层叠过多的卷积层会出现⼀个问题，就是梯度弥散(Vanishing)。
MobileNet V2是Google继V1之后提出的下⼀代轻量化⽹络，主要解决了V1在训练过程中⾮常容易梯度弥散(Vanishing)的问题，V2相⽐V1效果有⼀定提升。
V2和V1 building block的对⽐：
新型化粪池⾸先说明⼀下ReLU6，卷积之后通常会接⼀个ReLU⾮线性激活，在Mobile v1⾥⾯使⽤ReLU6，ReLU6就是普通的ReLU但是限制最⼤输出值为6（对输出值做clip），这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制，输出范围为0到正⽆穷，如果激活值⾮常⼤，分布在⼀个很⼤的范围内，则低精度的float16⽆法很好地精确描述如此⼤范围的数值，带来精度损失。
V2相对V1有以下改进：
