MobileNetV2
Google 提出的轻量级移动端图像分类模型,核心为深度可分离卷积与倒残差结构,参数量小、适合移动端部署
时间轴 (近 90 天)
MobileNetV2 的核心结构包括深度可分离卷积(depthwise separable convolution)和倒残差结构(inverted residual block)。
MobileNetV2 的倒残差结构先用 1×1 卷积将通道数扩张(通常扩张 6 倍),再做 depthwise 卷积,最后用 1×1 卷积压缩回低维,并在低维处做残差连接。
MobileNetV2 的第一层卷积只有 32 个卷积核,浅层通道数极少,冻结浅层省下的计算有限但损失的适应能力不小。
在 MobileNetV2 微调中,数据量越接近原始预训练分布、样本越少,冻结的比例可以越高;反之则应放开更多层参与训练。
只训练分类头(冻结全部 backbone)适合样本量在几百到几千级别、且类别与 ImageNet 语义相近的场景,但模型对域偏移的适应能力几乎为零。
冻结浅层、微调深层(保留前面的特征提取层,放开后几个倒残差块和分类头)是 MobileNetV2 微调讨论中出现频率最高的折中方案。
渐进式解冻(先冻结训练几轮让分类头收敛,再逐步解冻深层)在讨论中被认为对最终精度有正向帮助,但会拉长训练周期。
MobileNetV2 对输入分辨率敏感,改变分辨率后浅层特征的适用性会下降。
Reddit 上有开发者就 MobileNetV2 的微调与层冻结策略展开讨论,该讨论没有给出万能配置。
全部知识事实 (9)
MobileNetV2 的核心结构包括深度可分离卷积(depthwise separable convolution)和倒残差结构(inverted residual block)。
50%待验证MobileNetV2 的倒残差结构先用 1×1 卷积将通道数扩张(通常扩张 6 倍),再做 depthwise 卷积,最后用 1×1 卷积压缩回低维,并在低维处做残差连接。
50%待验证MobileNetV2 的第一层卷积只有 32 个卷积核,浅层通道数极少,冻结浅层省下的计算有限但损失的适应能力不小。
50%待验证在 MobileNetV2 微调中,数据量越接近原始预训练分布、样本越少,冻结的比例可以越高;反之则应放开更多层参与训练。
50%待验证只训练分类头(冻结全部 backbone)适合样本量在几百到几千级别、且类别与 ImageNet 语义相近的场景,但模型对域偏移的适应能力几乎为零。
50%待验证冻结浅层、微调深层(保留前面的特征提取层,放开后几个倒残差块和分类头)是 MobileNetV2 微调讨论中出现频率最高的折中方案。
50%待验证渐进式解冻(先冻结训练几轮让分类头收敛,再逐步解冻深层)在讨论中被认为对最终精度有正向帮助,但会拉长训练周期。
50%待验证MobileNetV2 对输入分辨率敏感,改变分辨率后浅层特征的适用性会下降。
50%待验证Reddit 上有开发者就 MobileNetV2 的微调与层冻结策略展开讨论,该讨论没有给出万能配置。
50%