迁移学习

迁移学习与fine tuning

这里记录一下在 bilibili up同济子豪兄迁移学习视频笔记。迁移学习是指，把他人已经训练好的模型，泛化到我们自己的数据集上，也就是训练一个 CNN 网络并不是非要需要大量的数据集。

当我们的数据集比较小，而且与 ImageNet 数据集的数据分布十分相像（例如我们的数据集也是动物、生活用品），而不是特殊场景（例如工业钢轨缺陷检测）时，我们可以仅修改分类器的最后一层并训练更新其参数，同时冻结其他所有的层（保留结构和参数），

当我们的数据集很大，数据分布相似，我们可以解冻分类器的 FC 层，冻结特征提取网络，最后更新解冻层的参数即可。

当我们的数据集很大，但是数据很不相似，例如医疗数据的诊断，我们需要往前训练更多的层，同时预训练权重可以是 ImageNet 数据集上已有的权重，在我们自己的数据集上更新我们的参数权重。

常见的可供迁移学习的优秀主干网络取下。也就是说，无论是 ImageNet 还是皮肤癌图像分类等等问题，我们认为，以下这些主干网络提取到的特征都是通用的，我们借助提取到的通用的特征之后，在分类器上做处理。