迁移学习
英文小名: transform learning
简介:
把已经训练好的模型A为基本, 在新场景中, 根据新数据建立模型B
目的:
将某个领域或任务上学习到的知识/模式, 应用到不同但相关的领域/问题中
方法:
1.结构引用
适用情况: 新数据多, 场景相似度高, 可以基于原模型重新训练
2.特征提取
适用情况: 新数据少, 场景相似度高, 保留原模型大部分结构与权重系数
3.全新模型
适用情况: 新数据多, 场景相似度低, 原模型可能不适合新场景, 可以建立全新模型
4.部分训练
适用情况: 新数据少, 场景相似度低, 保留原模型, 训练更多参数
在线学习
外国小名:online learning
简介:
给训练好的模型增加新数据, 对模型进行更新, 来适应新趋势
目的
对于新产生的数据, 在不需要对全部数据集进行再次训练的基础上, 实现模型更新
适用场景:
场景中有连续的数据流
特点:
不改变模型结构, 根据数据更新权重系数
两者的关系与区别
目的不同：
迁移学习：目的是利用已有知识来提高新任务的学习效率和性能。
在线学习：目的是在数据流中实时更新模型，以适应数据的变化。
数据处理方式不同：
迁移学习：通常是在离线环境下进行，使用预先收集的数据集进行训练和微调。
在线学习：在数据到达时立即处理并更新模型，不需要预先收集大量数据。
应用场景不同：
迁移学习：适用于数据量较小或标签成本较高的情况，例如医疗影像分析、自然语言处理等。
在线学习：适用于数据流场景，需要实时响应的情况，例如金融交易、网络监控等。
结合使用：
迁移学习 + 在线学习：在某些情况下，可以将两者结合起来使用。例如，先通过迁移学习从一个大型数据集上预训练一个模型，然后在实际应用中使用在线学习的方法对模型进行实时更新。这样可以充分利用已有知识，并适应数据的变化。
总结
迁移学习：利用已有知识来提高新任务的学习效率和性能。
在线学习：在数据流中实时更新模型，以适应数据的变化。