u网站建设六安论坛网
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接：https://github.com/nickchen121/Pre-training-language-model
配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html
预训练
预先训练
我们有两个相似的任务 A 和 B，任务 A 已经完成了得到了一个模型 A
任务 B（数据量小）
用到了一个特性：CNN 浅层参数通用
任务 B 就可以使用模型 A 的浅层参数，后面的参数通过任务 B 训练–》1. 冻结（浅层参数不变）2. 微调（变）
任务 B（大数据）可以训练出模型 B（我还可以使用模型 A 的浅层参数，节省训练时间，节省成本）