NLP：预训练模型蒸馏 Posted on 2020-10-02 Edited on 2022-10-19 In NLP Views: Symbols count in article: 88 Reading time ≈ 1 mins. 目的把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用小模型去学习大模型的预测结果，而不是直接学习训练集中的label。 总结
