模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品 发布日期：2024-12-15

　　用大模型“蒸馏”小模型，有新招了！ 甚至能在不同类型和架构的LLMs（大语言模型）上达到新SOTA。 这就是来自中科大、腾讯优图实验室提出的一种基于Sinkhorn距离的知识蒸馏方法，能把大的...