+
106
-

回答

大模型蒸馏和量化是两种让大模型变小、变快的方法,但它们的作用和方式不同:

蒸馏 :

像老师教学生一样,把大模型(老师)的知识教给小模型(学生),让小模型学会大模型的能力,变得更聪明,但结构更简单。

量化 :

把大模型里的数字“简化”,比如从复杂的高精度数字变成简单的低精度数字,减少计算量,让模型跑得更快,但基本结构不变。

总结:

蒸馏是“教小模型”。

量化是“简化数字”。

网友回复

我知道答案,我要回答