+
79
-

同一个中英混合文本不同大模型计算tokens长度一致吗?

同一个中英混合文本不同大模型计算tokens长度一致吗?

网友回复

+
24
-

不一样。同一个中英混合文本,在不同大模型里算出的 token 数量通常不一致,原因在于"分词规则"不同。

你可以把 token 想象成模型识字的最小单...

点击查看剩余70%

我知道答案,我要回答