+
95
-

llama3的上下文tokens长度只有8k,如何提升到10万以上?

llama3的上下文tokens长度只有8k,如何提升到10万以上?


网友回复

+
15
-

试试这个版本的llama3名字叫llama3-gradient:

Gradient AI 利用分阶段训练策略,成功地将 Llama-3 模型的文本处理能力扩展至百万字符以上。

通过引入 RingAttention ...

点击查看剩余70%

我知道答案,我要回答