llama3的上下文tokens长度只有8k，如何提升到10万以上？
网友回复
试试这个版本的llama3名字叫llama3-gradient：
Gradient AI 利用分阶段训练策略，成功地将 Llama-3 模型的文本处理能力扩展至百万字符以上。
通过引入 RingAttention 和 EasyContext Blockwise 技术，模型的运算效率得到显著增强。此外，NTK-aware 插值技术和缩放法则的应用进一步提升了模型性能。Llama-3 在大规模 GPU 集群上的训练，使其在长文本处理方面取得了突破性进展。
直接通过ollama run llama3-gradient运行，注意100k的上下文需要64g的内存
来源：https://ollama.com/library/llama3-gradient
by ai世界
我知道答案，我要回答
私活外包
最新提问
sms-activate中的虚拟手机号为啥无法用作google的手机号码验证？
app如何判断自己的网络连接是经过代理传输的？
有没有开源的andriod安卓设备集中管理工具？
acejs如何监听回车并获取上一行文本是否是注释？
SSL证书中OV和DV有啥区别，该如何选择？
python如何批量压缩目录及子目录图片到指定大小内？
google账号如何更改地区与国家？
为啥我的安卓手机chatgpt app打开报错Something went wrong. You may be connected to a disallowed ISP. If you are us
c#如何修改windows的代理设置？
国内华为andriod安卓苹果ios手机如何使用chatgpt4o的app？
