搜索

+

95

-

4k上下文token大模型如何处理一百万token的长文档问答？

人工智能

4k上下文token大模型如何处理一百万token的长文档问答？

网友回复

+

17

-

三种处理长文档的方案

(1) 基础方案：RAG（检索增强生成）

原理：把文档拆分成小块（如每块 512 字），用关键词匹配（如 BM25 算法）找到最相关的片段，再交给模型生成回答。

优点：速度快。

缺点：关键词匹配可能漏掉语义相关的部分，比如用户问“代码逻辑”，但文档里用的是“函数调用”。

(2) 进阶方案：分块阅读

原理：对每一块文本先用模型判断是否相关，再提取关键句子，最后合并成答案。

优点：比 RAG 更精准，能理解语义。

缺点：需要多次调用模型...

点击查看剩余70%

我知道答案，我要回答

我有问题

最新提问