要使用ChatGPT的embedding来搭建一个中文全文搜索引擎,需要进行以下步骤:
1. 准备中文文本数据集。可以使用已有的数据集,也可以自己收集和清洗数据。2. 对文本数据进行分词和编码。可以使用Python的jieba库进行中文分词,然后使用ChatGPT的embedding将分词后的文本编码为向量。
3. 建立索引。将编码后的文本向量存储到一个数据库或者文件中,以便后续进行搜索。
4. 进行搜索。对于一个查询文本,先进行分词和编码,然后计算与索引中所有文本向量的相似度,选取相似度最高的文本作为搜索结果。
需要注意的是,这只是一个简单的框架,实际上还需要进行很多优化和改进,比如使用倒排索引、加入语义信息等,下面是参考示例代码:
# -*- coding: utf-8 -*
import openai, numpy as np
openai.api_key = "apikey"
def getembedding(txt):
resp = openai.Embedding.create(
input=[txt],
engine="text-similarity-davinci-001")
return resp['data'][0]['embedding']
resp = openai.Embedding.create(
input=["李磊的力量是有限的,他去吃饭了", "张华找到李磊,问他是否要去学校","李磊是一个普通家庭的中学生,李磊的爸妈是工厂工人,他也是一个三好学生,他出生在一个农村"],
engine="text-similarity-davinci-001")
embedding_a = resp['data'][0]['embedding']
embedding_b = resp['data'][1]['embedding']
embedding_c = resp['data'][2]['embedding']
# print(embedding_a)
# print(embedding_b)
promptask="李磊是谁?"
embbdingask=getembedding(promptask)
print(np.dot(embbdingask, embedding_a))
print(np.dot(embbdingask, embedding_b))
print(np.dot(embbdingask, embedding_c))
网友回复
有没有免费让ai自动帮你接管操作电脑的mcp服务?
mcp为啥用Streamable HTTP 替代 HTTP + SSE?
scratchjr有没有开源的前端html网页版本源代码?
多模态大模型能否根据ui交互视频来来模仿写出前端交互动画效果ui代码?
如何用阿里云oss+函数计算fc+事件总线EventBridge+消息队列+数据库+redis缓存打造一个高并发弹性系统?
阿里云函数计算 FC如何在海外节点搭建一个代理网络?
ai studio中gemini build的代码如何发布到github pages等免费网页托管上 ?
如何在cursor、qoder、trae中使用Claude Skills功能?
有没有不用u盘就能重装系统的开源工具?
python如何固定摄像头实时计算停车场停车位剩余数量?


