FAISS如何使用openai进行embedding向量相似查询？

以下是使用FAISS结合OpenAI进行嵌入向量相似性查询的详细步骤和代码示例：

安装所需库：

pip install openai faiss-cpu numpy

import openai
import numpy as np

# 设置OpenAI API密钥
openai.api_key = "your-api-key"

def get_embeddings(texts, model="text-embedding-3-small"):
    """批量获取文本的嵌入向量"""
    response = openai.Embedding.create(
        input=texts,
        model=model
    )
    return [item['embedding'] for item in response['data']]

# 示例文本数据
texts = [
    "机器学习是人工智能的核心领域",
    "深度学习基于神经网络",
    "FAISS是高效的相似性搜索库",
    "OpenAI提供强大的文本嵌入模型"
]

# 获取嵌入向量（批量处理）
embeddings = get_embeddings(texts)
embeddings = np.array(embeddings).astype('float32')  # 转换为numpy数组

import faiss

# 初始化索引（使用内积度量，因OpenAI向量已归一化）
dimension = embeddings.shape[1]
index = faiss.IndexFlatIP(dimension)  # METRIC_INNER_PRODUCT
index.add(embeddings)

# 可选：高效索引（适合大数据集）
nlist = 50  # 聚类中心数
quantizer = faiss.IndexFlatIP(dimension)
index_ivf = faiss.IndexIVFFlat(quantizer, dimension, nlist, faiss.METRIC_INNER_PRODUCT)
index_ivf.train(embeddings)  # 训练索引
index_ivf.add(embeddings)

def search_si...

点击查看剩余70%