【python】Gpt-embedding文本建模

要使用Gpt-embedding计算两组在不同主题下的相似度，可以按照以下步骤进行：

1. 准备数据

• 收集公司文档 $D_c$ 和政府文档 $D_g$。

2. 定义主题和关键词

• 设定主题集合 T = { t 1 , t 2 , … , t n } T = \{t_1, t_2, \ldots, t_n\} T={t1​,t2​,…,tn​} 和对应的关键词集合 $K(t_i)$。

3. 生成主题嵌入

• 对于每个主题 $t_i$，生成嵌入向量 $E(t_i)$：
  $$E(t_i)=\text{Embedding}(K(t_i))$$

4. 生成文档嵌入

• 生成公司文档和政府文档的嵌入向量：
  $$E(D_c)=\text{Embedding}(D_c)$$
  $$E(D_g)=\text{Embedding}(D_g)$$

5. 计算相似度

• 对于每个主题 $t_i$，计算公司文档与主题的相似度 $S_c(t_i)$ 和政府文档与主题的相似度 $S_g(t_i)$：
  $$S_c(t_i)=\text{CosineSimilarity}(E(D_c),E(t_i))$$
  $$S_g(t_i)=\text{CosineSimilarity}(E(D_g),E(t_i))$$

• 计算公司文档与政府文档之间的相似度 $ S(D_c, D_g) $：
  $$S(D_c,D_g)=\text{CosineSimilarity}(E(D_c),E(D_g))$$

6. 输出结果

• 输出每个主题的相似度得分：
  $$\text{Result}=\{(t_i,S_c(t_i),S_g(t_i),S(D_c,D_g))|\forall t_i\in T\}$$

要点

• 使用text-embedding-3-small模型为每个主题的关键词生成嵌入向量。

• 使用相同的模型为公司文档和政府文档生成嵌入向量。

• 对于每个主题，计算公司文档嵌入与政府文档嵌入之间的相似度得分。

示例代码（Python伪代码）

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import openai  # 确保你安装了OpenAI的Python库

# 假设你有两个文档
company_document = "公司文档内容"
government_document = "政府文档内容"

# 定义18个主题和关键词
themes = {
    "主题1": ["关键词1", "关键词2"],
    "主题2": ["关键词3", "关键词4"],
    # 继续为其他主题定义关键词，直到主题18
}

# 生成主题嵌入
theme_embeddings = {}
for theme, keywords in themes.items():
    keywords_str = ' '.join(keywords)
    embedding = openai.Embedding.create(input=keywords_str, model="text-embedding-3-small")['data'][0]['embedding']
    theme_embeddings[theme] = embedding

# 生成文档嵌入
company_embedding = openai.Embedding.create(input=company_document, model="text-embedding-3-small")['data'][0]['embedding']
government_embedding = openai.Embedding.create(input=government_document, model="text-embedding-3-small")['data'][0]['embedding']

# 计算每个主题的相似度
similarity_scores = {}
for theme, theme_embedding in theme_embeddings.items():
    # 计算公司文档和政府文档与主题的相似度
    company_similarity = cosine_similarity([company_embedding], [theme_embedding])[0][0]
    government_similarity = cosine_similarity([government_embedding], [theme_embedding])[0][0]
    
    # 计算公司和政府文档之间的相似度
    document_similarity = cosine_similarity([company_embedding], [government_embedding])[0][0]
    
    # 存储相似度得分
    similarity_scores[theme] = {
        "company_similarity": company_similarity,
        "government_similarity": government_similarity,
        "document_similarity": document_similarity
    }

# 输出结果
for theme, scores in similarity_scores.items():
    print(f"Theme: {theme}, Company Similarity: {scores['company_similarity']}, Government Similarity: {scores['government_similarity']}, Document Similarity: {scores['document_similarity']}")