当前位置：首页 > article >正文

Python知识点：运用Python工具，如何使用BERT进行句子嵌入

article 2024/10/9 18:55:34

开篇，先说一个好消息，截止到2025年1月1日前，翻到文末找到我，赠送定制版的开题报告和任务书，先到先得！过期不候！

如何使用Python的BERT进行句子嵌入

BERT（Bidirectional Encoder Representations from Transformers）是由Google开发的一种预训练语言表示模型，它在自然语言处理（NLP）的多个领域都取得了革命性的成果。BERT模型通过使用大量的文本数据进行预训练，学习了深层次的语言表示，这些表示可以被用于各种下游NLP任务，如文本分类、命名实体识别、问答系统等。其中一个重要的应用是生成句子嵌入（sentence embeddings），即把句子转换成固定维度的向量，这些向量能够捕捉句子的语义信息，并用于诸如句子相似度计算、聚类等任务。

安装必要的库

要使用BERT进行句子嵌入，首先需要安装transformers库，这是一个由Hugging Face提供的工具库，它包含了大量预训练模型和便捷的接口。

pip install transformers

加载预训练的BERT模型

使用transformers库，可以轻松加载预训练的BERT模型和分词器（tokenizer）。分词器用于将文本转换为模型能理解的格式。

from transformers import BertTokenizer, BertModel

# 加载预训练模型的分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 加载预训练模型
model = BertModel.from_pretrained('bert-base-uncased')

准备输入数据

将文本数据通过分词器转换为模型输入格式。

# 定义句子
sentence = "Hello, my name is Kimi."

# 使用分词器编码句子
inputs = tokenizer(sentence, return_tensors='pt', padding=True, truncation=True)

获取句子嵌入

将编码后的数据输入到BERT模型中，获取句子的嵌入表示。

# 获取模型的输出
outputs = model(**inputs)

# 模型输出的最后一层隐藏状态
last_hidden_states = outputs.last_hidden_state

# 取[CLS]标记的嵌入向量作为句子嵌入
sentence_embedding = last_hidden_states[:, 0, :]

在BERT中，每个标记会对应一个嵌入向量，但对于句子级别的任务，通常取输入序列的第一个标记（即[CLS]标记）的嵌入向量作为整个句子的嵌入。

使用句子嵌入

获取到的句子嵌入可以用于计算句子之间的相似度、进行聚类分析等。

import torch
from sklearn.metrics.pairwise import cosine_similarity

# 计算两个句子嵌入的余弦相似度
sentence1_embedding = sentence_embedding[0].numpy()
sentence2 = "I am an AI assistant."
inputs2 = tokenizer(sentence2, return_tensors='pt', padding=True, truncation=True)
outputs2 = model(**inputs2)
sentence2_embedding = outputs2.last_hidden_state[0][0].numpy()

similarity = cosine_similarity([sentence1_embedding], [sentence2_embedding])
print("Similarity:", similarity[0][0])