当前位置：首页 > article >正文

Bert快速入门

article 2024/11/8 2:53:47

Python 语言 BERT 入门：让我们一起“吃透”BERT

1. 什么是 BERT？

BERT（Bidirectional Encoder Representations from Transformers）是 Google 提出的预训练语言模型，它通过双向编码器理解文本中的上下文信息，帮助我们更好地理解语言。BERT 的设计使其在处理复杂语言任务时，能够有效捕捉单词的语境含义。

BERT 的应用场景：

BERT 是 NLP（自然语言处理）领域的一个突破性工具，它能够做很多有用的事情，包括：

文本分类：如情感分析、垃圾邮件分类等。
命名实体识别（NER）：从文本中提取人物、地点、时间等实体。
问答系统：回答基于文章内容的问题。
自然语言推理（NLI）：判断两个句子之间的关系。
文本生成：例如对话生成、文章自动写作等。

2. BERT 入门篇：我们要做什么？

在这一部分，我们将通过几个经典的 NLP 任务来展示 BERT 的强大能力：

情感分析：判断电影评论是积极还是消极。
命名实体识别：从文本中提取出关键的实体，如人名、地点名等。
问答系统：基于提供的文本来回答问题。

这些案例是 BERT 在 NLP 中的经典应用，能够帮助你了解如何使用 BERT 解决实际问题。

3. 安装依赖

首先，确保安装了以下 Python 库：

pip install transformers torch

4. 使用 BERT 进行文本分类

4.1 情感分析：判断电影评论是积极还是消极

我们将用一个简单的电影评论数据集，展示如何用 BERT 进行情感分析。

from transformers import BertTokenizer,BertForSequenceClassification
import torch

#加载Bert tokenizer和模型
tokenize = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

#输入文本
text = "The movie was absolutely amazing!"

#编码文本
inputs = tokenize(text,return_tensors="pt",padding=True,truncation=True,max_length=512)

#推理
with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
probs = torch.nn.functional.softmax(logits,dim=-1)

#输出检测结果
print(f"Predicted probabilities:{probs}")

4.2 命名实体识别（NER）

接下来，我们将用 BERT 来进行命名实体识别，从文本中提取出人物、地点等信息。

from transformers import BertForTokenClassification,BertTokenizer
import torch


# 加载预训练的NER模型
ner_model = BertForTokenClassification.from_pretrained("dbmdz/bert-large-cased-finetuned-conll03-english")
ner_tokenizer = BertTokenizer.from_pretrained("dbmdz/bert-large-cased-finetuned-conll03-english")

# 输入文本
text = "Barack Obama was born in Hawaii."

# 编码文本
inputs = ner_tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512)

# 推理
with torch.no_grad():
    outputs = ner_model(**inputs)

# 获取标签
predictions = outputs.logits.argmax(dim=-1)
labels = ner_tokenizer.convert_ids_to_tokens(predictions[0].tolist())

# 打印识别出的实体
for token, label in zip(text.split(), labels):
    print(f"Token: {token}, Label: {label}")

4.3 问答系统

在这一部分，我们将展示如何使用 BERT 构建一个简单的问答系统，从给定的文本中回答问题。

from transformers import BertForQuestionAnswering,BertTokenizer
import torch

# 加载预训练的问答模型
qa_model = BertForQuestionAnswering.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")
qa_tokenizer = BertTokenizer.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad")

# 输入文本和问题
context = "Barack Obama was born in Hawaii. He was elected president in 2008."
question = "Where was Barack Obama born?"

# 编码问题和上下文
inputs = qa_tokenizer.encode_plus(question, context, return_tensors="pt")

# 推理
with torch.no_grad():
    outputs = qa_model(**inputs)

# 获取答案的起始和结束位置
start_idx = outputs.start_logits.argmax()
end_idx = outputs.end_logits.argmax()

# 获取答案
answer = qa_tokenizer.convert_tokens_to_string(qa_tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][start_idx:end_idx+1]))

print(f"Answer: {answer}")