Bert Score-文本相似性评估
Bert Score
Bert Score 是基于BERT模型的一种方法。它通过计算两个句子在BERT模型中的嵌入编码之间的余弦相似度来评估它们的相似度。BERTScore考虑了上下文信息和语义信息，因此能够更准确地衡量句子之间的相似度。
安装
pip install bert-score
使用例子
- 一个句子和一个句子的比较
cand=["I have an apple."]
ref=["I have a pen."]
P, R, F1 = bert_score.score(cand,ref, lang="en",
verbose=True,
model_type='bert-large-uncased')
#tensor([0.8176]) tensor([0.8176]) tensor([0.8176])
- 一个句子和多个句子的比较
cand=["I have an apple."]
ref=[["I have a pen.","I have a doll"]]
P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
model_type='bert-large-uncased')
#tensor([0.8176]) tensor([0.8176]) tensor([0.8176])
- 多个句子和多个句子之间的比较
cand=["I have an apple.","I am Lucky."]
ref=["I have a pen.","I am Lucy."]
P, R, F1 = bert_score.score(cand,ref, lang="en", verbose=True,
model_type='bert-large-uncased')
#tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489]) tensor([0.8176, 0.6489])
- 这里的model_type用于指定模型，可以点击仓库查看
- 这里的返回值在0-1之间，越接近1说明越相似