LLM大模型实践18-评估（上）——存在一个简单的正确答案
准备数据
products_and_category = {
"电脑和笔记本": [
"TechPro 超极本",
"BlueWave 游戏本",
"PowerLite Convertible",
"TechPro Desktop",
"BlueWave Chromebook"
],
"智能手机和配件": [
"SmartX ProPhone"
],
"专业手机": [
"MobiTech PowerCase",
"SmartX MiniPhone",
"MobiTech Wireless Charger",
"SmartX EarBuds"
],
"电视和家庭影院系统": [
"CineView 4K TV",
"SoundMax Home Theater",
"CineView 8K TV",
"SoundMax Soundbar",
"CineView OLED TV"
],
"游戏机和配件": [
"GameSphere X",
"ProGamer Controller",
"GameSphere Y",
"ProGamer Racing Wheel",
"GameSphere VR Headset"
],
"音频设备": [
"AudioPhonic Noise-Canceling Headphones",
"WaveSound Bluetooth Speaker",
"AudioPhonic True Wireless Earbuds",
"WaveSound Soundbar",
"AudioPhonic Turntable"
],
"相机和摄像机": [
"FotoSnap DSLR Camera",
"ActionCam 4K",
"FotoSnap Mirrorless Camera",
"ZoomMaster Camcorder",
"FotoSnap Instant Camera"
]
}
找出相关产品和类别名称
def find_category_and_product_v1(user_input,products_and_category):
"""
从用户输入中获取到产品和类别
参数：
user_input：用户的查询
products_and_category：产品类型和对应产品的字典
"""
delimiter = "####"
system_message = f"""
您将提供客户服务查询。\
客户服务查询将用{delimiter}字符分隔。
输出一个 Python 列表，列表中的每个对象都是 Json 对象，每个对象的格式如下：
'类别': <电脑和笔记本, 智能手机和配件, 电视和家庭影院系统, \
游戏机和配件, 音频设备, 相机和摄像机中的一个>,
以及
'名称': <必须在下面允许的产品中找到的产品列表>
其中类别和产品必须在客户服务查询中找到。
如果提到了一个产品，它必须与下面允许的产品列表中的正确类别关联。
如果没有找到产品或类别，输出一个空列表。
根据产品名称和产品类别与客户服务查询的相关性，列出所有相关的产品。
不要从产品的名称中假设任何特性或属性，如相对质量或价格。
允许的产品以 JSON 格式提供。
每个项目的键代表类别。
每个项目的值是该类别中的产品列表。
允许的产品：{products_and_category}
"""
few_shot_user_1 = """我想要最贵的电脑。"""
few_shot_assistant_1 = """
[{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro
Desktop', 'BlueWave Chromebook']}]
"""
messages = [
{'role':'system', 'content': system_message},
{'role':'user', 'content': f"{delimiter}{few_shot_user_1}{delimiter}"},
{'role':'assistant', 'content': few_shot_assistant_1 },
{'role':'user', 'content': f"{delimiter}{user_input}{delimiter}"},
]
return get_completion_temperature_v3(messages)
在一些查询上进行评估
# 第一个评估的查询
customer_msg_0 = f"""如果我预算有限，我可以买哪款电视？"""
products_by_category_0 = find_category_and_product_v1(customer_msg_0,
products_and_category)
print(products_by_category_0)
customer_msg_1 = f"""我需要一个智能手机的充电器"""
products_by_category_1 = find_category_and_product_v1(customer_msg_1,
products_and_category)
print(products_by_category_1)
customer_msg_2 = f"""
你们有哪些电脑？"""
products_by_category_2 = find_category_and_product_v1(customer_msg_2,
products_and_category)
products_by_category_2
输出回答正确，但格式有误。
customer_msg_3 = f"""
告诉我关于smartx pro手机和fotosnap相机的信息，那款DSLR的。
我预算有限，你们有哪些性价比高的电视推荐？"""
products_by_category_3 = find_category_and_product_v1(customer_msg_3,
products_and_category)
print(products_by_category_3)
更难的测试用例
customer_msg_4 = f"""
告诉我关于CineView电视的信息，那款8K的，还有Gamesphere游戏机，X款的。
我预算有限，你们有哪些电脑？"""
products_by_category_4 = find_category_and_product_v1(customer_msg_4,products_and_category)
print(products_by_category_4)
修改指令以处理难测试用例
def find_category_and_product_v2(user_input,products_and_category):
"""
从用户输入中获取到产品和类别
添加：不要输出任何不符合 JSON 格式的额外文本。
添加了第二个示例（用于 few-shot 提示），用户询问最便宜的计算机。
在这两个 few-shot 示例中，显示的响应只是 JSON 格式的完整产品列表。
参数：
user_input：用户的查询
products_and_category：产品类型和对应产品的字典
"""
delimiter = "####"
system_message = f"""
您将提供客户服务查询。\
客户服务查询将用{delimiter}字符分隔。
输出一个 Python列表，列表中的每个对象都是 JSON 对象，每个对象的格式如下：
'类别': <电脑和笔记本, 智能手机和配件, 电视和家庭影院系统, \
游戏机和配件, 音频设备, 相机和摄像机中的一个>,
以及
'名称': <必须在下面允许的产品中找到的产品列表>
不要输出任何不是 JSON 格式的额外文本。
输出请求的 JSON 后，不要写任何解释性的文本。
其中类别和产品必须在客户服务查询中找到。
如果提到了一个产品，它必须与下面允许的产品列表中的正确类别关联。
如果没有找到产品或类别，输出一个空列表。
根据产品名称和产品类别与客户服务查询的相关性，列出所有相关的产品。
不要从产品的名称中假设任何特性或属性，如相对质量或价格。
允许的产品以 JSON 格式提供。
每个项目的键代表类别。
每个项目的值是该类别中的产品列表。
允许的产品：{products_and_category}
"""
few_shot_user_1 = """我想要最贵的电脑。你推荐哪款？"""
few_shot_assistant_1 = """
[{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro
Desktop', 'BlueWave Chromebook']}]
"""
few_shot_user_2 = """我想要最便宜的电脑。你推荐哪款？"""
few_shot_assistant_2 = """
[{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro
Desktop', 'BlueWave Chromebook']}]
"""
messages = [
{'role':'system', 'content': system_message},
{'role':'user', 'content': f"{delimiter}{few_shot_user_1}{delimiter}"},
{'role':'assistant', 'content': few_shot_assistant_1 },
{'role':'user', 'content': f"{delimiter}{few_shot_user_2}{delimiter}"},
{'role':'assistant', 'content': few_shot_assistant_2 },
{'role':'user', 'content': f"{delimiter}{user_input}{delimiter}"},
]
return get_completion_temperature_v3(messages)
在难测试用例上评估修改后的指令
customer_msg_3 = f"""
告诉我关于smartx pro手机和fotosnap相机的信息，那款DSLR的。
另外，你们有哪些电视？"""
products_by_category_3 = find_category_and_product_v2(customer_msg_3,
products_and_category)
print(products_by_category_3)
回归测试：验证模型在以前的测试用例上仍然有效
customer_msg_0 = f"""如果我预算有限，我可以买哪款电视？"""
products_by_category_0 = find_category_and_product_v2(customer_msg_0,
products_and_category)
print(products_by_category_0)
收集开发集进行自动化测试
msg_ideal_pairs_set = [
{"customer_msg":"""如果我预算有限，我可以买哪种电视？""",
"ideal_answer":{
"电视和家庭影院系统":set(
["CineView 4K TV", "SoundMax Home Theater", "CineView 8K TV", "SoundMax Soundbar", "CineView OLED TV"]
)}
},
{"customer_msg":"""我需要一个智能手机的充电器""",
"ideal_answer":{
"智能手机和配件":set(
["MobiTech PowerCase", "MobiTech Wireless Charger", "SmartX EarBuds"]
)}
},
{"customer_msg":f"""你有什么样的电脑""",
"ideal_answer":{
"电脑和笔记本":set(
["TechPro 超极本", "BlueWave 游戏本", "PowerLite Convertible", "TechPro Desktop", "BlueWave Chromebook"
])
}
},
{"customer_msg":f"""告诉我关于smartx pro手机和fotosnap相机的信息，那款DSLR的。\
另外，你们有哪些电视？""",
"ideal_answer":{
"智能手机和配件":set(
["SmartX ProPhone"]),
"相机和摄像机":set(
["FotoSnap DSLR Camera"]),
"电视和家庭影院系统":set(
["CineView 4K TV", "SoundMax Home Theater","CineView 8K TV",
"SoundMax Soundbar", "CineView OLED TV"])
}
},
{"customer_msg":"""告诉我关于CineView电视，那款8K电视、\
Gamesphere游戏机和X游戏机的信息。我的预算有限，你们有哪些电脑？""",
"ideal_answer":{
"电视和家庭影院系统":set(
["CineView 8K TV"]),
"游戏机和配件":set(
["GameSphere X"]),
"电脑和笔记本":set(
["TechPro Ultrabook", "BlueWave Gaming Laptop", "PowerLite Convertible", "TechPro Desktop", "BlueWave Chromebook"])
}
},
{"customer_msg":f"""你们有哪些智能手机""",
"ideal_answer":{
"智能手机和配件":set(
["SmartX ProPhone", "MobiTech PowerCase", "SmartX MiniPhone", "MobiTech Wireless Charger", "SmartX EarBuds"
])
}
},
{"customer_msg":f"""我预算有限。你能向我推荐一些智能手机吗？""",
"ideal_answer":{
"智能手机和配件":set(
["SmartX EarBuds", "SmartX MiniPhone", "MobiTech PowerCase", "SmartX ProPhone", "MobiTech Wireless Charger"]
)}
},
{"customer_msg":f"""有哪些游戏机适合我喜欢赛车游戏的朋友？""",
"ideal_answer":{
"游戏机和配件":set([
"GameSphere X",
"ProGamer Controller",
"GameSphere Y",
"ProGamer Racing Wheel",
"GameSphere VR Headset"
])}
},
{"customer_msg":f"""送给我摄像师朋友什么礼物合适？""",
"ideal_answer": {
"相机和摄像机":set([
"FotoSnap DSLR Camera", "ActionCam 4K", "FotoSnap Mirrorless Camera", "ZoomMaster Camcorder", "FotoSnap Instant Camera"
])}
},
{"customer_msg":f"""我想要一台热水浴缸时光机""",
"ideal_answer": []
}
]
通过与理想答案比较来评估测试用例
import json
def eval_response_with_ideal(response,
ideal,
debug=False):
"""
评估回复是否与理想答案匹配
参数：
response: 回复的内容
ideal: 理想的答案
debug: 是否打印调试信息
"""
if debug:
print("回复：")
print(response)
# json.loads() 只能解析双引号，因此此处将单引号替换为双引号
json_like_str = response.replace("'",'"')
# 解析为一系列的字典
l_of_d = json.loads(json_like_str)
# 当响应为空，即没有找到任何商品时
if l_of_d == [] and ideal == []:
return 1
# 另外一种异常情况是，标准答案数量与回复答案数量不匹配
elif l_of_d == [] or ideal == []:
return 0
# 统计正确答案数量
correct = 0
if debug:
print("l_of_d is")
print(l_of_d)
# 对每一个问答对
for d in l_of_d:
# 获取产品和目录
cat = d.get('category')
prod_l = d.get('products')
# 有获取到产品和目录
if cat and prod_l:
# convert list to set for comparison
prod_set = set(prod_l)
# get ideal set of products
ideal_cat = ideal.get(cat)
if ideal_cat:
prod_set_ideal = set(ideal.get(cat))
else:
if debug:
print(f"没有在标准答案中找到目录 {cat}")
print(f"标准答案: {ideal}")
continue
if debug:
print("产品集合：\n",prod_set)
print()
print("标准答案的产品集合：\n",prod_set_ideal)
# 查找到的产品集合和标准的产品集合一致
if prod_set == prod_set_ideal:
if debug:
print("正确")
correct +=1
else:
print("错误")
print(f"产品集合: {prod_set}")
print(f"标准的产品集合: {prod_set_ideal}")
if prod_set <= prod_set_ideal:
print("回答是标准答案的一个子集")
elif prod_set >= prod_set_ideal:
print("回答是标准答案的一个超集")
# 计算正确答案数
pc_correct = correct / len(l_of_d)
return pc_correct
我们使用上述测试用例中的一个进行测试，首先看一下标准回答：
print(f'用户提问: {msg_ideal_pairs_set[7]["customer_msg"]}')
print(f'标准答案: {msg_ideal_pairs_set[7]["ideal_answer"]}')
再对比 LLM 回答，并使用验证函数进行评分
response = find_category_and_product_v2(msg_ideal_pairs_set[7]["customer_msg"],
products_and_category)
print(f'回答: {response}')
eval_response_with_ideal(response,
msg_ideal_pairs_set[7]["ideal_answer"])
在所有测试用例上运行评估，并计算正确的用例比例
import time
score_accum = 0
for i, pair in enumerate(msg_ideal_pairs_set):
# time.sleep(20)
print(f"示例 {i}")
customer_msg = pair['customer_msg']
ideal = pair['ideal_answer']
# print("Customer message",customer_msg)
# print("ideal:",ideal)
response = find_category_and_product_v2(customer_msg,
products_and_category)
# print("products_by_category",products_by_category)
score = eval_response_with_ideal(response,ideal,debug=False)
print(f"{i}: {score}")
score_accum += score
n_examples = len(msg_ideal_pairs_set)
fraction_correct = score_accum / n_examples
print(f"正确比例为 {n_examples}: {fraction_correct}")