LLM的准确率评估采用什么方式:准确率评估使用的是 `sklearn.metrics` 模块中的 `accuracy_score` 函数
LLM的准确率评估采用什么方式:准确率评估使用的是 sklearn.metrics
模块中的 accuracy_score
函数
评估方式
代码里的准确率评估是基于每个样本最后一个预测的 token 与真实的 token 进行对比。具体来说,它会遍历测试数据集中的每个样本,使用模型预测出最后一个 token 的 ID,然后将预测的 token ID 与真实的 token ID 作比较,最后计算预测正确的样本数量占总样本数量的比例,以此作为准确率。
公式原理
准确率(Accuracy)的计算公式如下:
Accuracy = 预测正确的样本数 总样本数 \text{Accuracy} = \frac{\text{预测正确的样本数}}{\t