机器学习：精确率与召回率的权衡
高精度意味着如果诊断得了那种罕见病的病人，可能病人确实有，这是一个准确的诊断，高召回率意味着如果有一个还有这种罕见疾病的病人，也许算法会正确的识别他们确实患有这种疾病，事实中，在精确与召回之间往往有一个权衡。
精确率是真阳性的数量除以预测的总数，召回率是真正积极的数量除以实际阳性总数，如果用逻辑回归来做预测，然后Logistic回归模型将输出0-1之间的数字，我们通常将逻辑回归的输出阈值设置为0.5，如果高于0.5，预测为1，如果低于0.5，预测为0，假设我们要预测y=1，只有在非常有信心的情况下，这种罕见的疾病才会出现，所以如果每当我们预测病人有疾病，我们可能得送他们去接受一种可能是侵入性的昂贵治疗，所以如果疾病的后果不是那么糟糕，即使不被咄咄逼人的对待，那么我们可能想预测y只等于1，如果我们很有信心，那样的话，可以选择设置更好的阈值，只有当f(x)≥0.7时，才预测y=1，通过提高这个阈值，只有当你非常自信时，你才能预测y=1，这意味着精确度会提高，因为每当你预测一个，提高阈值将带来更高的精度，这也会导致召回率降低，因为现在很少预测一个，在这种疾病的患者总数中，我们将正确诊断更少的人，所以通过将阈值提高到0.7，最终的得到了更好的精度，更低的召回率，事实上，如果你想预测y=1，只有当你非常自信的时候，甚至可以把阈值提高到0.9，这导致了更高的精度，所以当你预测病人有疾病，你可能是对的，这将给你一个非常高的精度，另一方面，召回将进一步恶化，假设我们想避免错过太多这种罕见疾病的病例，所以如果我们想要的是在有疑问的时候预测y=1，这种情况可能是如果治疗不是太侵入性，痛苦或昂贵，但是让疾病得不到治疗对病人的后果要糟糕得多，所以在这种情况下，为了安全起见，可能会想到，预测他们有它，并考虑他们的治疗，如果对于应用程序来说，这是做出决定的更好方法，然后会接受这个阈值，而不是降低它，把它调到0.3，那样的话，只要你认为有30%的可能性，你就会预测到一个或者更好的是疾病存在，只有当你非常确定疾病不存在时，你才能预测零，可以想象，对精确度和召回率的影响将与你在这里看到的相反，降低这个阈值将导致更低的精确率，我们更愿意预测一个高阈值的数据，即使我们不确定，但是结果更高，因为所有有这种病的病人我们可能会正确的识别更多的他们，更普遍的说，只有当f高于某个阈值时，才能灵活的预测，通过选择这个阈值，我们可以在精确和召回之间做出不同的权衡，事实证明，对于大多数学习算法来说，在精确和召回之间有一个权衡，精度和召回都在0-1之间，如果设定一个很高的阈值，假设阈值为0.99，然后最终得到了非常高的精度和较低的召回，当你降低这个阈值的值时，然后你得到了一条曲线，它权衡了精确率和召回率，直到最终，如果你有一个很低的阈值，阈值等于0.01，然后你最终得到非常低的精度，但相对较高的召回率，有时通过绘制这条曲线，然后可以尝试选择一个阈值对应于在这条曲线上选择一个点，平衡了假阳性和假阴性的成本，或者平衡了高精度和高召回的好处，所以绘制不同阈值的精度和召回率允许你选择一个点，阈值并不是真正可以通过交叉验证来实现的，因为你可以为许多应用程序指定最佳点，手动选择阈值进行交易，精确率和召回率是最终要做的。
事实证明，如果你想自动权衡精度和召回，而不是自己动手，还有一个指标叫f(score)，它有时用于自动组合精确率和召回率，来帮助选择最佳值，或者两者之间最好的权衡，精确召回的一个挑战是你现在使用两个不同的度量来评估你的算法，所以如果你训练了三种不同的算法，精确召回数字是这样的，如何选择使用哪种算法并不那么明显，有一种算法在精度和召回方面都很好，那你可能想用那个，但是在这个例子中，算法二精度最高，但算法三的召回率最高，算法一在两者之间进行权衡，所以显然没有一种算法是最好的选择，所以为了帮助你决定选择哪种算法，找到一种将精确和召回结合起来的方法可能是有用的，变成一个单一的分数，所以你可以看看哪个算法得分最高，可以把精确度和召回率结合起来的一个方法是取平均值，但事实证明，计算平均值和选择算法，精确率和召回率之间的最高平均值并不那么有效，因为这个算法的精度非常低，事实上，这可能与一种算法相呼应，这种算法实际上打印“y=1"诊断，所有病人都得了这种病，这就是为什么召回率是完美的，但是精确率真的很低，所以算法三实际上不是一个特别有用的算法，即使精确率和召回率之间的平均值相当高，所以不要用精确率和召回率之间的平均值，相反，结合精确率和召回率最常见的方法是计算一些东西，称为Fscore，Fscore是一种结合p和r精度和召回的方法，但这更强调这些值中较低的一个，因为如果一个算法有很低的精确率或者很低的召回率，可能没那么有用，所以Fscore是一种计算平均值的方法，其公式如下，不是平均p和r精确召回，而是平均1/p和1/r，如果p和r很小，那么Fscore也将会很小，计算可看出，第一个算法比第二、三个算法更好，在数学方面，这个方程也称为p和r的调和平均值，它是一种取平均值的方法，更强调较小的价值。
