在机器学习中AUC和accuracy有什么内在关系?

一个模型AUC值很高,而accuracy很低是什么原因?反过来又是什么原因?
关注者
61
被浏览
153,539
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

以Binary Classification为例。

首先,AUC对应的不是一个accuracy,而是一系列accuracy。AUC是ROC的"线下面积",而ROC是以FPR-TPR为坐标的一条线,实际上是连接一系列散点的一条折线。这条折线上的每一个点,对应了一个threshold,以及由这个threshold确定的预测值及其accuracy、precision、recall等等的度量。

所以说,AUC衡量的是一个模型的好坏,是它给所有sample排序的合理程度(是不是正确地把负例排在了正例的前面);而accuracy衡量的是一个模型在一个特定threshold(比如,logistic regression模型在阈值1/2)下的预测准确度(是不是正确地把负例排在了阈值之前,正例排在了阈值之后)。

因此,AUC高而accuracy低或者accuracy高AUC低的情况有没有可能?有。一个模型定了,它的AUC就定了。但我可以取一个threshold,使得它的accuracy尽量低或者尽量高(有上限和下限)。