ROC(Receiver Operating Characteristic)曲線和AUC常用來評估一個二值分類器(binary classifier)的優劣。這篇文章將先簡單的介紹ROC和AUC,而後用實例示範如何python作出ROC曲線圖以及計算AUC。
AUC(Area Under Curve)是機器學習二分類模型中非常常用的評估指標,相較於F1-Score對項目的不平衡有更大的容忍性,目前常見的機器學習庫中(比如scikit-learn)一般也都是集成該指標的計算,但是有時候模型是單獨的或者自己編寫的,此時想要評估訓練模型的好壞就得自己搞一個AUC計算模組,本文在查詢資料時發現libsvm-tools有一個非常通俗易懂的auc計算,因此摳出來用作日後之用。
AUC的計算分為以下三個步驟:
1、計算資料的準備,如果模型訓練時只有訓練集的話一般使用交叉驗證的方式來計算,如果有評估集(evaluate)一般就可以直接計算了,數據的格式一般就是需要預測得分以及其目標類別(注意是目標類別,不是預測得到的類別)
2、根據閾值劃分得到橫(X:False Positive Rate)以及縱(Y:True Positive Rate)點
3、將座標點連成曲線之後計算其曲線下面積,就是AUC的值
#! -*- coding=utf-8 -*-import pylab as pl from math import log,exp,sqrt evaluate_result="you file path"db = [] #[score,nonclk,clk]pos, neg = 0, 0 with open(evaluate_result,'r') as fs: for line in fs: nonclk,clk,score = line.strip().split('\t') nonclk = int(nonclk) clk = int(clk) score = float(score) db.append([score,nonclk,clk]) pos += clk neg += nonclk db = sorted(db, key=lambda x:x[0], reverse=True) #计算ROC坐标点xy_arr = []tp, fp = 0., 0. for i in range(len(db)): tp += db[i][2] fp += db[i][1] xy_arr.append([fp/neg,tp/pos]) #计算曲线下面积auc = 0. prev_x = 0for x,y in xy_arr: if x != prev_x: auc += (x - prev_x) * y prev_x = x print "the auc is %s."%auc x = [_v[0] for _v in xy_arr] y = [_v[1] for _v in xy_arr] pl.title("ROC curve of %s (AUC = %.4f)" % ('svm',auc)) pl.xlabel("False Positive Rate") pl.ylabel("True Positive Rate") pl.plot(x, y)# use pylab to plot x and y pl.show()# show the plot on the screen
其格式為:
nonclk \t clk \t score
其中:
1、nonclick:未點擊的數據,可以看做負樣本的數量
2 、clk:點擊的數量,可以看做正樣本的數量
3、score:預測的分數,以該分數為group進行正負樣本的預統計可以減少AUC的計算量
運行的結果為:
如果本機沒安裝pylab可以直接註解依賴以及畫圖部分
注意
上面貼的程式碼:
1.只能計算二分類的結果(至於二分類的標籤隨便處理)
2、上面程式碼中每個score都做了一次閾值,其實這樣效率是相當低的,可以對樣本進行採樣或者在計算橫軸座標時進行等分計算
非常感謝你的閱讀
大學的時候選擇了自學python,工作了發現吃了計算機基礎不好的虧,學歷不行這是沒辦法的事,只能後天彌補,於是在編碼之外開啟了自己的逆襲之路,不斷的學習python核心知識,深入的研習計算機基礎知識,整理好了,我放在我們的微信公眾號《程序員學府》,如果你也不甘平庸,那就與我一起在程式設計之外,不斷成長吧!
其實這裡不僅有技術,更有那些技術之外的東西,比如,如何做一個精緻的程式設計師,而不是“屌絲”,程式設計師本身就是高貴的一種存在啊,難道不是嗎? [點擊加入]想做自己想成為高尚人,加油!
感謝大家的閱讀,希望大家收益多多。
本文轉自:https://blog.csdn.net/adrrry/article/details/106796288
推薦教學:《python教學》
以上是Python畫ROC曲線和AUC值計算(附程式碼)的詳細內容。更多資訊請關注PHP中文網其他相關文章!