本文實例講述了python實作決策樹演算法。分享給大家供大家參考，具體如下：
from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO
# 读取csv数据，并将数据和特征值存入字典和类标签列表
allElectronicsData = open(r'AllElectronics.csv', 'rt')
reader = csv.reader(allElectronicsData)
headers = next(reader)
# 原代码中用的是：
# headers = reader.next()
# 这句代码应该是之前的版本用的，现在已经更新了没有next这个函数
# print(headers)
featureList = []
labelList = []
for row in reader:
labelList.append(row[len(row) - 1])
rowDict = {}
for i in range(1, len(row) - 1):
rowDict[headers[i]] = row[i]
featureList.append(rowDict)
# print(featureList)
# 将特征值矢量化,代表将各种参数进行矢量化
vec = DictVectorizer()
dummyX = vec.fit_transform(featureList).toarray()
# print("dummyX: " + str(dummyX))
# print(vec.get_feature_names())
# print("labelList: " + str(labelList))
# 将类标签列表矢量化，就是最后的结果
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
# print("dummyY: " + str(dummyY))
# 使用决策树进行分类
clf = tree.DecisionTreeClassifier()
# clf = tree.DecisionTreeClassifier(criterion = 'entropy')
clf = clf.fit(dummyX, dummyY)
# print("clf: " + str(clf))
# 将模型进行可视化
with open("allElectrionicInformationOri.dot", 'w') as f:
f = tree.export_graphviz(clf, feature_names = vec.get_feature_names(), out_file = f)
oneRowX = dummyX[0, :]
# print("oneRowX: " + str(oneRowX))
# 接下来改变一些数据进行预测
newRowX = oneRowX
newRowX[0] = 0
newRowX[1] = 1
print("newRowX: " + str(newRowX))
predictedY = clf.predict(newRowX.reshape(1, -1)) # 预测的结果需要加上后面的reshape(1, -1),不然会
# 报错：
# ValueError: Expected 2D array, got 1D array instead:
# array=[0. 1. 1. 0. 1. 1. 0. 0. 1. 0.].
# Reshape your data either using array.reshape(-1, 1)
# if your data has a single feature or array.reshape(1, -1) if it contains a single sample.
print("预测的结果为： " + str(predictedY))登入後複製
#針對人員購買力進行一次分類，以此來對項目進行分類，在最後的過程中，還可以對結果進行一定的預測。程式碼見上，有一些優點和缺點
決策樹演算法的優點：
1）簡單直觀，生成的決策樹很直觀。
2）基本上不需要預處理，不需要事先歸一化，處理缺失值。
3）使用決策樹預測的代價是O( #g#2 m)#O(log2m)。 m為樣本數。 4）既可以處理離散值也可以處理連續值。很多演算法只是專注於離散值或連續值。
5）可以處理多維度輸出的分類問題。
6）相比於神經網路之類的黑盒分類模型，決策樹在邏輯上可以得到很好的解釋
7）可以交叉驗證的剪枝來選擇模型，從而提高泛化能力。
8） 對於異常點的容錯能力好，健壯性高。
我們再看看決策樹演算法的缺點:
1）決策樹演算法非常容易過度擬合，導致泛化能力不強。可以透過設定節點最少樣本數量和限制決策樹深度來改進。
2）決策樹會因為樣本發生一點點的改動，就會導致樹結構的劇烈改變。這個可以透過整合學習之類的方法來解決。
3）尋找最優的決策樹是一個NP難的問題，我們一般是透過啟發式方法，容易陷入局部最優。可以透過整合學習之類的方法來改善。
4）有些比較複雜的關係，決策樹很難學習，例如異或。這個就沒有辦法了，一般這種關係可以換神經網路分類方法來解決。
5）如果某些特徵的樣本比例過大，生成決策樹容易偏向於這些特徵。這個可以透過調節樣本權重來改善。
相關推薦：
資料探勘十大演算法之決策樹詳解
#決策樹演算法
#決策樹演算法原理及案例
決策樹演算法實作
以上是python實作決策樹演算法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
