小白学python-决策树和随机森林

概述决策树：定义：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法信息的度量和作用：比特：通信数学原理，奠定现代信息论的基础信息熵：信息和消除不确定性是相联系的信息增益：决策树的划分依据信息增益表 决策树：

定义：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

信息的度量和作用：

比特：通信数学原理，奠定现代信息论的基础

信息熵：

信息和消除不确定性是相联系的

信息增益：

决策树的划分依据

信息增益表示得知特征X的信息而使得类Y的信息的不正确性减少的程度

sklearn决策树API：  class sklearn.tree.DecisionTreeClassifIEr(criterion=’gini’, max_depth=None,random_state=None)

•决策树分类器

•criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’

•max_depth:树的深度大小

•random_state:随机数种子

•method:

•decision_path:返回决策树的路径

其他分类依据：

ID3：信息增益 最大的准则

C4.5：信息增益比 最大的准则

CART：

回归树：平方误差最小

分类树：肯尼系数  最小的准则  在 sklearn中可以选择划分的原则

决策树案例：

决策树的流程：

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取（x_train.to_dict(orIEnt="records")）

4、决策树估计器流程

决策树的结构、本地保存：

1、sklearn.tree.export_graphviz()  该函数导出DOT格式：tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具：安装graphviz（能够将dot文件转化成pdf、png）

3、运行命令：dot -Tpng tree.dot -o tree.png

import pandas as pdfrom sklearn.model_selection import cross_val_scorefrom sklearn import treefrom sklearn.preprocessing import LabelEncoderfrom sklearn.tree import export_graphvizdf = pd.read_csv('F:\python\python docment\Titanic\train.csv')df.Age.fillna(df.Age.mean(),inplace=True)print(df.head())print(df.info())print(df.Age.mean())print(df.Age.median())le = LabelEncoder()le.fit(df['Sex'])#用离散值转化标签值df['Sex'] = le.transform(df['Sex'])print(df.Sex)#建模预测features = ["Pclass","Sex","Age","SibSp","Parch"]X = df[features]y = df['Survived']dt = tree.DecisionTreeClassifIEr()score = cross_val_score(dt,X,y,cv=5,scoring='accuracy')import numpy as npprint(np.mean(score))#决策树可视化dt.fit(X,y)with open("F:/python/python docment/Titanic.dot",'w') as f:    f = export_graphviz(dt,feature_names=['Pcalss','Sex','Age','SibSp','Parch'],out_file=f)

决策树的优缺点：

优点：

1、简单的理解和解释，树木可视化

2、需要较少的数据准备，其他技术通常需要数据归一化

缺点：

决策树学习者可以创建不能很好地推广数据的过于复杂的树

改进：

1、剪枝cart算法（决策树API已经实现）

2、随机森林（准确率比较高）

随机森林：

定义：包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定

集成学习方法：

集成学习通过建立多个模型组合的来解决单一预测问题，她的工作原理就是生成多个分类器/模型，各自独立地学习和做出预测。这些预测最后结合成单预测，因此由于任何一个单分类的做出预测

单个树建立过程：（N个样本，M个特征）

1、随机在N个样本中选择一个样本，重复N次，样本有可能重复

2、随机在M个特征中选出m个特征

3、随机又放回的抽样（boot）

API：class sklearn.ensemble.RandomForestClassifIEr(n_estimators=10, criterion=’gini’max_depth=None, bootstrap=True, random_state=None)

随机森林：

n_estimator决策树的数量

maxx_depth：每课书的深度限制

案例分析：

from sklearn.datasets import load_irisfrom sklearn.datasets import fetch_20newsgroupsfrom sklearn.model_selection import  train_test_splitfrom sklearn.datasets import load_bostonfrom sklearn.preprocessing import StandardScalerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.feature_extraction.text import TfIDfVectorizerfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.tree import DecisionTreeClassifIErfrom sklearn.ensemble import RandomForestClassifIErfrom sklearn.model_selection import gridsearchcvimport pandas as pdimport numpy as npdef decision():    #获取数据    titan = pd.read_csv("F:\python\python docment\Titanic\train.csv")    #处理数据，找出特征值和目标值    x = titan[['Pclass', 'Age', 'Sex']]    y = titan['Survived'] #缺失值处理    x['Age'].fillna(x['Age'].mean(), inplace=True)    #分割数据到训练集和测试集    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)    #进行处理特征工程    dict = DictVectorizer(sparse=False)    x_train = dict.fit_transform(x_train.to_dict(orIEnt="records"))    x_test = dict.transform(x_test.to_dict(orIEnt="records"))    print(x_train)  #随机森林的结构    rf = RandomForestClassifIEr()    param = {"n_estimators": [120,200,300,500,800,1200],"max_depth": [5,8,15,30]}    #网格搜索与交叉验证    gc = gridsearchcv(rf, param_grID=param,cv=5)    gc.fit(x_train,y_train)    print("准确率：",gc.score(x_test,y_test))    print("查看选择的参数模型",gc.best_params_)    return Noneif __name__ == "__main__":    decision()

随机森林的优点：

1、在当前所有算法中，具有极好的准确率

2、能够有效运行在大数据集上

3、能够处理具有较高维度的输入样本，而且不需要降维

4、能够评估各个特征在分类问题上的重要性

总结

以上是内存溢出为你收集整理的小白学python-决策树和随机森林全部内容，希望文章能够帮你解决小白学python-决策树和随机森林所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。