决策树入门教程


1 数学基础

    1.1 概率论入门

    1.2 Bootstrap抽样方法

    1.3 对数的深刻认识

    1.4 信息与信息熵

    1.5 偏差与方差

    1.6 信息增益

    1.7 基尼不纯度

2 决策树基础知识

    2.1 决策树概述

    2.2 ID3算法简介

    2.3 C4.5算法简介

    2.4 CART算法简介

《决策树入门教程》前言

阅读次数:1825 次

在机器学习中,决策树是一个预测模型,是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。

决策树是一种十分常用的分类方法。它是一种监督学习,所谓监督学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。

常见的决策树算法有ID3,C4.5和CART(classification and regression tree),如下表所示:

生成算法 划分标准
ID3 信息增益
C4.5 信息增益率
CART 基尼指数