《决策树入门教程》


1 数学基础
    1.1  概率论入门

    1.2  Bootstrap抽样方法

    1.3  对数的深刻认识

    1.4  信息与信息熵

    1.5  偏差与方差

    1.6  信息增益

    1.7  基尼不纯度

2 决策树基础知识
    2.1  决策树概述

    2.2  ID3算法简介

    2.3  C4.5算法简介

    2.4  CART算法简介

概率论基础概念

创建时间:2022-04-01 更新时间:2022-04-27 阅读次数:1599 次

导读:入门即开窍之意,本节的内容不是基本概念的阐述,而是某种思想的表述,见下文的内容:从集合上升到概率,进而进阶到熵,这样才能把决策树的内容学好。

1 随机试验

(1)可以在相同的条件下重复地进行

(2)每次试验的可能结果不止一个,并且能事先明确试验的所有可能结果

(3)进行一次试验之前不能确定哪一个结果会出现。

在概率论中,将具有上述三个特点的试验称为随机试验,一般用E来表示。

2 样本空间

对于随机试验,尽管在每次试验之前不能预知试验的结果,但试验的所有可能结果组成的集合是已知的。将随机试验E的所有可能结果组成的集合称为E样本空间,记为S。样本空间的元素,即E的每个结果,称为样本点

3 随机事件

一般情况下,称试验E的样本空间S的子集为E的随机事件,简称事件。在每次试验中,当且仅当这一子集中的一个样本点出现时,称这一事件发生。特别的,由一个样本点组成的单点集,称为基本事件

1.4、概率论与集合论的关系

样本空间相当于是一个集合,基本事件是这个集合的元素,而随机事件则是样本空间的子集,这样就把概率论的知识与集合论的知识联系了起来。

集合论,是数学的一个基本的分支学科,研究对象是一般集合。绝大数人早就知道“集合论”的大名,但是很多人感觉集合论没有什么重要的意义,研究对象无非是某个体是否属于某集合的问题。

其实,这种感觉还是肤浅了,按照数学的特点,从具体上升到抽象,集合论可以上升到概率论。例如,一个袋子里面,有$3$个黑球,$2$个红球,这是集合论的观点。但是,这个事情也可以从概率论的角度去看待:一个袋子里面,黑球出现的概率是$\frac{3}{5}$,红球出现的概率是$\frac{2}{5}$,从集合论上升到概率论,此时境界完全不一样了。

本教程共11节,当前为第1节!
本教程最新修订时间为:2023-02-03 09:43:25