《决策树入门教程》


1 数学基础
    1.1  概率论入门

    1.2  Bootstrap抽样方法

    1.3  对数的深刻认识

    1.4  信息与信息熵

    1.5  偏差与方差

    1.6  信息增益

    1.7  基尼不纯度

2 决策树基础知识
    2.1  决策树概述

    2.2  ID3算法简介

    2.3  C4.5算法简介

    2.4  CART算法简介

Bootstrap抽样方法简介

创建时间:2022-04-13 更新时间:2022-04-25 阅读次数:1611 次

Bootstrap 简介

Bootstrap方法最初由美国斯坦福大学统计学教授Bradley Efron在1977年提出。作为一种崭新的增广样本统计方法,Bootstrap方法为解决小规模样本试验评估问题提供了很好的思路。

Bradley Efron

美国加州斯坦福大学统计学家Bradley Efron(布拉德利·埃弗龙)因首创Bootstrap法(自助法,一种测量小数据样本可靠性的方法),获得了2018年度国际统计学奖。美国统计协会(ASA)与其他4个科学团体共同管理国际统计学奖,该奖项于2016年首次颁发,奖金8万美元,每两年颁发一次。

Efron的工作可以追溯到1977年,并产生了目前在许多学科中普遍使用的技术。在许多科学分支中,研究人员常常不得不从有限的数据中得出结论。评估这些结论的置信水平是至关重要的,而且往往很困难。在20世纪70年代,Efron等人意识到计算机的日益普及将使计算密集型的新测试成为可能。

Bootstrap法是第一个此类方法。它以随机的方式对数据样本进行划分,并计算出结论(例如两个变量之间存在很强的相关性)是否可靠。Efron说:“它允许数据分析师使用复杂的,甚至非常复杂的方法,并仍然能够评估其准确性。”

Bootstrap 详细介绍

很多人会对Bootstrap这个名字感到困惑。英语Bootstrap的意思是靴带,来自短语:pull oneself up by one′s bootstrap。18世纪德国文学家拉斯伯的小说《巴龙历险记》记述道:巴龙掉到湖里沉到湖底,在他绝望的时候,他用自己靴子上的带子把自己拉了上来。现意指不借助别人的力量,凭自己的努力,终于获得成功。在这里Bootstrap法是指用原样本自身的数据抽样得出新的样本及统计量,根据其意现在普遍将其译为自助法

一般情况下,总体永远都无法知道,我们能利用的只有样本,现在的问题是,样本该怎样利用呢?Bootstrap的思想也就是:既然样本是抽出来的,那我何不从样本中再抽样呢?

Bootstrap的抽样方式都是“有放回地全抽”,意思就是抽取的Bootstrap样本量与原样本相同,只是在抽样方式上采取有放回地抽,这样的抽样可以进行多次,每次都可以求一个相应的统计量/估计量,最后看看这个统计量的稳定性如何(用方差表示)。

Bootstrap是一种抽样方法。例如,我要统计鱼塘里面的鱼的条数,怎么统计呢?步骤如下所示:

(1)承包鱼塘,不让别人捞鱼(规定总体分布不变)。

(2)自己捞鱼,捞100条,都打上标签(构造样本)。

(3)把鱼放回鱼塘,休息一晚(使之混入整个鱼群,确保之后抽样随机)。

(4)开始捞鱼,每次捞100条,数一下,自己昨天标记的鱼有多少条,占比多少(一次重采样取分布)。

(5)重复3,4步骤n次,建立分布。

假设一下,第一次重新捕鱼100条,发现里面有标记的鱼12条,记下为12%,放回去,再捕鱼100条,发现标记的为9条,记下9%,重复多次之后,假设取置信区间95%,你会发现,每次捕鱼平均在10条左右有标记,所以,我们可以大致推测出鱼塘有1000条左右。

Bootstrap适用于小规模样本试验,这也就解释了,为什么在小样本的时候,Bootstrap效果较好,设想一下,如果我想统计大海里有多少鱼,即便我标记10万条也没用啊,因为实际数量太过庞大,而我取的样本相比太过渺小,最实际的就是,我下次再捕10万的时候,发现一条都没有标记,这就尴尬了。

本教程共11节,当前为第2节!
本教程最新修订时间为:2023-02-03 09:43:25