似然函数是衡量一个统计模型在给定观测数据下,其参数合理性的一种度量。它告诉我们,在不同的参数取值下,我们当前观测到的这组数据"有多大可能"会发生。
要理解似然函数,关键在于区分 "概率" 和 "似然":
概率:在已知参数(例如,已知一枚硬币是均匀的,正面概率p=0.5)的情况下,预测未来观测结果的可能性。我们经常碰到的概率问题往往是这样的:给定p=0.5,抛掷10次得到6次正面的概率值是多少?
似然:在已知观测结果(例如,我们抛掷了10次,得到了6次正面)的情况下,反过来评估不同参数的可能性。我们经常碰到的似然问题往往是这样的:我们观测到了"10次里出6次正面"这个结果,那么正面概率p=0.5、p=0.6、p=0.7... 的似然值分别是多少?
综上所述,我们可以得出结论:概率是"由因推果",而似然是"由果探因"。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
假设我们抛一枚硬币10次,观察到有6次是正面(Head),4次是反面(Tail)。我们想知道这枚硬币是均匀的吗?即正面的概率 p 是多少?
因为每次抛掷是独立的伯努利试验,正面概率为 p。那么,得到6次正面的概率(即似然函数)是:
L(p) = P(6次正面 | 抛硬币10次) = C(10, 6) · p⁶ · (1-p)⁴
其中 C(10, 6) 是组合数,是一个常数,可以忽略,因为与参数p无关。
如果硬币是均匀的,即p = 0.5,则计算出的似然值是:
L(0.5) ∝ 0.5⁶ · 0.5⁴ = 0.000976
如果硬币的 p = 0.6(正好等于观测到的正面比例),则计算出的似然值是:
L(0.6) ∝ 0.6⁶ · 0.4⁴ ≈ 0.001194
如果硬币的 p = 0.1(几乎总是反面),则计算出的似然值是:
L(0.1) ∝ 0.1⁶ · 0.9⁴ ≈ 0.000000066
比较这些值,我们发现 L(0.6) > L(0.5) > L(0.1)。这意味着,在观测到"10次里出6次正面"这个数据后,参数 p=0.6 的似然最高。也就是说,在所有可能的 p 中,p=0.6 这个值让当前观测到的数据最有可能发生。
上述例子自然地引出了统计学中一个极其重要的概念——最大似然估计。
最大似然估计 的核心思想就是:找到一个参数值,使得似然函数的值达到最大。因为这个参数值能最好地解释我们当前观测到的数据。
在上面的例子中,p = 0.6 就是参数 p 的最大似然估计值。这非常直观,因为观测到的正面比例就是 6/10 = 0.6。