似然(likelihood)是统计推断中一个基础而又容易被误解的概念。它不是简单的"参数为真的概率",而是一种衡量参数值在给定观测数据下有多"可信"的工具。掌握似然函数的含义和使用方法,对于进行参数估计、假设检验以及理解频率学派与贝叶斯推断之间的联系都至关重要。 从直觉上说,似然回答的问题是:在观察到目前的数据之后,哪一组参数更能产生这些数据?想象你有一枚硬币,抛了十次得到七次正面。你可能会问,硬币偏不偏向正面。将偏向程度用参数θ表示(θ代表正面出现的概率),似然函数告诉你对于不同的θ值,得到7次正面的观测有多"可能"。
如果θ = 0.7,这一结果很"合理";如果θ = 0.1,则观测结果会显得非常不可信。重要的是,似然把数据固定住,考察不同参数下数据的概率或概率密度,形式上写作 L(θ; x0) ∝ f(x0; θ),这里的 f 是观察值 x0 在参数 θ 下的概率或密度。 在频率学派的框架里,似然函数是参数估计与检验的基础。最大似然估计(Maximum Likelihood Estimate, MLE)就是选择使似然函数达到最大值的参数作为估计值。最大化原始似然函数在数学上有时不便于处理,因此常常取对数得到对数似然(log-likelihood)进行运算。由于对数是单调递增的,对数似然在参数空间的极大点与原始似然一致,但对数化后求导更方便,有利于导出解析解或用于数值优化。
似然比检验基于两个参数值或参数子空间下似然的比值来比较模型优劣。若要比较两个点假设或嵌套模型,可以计算似然比 λ = L(θ0; x)/L(θ̂; x),其中 θ̂ 是在更广参数空间下的最大似然估计。通常会对 λ 取对数并根据样本量引入渐近分布,得到判定规则,使得似然比检验在很多情形下是最有力的检验方法之一。 在贝叶斯框架中,似然扮演另一种角色。贝叶斯推断将似然视为"证据的发生概率在给定假设下的值",用公式 P(E|H)。贝叶斯公式指出后验分布 ∝ 先验 × 似然。
也就是说,似然把观测数据转化为关于参数的约束,然后与先验信息相结合得到后验分布。注意此处似然并不被归一化为概率分布(相对于参数),只有乘以先验并归一化后才得到真正的后验概率分布。 为了更好地理解似然,可以看两个简单例子。第一个例子是二项分布的抛硬币问题。观测到 k 次正面、n 次试验,则观测概率为 f(k; θ) = C(n,k) θ^k (1−θ)^(n−k)。作为 θ 的函数,似然 L(θ; k) 与组合项 C(n,k) 无关(常数因子可以忽略),因此 L(θ) ∝ θ^k (1−θ)^(n−k)。
最大化这个函数得到的 MLE 是 θ̂ = k/n,也就是样本频率。这一结果非常直观:在独立同分布的二项试验中,样本比例就是最合理的参数估计。 第二个例子是正态分布的均值估计。假定观测是来自正态分布 N(μ, σ^2),若已知方差 σ^2,似然函数关于 μ 为 L(μ) ∝ exp(−(1/(2σ^2)) Σ(xi − μ)^2)。最大化似然等价于最小化平方误差,得到 μ̂ = 样本均值。若同时需要估计 μ 和 σ^2,联合似然的最大化会给出样本均值和样本方差(在频率意义下有无偏或有偏的调整取决于具体表达式)。
在在线A/B测试和其他在线实验中,似然同样是核心概念。假设你对两个版本的网页进行对比试验,记录每个访客是否发生转化。可以把每个版本看作一个参数 θA、θB 的伯努利分布,通过观测到的转化数构造似然函数,然后用最大似然估计得到各自转化率的点估计,或者在贝叶斯框架下结合先验得到后验分布。在评估显著性时,似然比检验可以用于比较两个版本是否真的存在差异,或者用于构建置信区间和贝叶斯置信区间。 实际应用中常用对数似然函数进行数值优化。许多复杂模型的似然函数没有解析解,必须借助梯度上升、牛顿法或更通用的数值优化器来求解最大似然估计。
现代统计软件和编程库(如 R、Python 的 scipy/stats、statsmodels、Stan 等)都提供了直接计算对数似然并执行参数估计的工具。了解似然的形状、梯度及其数值稳定性对于成功估计参数至关重要。 似然的几个重要性质值得注意。首先,似然不是参数的概率 - - 除非你工作在贝叶斯框架并显式地引入先验并归一化,否则不能把似然直接解释为参数取某个值的概率。其次,似然函数与数据的表示有关;若对数据进行可逆变换,似然的形式会改变,但关于参数的极值点保持一致性。再次,模型识别问题会反映在似然上:若两个参数组合对观测数据产生相同的分布,则似然无法区分它们,参数不可识别。
在推断中,似然还提供了构建置信区间的途径。通过考察对数似然在最大值附近的下降程度,可以得到参数的渐近标准误并构建基于似然比的置信区间。与基于 Fisher 信息矩阵的常规方法相比,基于似然比的区间在小样本时往往更稳健一些。此外,profile likelihood 技术能够在存在多余参数或感兴趣参数为子集的情况下,消除或"剖面化"其他参数,专注于目标参数的似然曲线,从而构建更合理的区间估计。 尽管似然方法有诸多优点,但在实际应用时也要警惕若干常见陷阱。模型设定错误会使得最大似然估计有偏甚至严重误导推断结果,不能盲目相信似然所指示的"最可能"参数值。
样本量不足时,似然曲线可能平坦,导致估计不稳定或对初值敏感。另一个误解是把"似然比越大就越好"简单化为"模型越复杂越好",殊不知更复杂的模型往往会过拟合数据,虽然似然值更高,但泛化能力更差。因此在模型选择中,应结合信息准则(如 AIC、BIC)或交叉验证等手段,而不是仅凭似然值判定优劣。 对于非统计专业人员,从实践角度出发,可将似然视为一种"证据度量"。观测数据越能在某个参数下出现,似然在该参数下越大。使用最大似然估计可以得到一个直接且直观的点估计;使用似然比可以在两个竞争模型之间做出比较;在贝叶斯方法中,似然是把数据融入先验知识的桥梁。
理解这些角色之间的差异与联系,有助于在不同统计范式下做出恰当选择。 最后,良好的似然实践包括以下要点:在建模前检查数据生成过程,确保模型合理;使用对数似然提高数值稳定性;在数值优化时采用合适的初值与收敛判据;检验模型拟合优度与残差特征;在模型比较时考虑惩罚项或交叉验证以防过拟合;必要时在贝叶斯框架中引入先验信息以稳定估计。在在线A/B测试、回归分析、时间序列建模等应用场景中,掌握似然的概念与技巧能显著提升分析的准确性与解释力。 概括而言,似然函数并非参数的概率,而是一种把数据与参数联系起来的度量,是最大似然估计、似然比检验与贝叶斯更新的核心。理解它的直觉含义、数学表达与实际应用,能够帮助分析人员在面对真实数据时做出更可靠的推断与决策。 。
