在统计学与科学传播的语境里,p值几乎变成了一个魔咒:小于0.05就被视为"有意义",大于0.05就被打入"无效"。Jacob Cohen在1994年发表的论文《The Earth Is Round (p < .05)》对这种机械化使用显著性检验(NHST)提出了尖锐批评。他把对p < .05的崇拜比作宣称"地球是圆的"的理所当然,指出这种仪式化的统计惯例不仅误导研究实践,也阻碍学科进步。理解Cohen的观点,对当下强调可重复性、透明度与负责任传播的科研环境尤为重要。本文从历史、误用、替代方案与传播实践四个层面,详细阐述为何要摆脱p < .05的迷信,以及如何改进统计推断与结果呈现。 显著性检验并非不可或缺的真理。
20世纪的统计学传统由Fisher与Neyman-Pearson等不同学派的思想交织形成。Fisher提出的p值用于衡量观测数据在零假设为真时出现的概率,而Neyman与Pearson则强调预先设定的错误率与决策规则。两者在实践中被混合使用,产生了既非纯粹描述性也非严格决策性的混合体,即现代心理学与许多社会科学广泛采用的NHST体系。Cohen的批判核心在于:研究者和读者常常误读p值,把p的数值当作"零假设为真的概率"或者"效果可重复的概率",而事实上p值根本不具备这些含义。 p值最常见的误解来自语义混淆。一个研究结果显示p = 0.03,很多人自然解读为"只有3%的概率H0为真",或者"有97%的概率结果可复制"。
这两种直觉都是错误的。p值的定义是:在零假设为真条件下,观察到当前数据或更极端数据的概率。因此p值是以数据为条件的概率陈述,而不是以假设为条件的概率陈述。把p值倒置理解的习惯会导致错误判断研究结论的可靠性、过度解读偶然结果为真实发现,以及忽视效果大小与不确定性的真正信息。 另一个长期存在的问题是"二元思维"带来的科学叠床架屋:用固定阈值(通常是0.05)把研究结论划分为"显著"或"不显著"。这种划分似乎提供了简明的决策机制,但代价是忽略连续性与灰度。
效应可能真切但微弱,样本量不足会导致无法达到"显著"阈值;反之,大样本会把微不足道的效应推到显著区域。结果是统计显著性不等于实践或理论重要性。Cohen强调需要越来越多地关注效应量(effect size)与置信区间(confidence interval),因为它们对理解结果的实际意义与不确定性更为直接和有用。 统计检验的另一个关键问题是功效(power)常被忽视。低功效研究既难以检测中等或小效应,也容易在偶然性驱动下出现夸大的显著结果。Cohen长期以来推动研究者进行事前样本量计算,以确保研究具备足够的概率去发现期待的效应。
没有足够功效的研究容易产出不可重复的结果,导致研究领域淹没在噪音与错误发现之中。近年来关于科学可重复性危机的讨论,很大程度上与对功效与统计实践更严格的要求有关。 从方法学层面看,有几条可行的改进路径。首先,报告效应量与置信区间应该成为常态而非补充。效应量提供了对结果实际影响程度的量化,而置信区间则显示估计的不确定性范围。二者合用能帮助读者判断结果是否具有实际意义,而非仅仅基于p值作出二元判定。
其次,鼓励事前注册与预登记分析计划可以减少数据挖掘(p-hacking)与事后选择性报告,提升研究透明度。第三,采用贝叶斯方法可以直接回答"给定数据后某一假设为真的概率",这是p值无法提供的推断形式。贝叶斯推断并非万能,但在许多情境下更直观、可解释且与决策更贴合。 在传播与新闻报道层面,Cohen的提醒同样重要。媒体在报道科研成果时常看到"研究显示X与Y相关,p < .05"这样的短句。缺乏对效应大小、不确定性与研究限制的描述,会诱导公众对结果的过度信任。
记者和科普作者应当询问并传达效应量、置信区间、样本来源、是否事前注册、是否有独立复制证据等关键信息。对不确定性的坦率表达比绝对化结论更有助于公众理解科学的演进性和修正性。 教育则是从根本上改变统计文化的重要一环。许多心理学与社会科学课程仍把显著性检验当作核心技能,而对其局限性、误用后果、替代方法与研究设计原则的培训不足。Cohen主张将探索性数据分析、图形化方法、测量标准化以及对统计结论的批判性思维纳入教学核心。教授学生如何解读置信区间、如何估计并报告效应量、何时使用贝叶斯方法、如何进行合理的样本量规划,这些都比机械传授"如何做t检验并判断p是否小于0.05"更为重要。
科研评价体系也需要改革。如果期刊与资助机构仍以"显著结果"为主要考核指标,研究者就有强烈动机追求可发表的显著性,而不是追求稳健与可重复的发现。改变激励结构,鼓励发表预注册研究、空结果与高质量重复研究,能够逐步纠正领域内的偏差。开放数据、开放代码与同行事前评审(registered reports)等做法,也能促使研究重点从追求显著性转向追求透明与可靠性。 如何在日常研究实践中应用Cohen的建议?首先,在设计阶段就进行功效分析,明确研究旨在检测的最小感兴趣效应大小;其次,坚持报告效应量与置信区间,避免把p值作为唯一结论依据;再次,优先采用良好测量工具与标准化过程,以降低测量误差并提升结果可比性;最后,鼓励并参与独立复制,视复制为知识累积的核心而非可有可无的附属工作。 需要强调的是,Cohen并非完全否定统计检验的价值。
他的批评焦点在于如何被滥用和误读。当显著性检验被当作唯一的、决定性的证据时,科学交流就陷入了误导。而将统计检验与其他证据、理论推理、良好实验设计与透明报告结合起来,则能大幅提升研究结论的可信度。 当前的科研生态正在缓慢改变。越来越多的期刊接受预注册报告,更多学科开始重视效应量与置信区间的报告规范,开放科学运动推动数据与方法的透明化。Cohen的警示在今天仍具现实意义:统计工具是辅助理解世界的手段,不应成为权威的替代品。
把注意力从"p是否小于0.05"转移到"这项研究真实反映了什么程度的效果、估计有多大不确定性、结果如何在不同样本中重现"上,才是科研成熟的标志。 对科研消费者而言,包括政策制定者、临床实践者与大众媒体,理解统计信息的正确解读同样至关重要。接受培训以辨别效应大小和不确定性,询问研究方法的透明度,理解结果是否来自预先设定的分析,是否有独立复制支持,均能帮助减少因误解统计显著性而做出的不当决策。 回到"地球是圆的(p < .05)"这一讽刺性的标题,Cohen用它提醒我们两个事实:其一,科学真理不应通过单一、僵化的统计门槛来判定;其二,统计工具的滥用会掩盖真正值得关注的问题。在构建更健康、更可靠的科学文化时,我们既要尊重统计方法的价值,也要警惕将其神圣化。用更丰富、更透明、更关系问题本身的方式来呈现数据,才是对科研负责的做法,也是对公众负责的传播方式。
。
