在科学研究的世界里，同行评审被誉为保障学术质量和创新水平的基石。然而，随着机器学习领域的飞速发展与顶级会议投稿数量的急剧增加，同行评审的公正性与有效性日益受到质疑。拒稿的论文中，有大量研究在被拒后依然产生了重大影响，获得高额引用，这不禁引发了人们对当前审稿体系的深刻反思。坐拥全球最大开放评审平台之一的OpenReview，最新推出的SNOR v1数据集为深挖机器学习会议的拒稿论文及其后续影响提供了前所未有的数据支持。 OpenReview作为公开透明的同行评审平台，特别强调共享审稿过程的全部细节，包括匿名审稿意见、讨论和最终的接收决定。两大全球顶级机器学习会议——国际表示学习大会（ICLR）与神经信息处理系统大会（NeurIPS）均大量采用OpenReview管理稿件评审。
SNOR v1数据集收录了从2017年起的ICLR及2021年起的NeurIPS会议论文及相应评论，汇集了38262篇论文及近46万条结构化的评审意见。利用这一结构化数据，并结合学术搜索引擎Semantic Scholar，研究人员得以完整追踪论文从投稿、评审到最终的学术影响力。 论文匹配是构建这个联合数据集的核心环节。通过精准的标题匹配结合作者名称的编辑距离算法，大约80%的论文成功链接到Semantic Scholar对应的公开版本。这一过程克服了诸多挑战，包括论文标题中LaTeX格式的变异、公开预印本与投稿版本名称不一致等问题。剩余未能匹配的论文多数是被拒或撤回，证明未公开论文通常处于质量尚未达标或尚未成熟状态。
从数据分析的角度观察，虽然整体上被接受的论文平均引用次数高于被拒论文，但是近年来这一差距有缩小的趋势。尤其是2024和2025年的ICLR会议中，存在大量引用颇丰的被拒论文。最引人注目的是，诸如Roberta等后来获得超过两万次引用的标志性论文，最初竟然遭遇顶会拒绝，这深刻体现了当前同行评审体系的不足。 SNOR v1数据分析还揭示了评审打分与最终学术影响力之间的复杂关系。尽管审稿人评分普遍与引用数量呈正相关，说明审稿确实在一定程度上反映了论文质量与潜力，但评分的波动和不稳定性也显而易见。不同会议和不同年份的审稿严格度、评分标准差异明显，进一步加剧了评审结果的不可预测性。
更为珍贵的是，数据集还包含全面结构化的评论内容，包括评分、信心指数及审稿人间的互动回复，这为深入理解审稿过程提供了丰富线索。例如，学界可以通过自然语言处理技术挖掘评审意见中的争议点、关键质疑与建设性意见，推进审稿流程优化，提升评审质量。 值得一提的是，SNOR v1还构建了与作者学术画像的关联，使得科学家们的研究产出、被拒与获高引用文章之间的关系一目了然。有一些高产且低调的研究者多次遭遇顶级会议拒稿，论文反而被激烈引用，充分说明命运多舛的“被拒高产作者”现象广泛存在。这不仅揭示了评审机制中的偶然性和变异性，也催促学术界关注审稿公平性和多样性的长远问题。 另外，开放评审平台中透明度的提升，也有助于消除传统评审中的偏见和黑箱操作。
通过公开评审讨论，学者不仅可以了解审稿动态，更能相互学习审稿标准和质量，形成良性学术氛围。此外，对于学术新秀来说，畅通的评审信息渠道无疑是职业发展和学术成长的重要助力。 尽管SNOR v1数据集具有权威且规模宏大的特点，但其局限性同样明显。当前数据集为跨越数年、两大会主要会议轨道的静态快照，未涵盖其他重要会议如ICML的数据，也未包含最新的实时动态。此外，作者是否允许公开被拒论文也带来了数据偏差，特别是NeurIPS会议只有部分被拒论文公开，影响样本的代表性。学界未来应关注数据的持续更新和多元来源融合，确保更加全面和客观的同行评审评价体系。
在科技迅速发展的时代背景下，理解和优化同行评审对于推动学术进步至关重要。SNOR v1不仅为研究者提供了深度分析的基础，同时也为人工智能辅助的审稿工具研发、人机交互学习和科学评价体系改革带来了巨大契机。特别是在大型语言模型助力学术写作和评审的新时代，结构化、高质量的评审数据资源或将作为强化学习和智能系统训练的重要基石。 综上所述，机器学习领域顶级会议的拒稿论文早已不再是学术价值的“弃儿”，它们的高引用和深远影响恰恰反映出同行评审体系的复杂性与挑战。未来，随着数据集的不断完善和审稿机制的改进，学界希望能够打造一个更透明、公正且高效的评审生态，真正实现激励创新与保障质量的双重目标。开放评审与数据驱动的科学发现，是未来学术发展不可逆转的趋势，也为全球科研人员提供了前所未有的研究视角与合作契机。
。
