在数字化大数据时代，语料库与文本分析为我们提供了全新视角，去观察历史、文化乃至语言习惯中的微妙变化。著名网络漫画xkcd于2012年发表一幅特殊的日历图，通过谷歌Ngrams数据库分析各月份中每日以序数词形式出现的频率，而其中最引人注目的发现是：在除了9月11日之外，每个月的第十一日频率异常低下，几乎成为所有日期中最“失落”的那一天。为什么会出现这种现象？这背后又隐藏着怎样的故事？本文将带您深入探究。 谷歌Ngrams是一个收录了数以亿计书籍文本的数据库，通过统计特定词组的出现频率，为语言变化、文化趋势提供可视化支持。xkcd团队利用这一数据库，生成一个日历，每个日期字号大小代表其序数词被引用的频率。由此发现各日期中，诸如7月4日（美国独立日）、12月25日（圣诞节）等因文化纪念意义而频繁出现的日期自然字号大增，而2月29日这种闰年特有的日子频率稀少也符合预期。
不过，“第十一日”的显著低频令人好奇。多个日期中它为何表现出如此不同寻常的模式？或者说，其背后的原因可能超越了单纯的文化因素吗？观察数据，研究团队确认了该异常的确切存在，既不是偶然，也非视觉错觉，而是真实反映了文本中的特定用法缺失。 回顾历史文本数据，发现第十一日在19世纪中叶开始出现“频率断层”，其引用数量骤降，这种现象直到20世纪中叶依旧明显，随后虽有所恢复，却仍低于其他日期。这种跨越百年且持续的趋势，引发了对印刷排版与文本识别技术可能影响的深入探讨。 进一步深入分析，团队注意到一系列与“第十一日”相关的语义与拼写误读问题。传统字体和印刷技术使数字“1”极易和大写字母“I”、小写字母“l”或“i”混淆，尤其是“11”连写时更甚。
谷歌的文字识别算法在扫描与数字化过程中，多次将“11th”的序数词识别成“IIth”、“llth”等混淆拼写，导致本应计入“第十一日”的引用被分散统计，造成统计数据的异常。 更为特殊的是，在19世纪60年代起，出现了“11th”被错认作“nth”的现象。“nth”作为数学及科学文献中常见的表达，偶然成为识别算法的偏误目标。这种误识导致的统计偏差尤为明显，成为了该时期“第十一日”引用骤减的主因之一。 为何这一现象在19世纪60年代骤然爆发？历史与技术背景为解释提供了关键线索。正是这一时期，排版史上标志性发明——打字机开始普遍使用。
早期打字机设计时并未设置独立的数字“1”键，普遍使用小写字母“l”代替数字“1”。这在印刷字体设计上引起连锁反应，数字“1”与字母“l”的形态趋同，加剧了后续扫描及识别软件对文本的混淆。同时，打字机时代的字体呈现风格典型，字符间距与笔画结构更易引起机器识别误差。 随着时间推移，虽然打印质量有所提升，字体设计也逐渐区分“1”和“l”，自动识别技术日益精进，但残留的误差从根本上形成了长时期的统计偏差。即使到了现代，xkcd中的数据依旧反映了这一现象，证明其影响未完全消失。 此外，其他日期如第2日、第3日、第22日和第23日在历史上也曾经历类似但较轻微的频率偏低现象，虽未持续至今，但暗示了印刷与排版技术以及语言惯用表达对文本数据的广泛影响。
未来的研究或将揭示更多这类语言学及技术交叉领域的奥秘。 总的来看，表面上简单的“第十一日”引用频率异常，实则汇聚了字体设计、机械排版、数字识别算法、历史语料变迁等多重因素。它不仅是语言与技术发展的一个缩影，更提供了数据科学分析背景下如何解读“异常”现象的典范案例。 通过代码公开与数据分析的结合，研究者们不但解开了一个看似谜题的现象，也彰显了跨学科合作的重要性，启示我们在大数据时代如何更公正和深入地理解文本背后的文化与技术变迁。 未来，随着人工智能与机器学习在文本识别领域的提升，我们期待这类误读将进一步减少，同时也希望类似研究能为数字人文、历史语言学等领域带来更多启发，助力更准确地检索、理解和利用大规模文本资源。 “失落的第十一日”究竟从何而来？现在，我们知道它并非刻意回避或文化禁忌的结果，而是一场技术与历史交织的误读游戏。
它提醒我们，在面对数据时，始终要细致考量背后的生成机制与潜在偏差，方能挖掘出真实且富有价值的洞见。
