NetHack，这款诞生于1987年的经典类Rogue迷宫探险游戏，凭借其庞大的复杂性、多样的随机事件和丰富的玩法，被誉为极具挑战性的电脑游戏之一。在AI研究领域，尤其是强化学习（Reinforcement Learning，RL）中，NetHack常被视为衡量智能体复杂决策能力和泛化能力的重要测试平台。然而，直到最近，完成NetHack游戏升级——即所谓的“ascension”，依然是少数人能够达成的壮举。通过亲身体验并最终实现首次成功完成游戏的过程，我们得以窥见构建高效AI模型面对这类复杂环境时必须具备的多重核心能力。NetHack不仅是游戏，更是AI能力极限的试金石。游戏中的许多机制和随机因子相互交织，迫使智能体必须展现出高度的策略灵活性和长期规划能力。
首先，NetHack要求AI具备极其细致且高效的信用归因能力。游戏中的许多重要奖励，例如获取某种属性抗性，会依赖数百甚至数千回合之前的某个细微行为，比如吃掉特定怪物的尸体。然而，这些结果通常通过非常隐晦的文本提示来传达，如“你感到身体暖和”或“你觉得很健康”。这意味着AI需要在大量无关紧要的观察信息中筛选出稀有但极具影响力的信号，从而进行长时间跨度的推断和学习，对于任何强化学习算法来说都是巨大的挑战。其核心难题在于如何让模型既不会忽视关键线索，也不会被嘈杂的环境干扰而迷失。其次，NetHack的游戏世界充满不确定性和高内在复杂的探索空间。
每局游戏中，魔法物品如药水、卷轴、魔杖甚至装备的外观与实际效果的对应关系都是随机生成且不固定的。对于智能体而言，需要结合各种线索，例如宠物对物品的反应、投掷物品或使用商店交易所获得的价格信息来推断物品的真实含义和状态是否被诅咒。如此复杂的辨认过程实际上是对上下文敏感的探索问题的极致体现，这种属于所谓“上下文马尔可夫决策过程”（Contextual MDPs）的环境需要智能体能够灵活地在不同的游戏实例中重新学习并适应，区别于传统单一环境的策略学习。AI不仅需要掌握跨局通用的世界知识，更需随时更新对当前回合中具体环境细节的认知和推测。更为独特的是，成功进行NetHack的游戏体验中人类玩家普遍依赖丰富的离线文本知识资源，例如NetHack Wiki。这些文本资源囊括了游戏中大量的攻略策略、怪物信息、物品介绍和玩法技巧。
借助这些详细的说明，玩家能够更有效规划其游戏路线，有效避免致命错误。在AI领域，如何将这种脱机的语言资源与在线的交互学习结合起来，是当前研究的热门课题。类似人类的学习过程，通过对先验文化知识的积累辅助实际操作，再依靠强化学习不断自我调整和优化，成为构建智能体的关键方向之一。NetHack为这类文化知识与自主学习的融合提供了天然且极具价值的实验土壤。此外，游戏中的组合复杂性非常惊人。由于关卡、怪物位置及物品配置均由程序随机生成，每次挑战都需要根据新的环境条件灵活组合不同的策略和资源。
游戏的某些特殊关卡尤其体现出这一点。以著名的梅杜莎岛关卡为例，进入这一层后玩家面临一片充满敌对水域的危险地形。在不同游戏过程中，有时可借助早期获得的“漂浮戒指”安全渡过敌水，而在另一些过程中则需依靠“多形控制戒指”和“多形魔杖”变身为具备飞行能力的白龙才能突破重围。这种对不同战术和装备的组合使用，充分展示了AI在面对庞大状态空间时的泛化能力和策略合成能力。能够将分散的知识模块灵活重组完成任务，是智能体实现长期成功的必要条件。更深一层的是，NetHack的本质鼓励多层级、分层次的决策策略。
游戏中的目标从极其宏观的升阶目标，比如进入不同的地下城分支、收集特殊神器；到中层的战斗、探索、物品鉴定和交易行为；再到最底层的具体动作选择，如攻击、防御和移动，都有着彼此依存又逻辑连贯的关系。对于强化学习系统而言，开发能够处理跨尺度的复杂决策结构、实现长时间跨度规划和即时战术调整的层级模型尤为重要。遗憾的是，尽管分层强化学习已被广泛讨论，但在实际应用中还有很长的路要走，传统的平面策略很难有效应对像NetHack这样环境多样且复杂的游戏。毫无疑问，NetHack作为一个集合了极长时间跨度、稀疏奖励、多层次决策以及复杂信息融合的环境，为探究和验证层级RL算法提供了宝贵的平台。纵观整个过程，NetHack也展示出AI领域当下的一个困境——语言模型虽在自然语言理解方面取得显著成果，却难以通过单纯的模型规模扩大而解决具备强烈探索性和学习需求的任务。它们本质上是模仿历史数据的生成模型，缺乏自主寻找新知识和经验归纳的能力。
NetHack的难度和游戏机制使其成为检测智能体探索能力和真正理解能力的绝佳测试场景，也表明仅依赖语言模型尚不足以达到通用智能的门槛。总结而言，NetHack的升级之路体现了AI需要跨越的多重知识与技能壁垒。从细致的时序信用归因、复杂的上下文探索、多样的知识整合到泛化与分层决策，都是智能体进化中不可回避的难题。即使拥有丰富的训练数据、详尽的文本知识库以及大量玩家的游戏记录，要在NetHack中通关，也远非易事。它暗示了通向通用人工智能（AGI）的道路上依旧充满了挑战。对于AI研究者而言，NetHack不仅是一个枯燥的文本迷宫，更是一种深刻的启示：未来智能系统必须能够灵活应对种种未知、稀疏反馈和长远目标的组合，才能真正实现与人类水平相当甚至超越的人机智能交互。
对于游戏玩家和爱好者，重温NetHack不仅是技术挑战，更是对最纯粹角色扮演和策略思考的致敬。其丰富且富有创意的游戏设计，承载着一代又一代玩家的热血与智慧，也为AI技术的发展提供了独特且宝贵的平台。随着研究的不断深入，期待未来更多智能体能够攻克NetHack这座难关，揭开人工智能另一个崭新的篇章。
