随着人工智能技术的飞速发展，理解机器学习模型内部运行机制已成为AI安全与对齐领域的关键研究方向。机械可解释性方法通过映射模型所采用的算法，为深入剖析、分析和掌控模型的决策过程与潜在风险提供了强大工具。众多研究成果表明，即便是规模较小的模型，也存在着令人惊叹的算法结构，从基本数学运算到更高层次逻辑推理，无一例外地折射出模型“生长而非设计”的本质特征。基于此背景，我们将目光聚焦于一个极其简约的井字棋Transformer模型AlphaToe，探讨其如何在简化的训练任务中逐渐形成了具备玩家身份追踪能力的算法机制。机械可解释性的探索不仅能够强化模型安全监管，还能为人工智能研究提供细胞生物学式的“分子”视角，助力我们发现前所未有的计算技术及更精准的知识表征方法。 AlphaToe由一层Transformer构成，主要面向井字棋这一经典的小游戏。
井字棋游戏本身状态空间有限，所有可能的游戏轨迹约为25.5万条，适合作为解析模型内部机制的理想“试验田”。AlphaToe不追求策略性优化，而是专注于生成合法的棋步和准确识别游戏终局。模型输入使用0至8的数字标识3×3棋盘上的格子编号，加之特殊标记表示游戏开始和结束。模型先将每个棋步编码成包含内容嵌入和位置嵌入的高维向量，前者代表具体棋盘位置或特殊状态，后者则体现该棋步在游戏序列中的先后次序。值得注意的是，这些嵌入向量并非抽象的数学对象，而是承载了丰富语义结构的“知识载体”，内容嵌入可以编码诸如“处于中列”等位置特征，而位置嵌入则可能蕴含“玩家身份”或“游戏后期”等关键信息。 训练阶段，AlphaToe通过预测下一个合法棋子位置及游戏结束概率，采用概率分布作为标签目标而非简单的单一类别，体现了更加细腻的监督信号设计。
随着游戏进程推进，模型预测的动作空间从均匀分布逐渐聚焦到有限的合法棋步直至游戏结束标记，实现了零非法棋步和完美游戏终局判断的评估指标。模型架构虽然简单，但内含的8个注意力头与512维度的MLP层组合产生了高效的信息处理路径。观察训练过程中错误率与损失曲线的关系，可以明显看到模型逐步学习避免重复棋步及识别胜负判断的复杂策略，体现了训练集中数据类别不平衡带来的独特学习动力。 为了深入理解模型为何能做到合理预测，研究团队展开了对logit分布和注意力得分的详细分析。模型输出的logit值排除了重复落子，每个未落子的合规位置逐步获得较高概率，直至游戏结束时“游戏终局”标记概率爆发。这种行为显著依赖于注意力头，去除注意力头后模型失去了追踪之前走法的能力，凸显相关计算节点在决策过程中的不可替代性。
此外，观察logit值呈现出基于玩家身份的“棋盘格”状交替模式，由单层Transformer构造可推断其直接源自某些注意力头的权重分布。 聚焦特别表现玩家识别模式的注意力头1，研究者对其注意力分布随游戏进展的变化进行了系统评估。在游戏的前五步内，注意力分数分布近似均匀，熵值较高，表现出对之前棋步的无差别关注；但进入第六至第八步后，注意力分数的熵明显下降，显示模型开始区分不同玩家的走法，这与胜负判定的可能开始密切关联。值得注意的是，第八步游戏必然结束，这一阶段注意力熵再次回升，体现游戏局势的确定性。此发现表明模型只在胜负关键阶段刻意“识别”玩家，有效提升了决策的针对性和准确度。 进一步分析位置嵌入向量发现，其根据步数奇偶明显聚类，奇数步和偶数步的向量内部相似度高，而互相之间差异显著。
利用UMAP可视化降维技术，更直观地呈现了这一区别，但该结构本身尚不足以完全解释注意力头1的行为转变。研究者进而对查询矩阵WQ、键矩阵WK及其与位置嵌入相乘后的结果Qpos和Kpos进行了热力图分析，发现后者呈现出清晰的奇偶交替模式。这种结构映射在注意力计算的点积过程中，形成了棋盘格式分布，完美契合观察到的玩家身份追踪机制。特别地，查询矩阵WQ对位置嵌入的变换具有时序选择性，只有第五步以后才呈现出这种双峰分布。 为了揭示变换矩阵内蕴含的主要计算模式，研究者引入奇异值分解（SVD）技术。第一奇异值对应的奇异向量高效捕获了WQ矩阵的核心变换方向。
将位置嵌入向量投影到这一奇异向量后发现，步数5至8这一“后期阶段”的位置嵌入分布成两个阵营：6和8对应正向大值，5和7对应负向大值，而早期步数则接近零。这种二分法清晰描绘出模型对不同玩家身份的区分轴——一个“后期玩家身份轴”。WQ矩阵实际上作为线性分类器，将这些嵌入二分化处理以在注意力权重中实现基于玩家身份的差异化关注。 随着训练的推进，这种玩家身份的可分性逐渐显现并增强。初期模型首先在重要度极高的第八步位置嵌入上表现出显著的分离，符合训练集中胜利游戏往往以第八步结束的特征。随后步数5、6、7的嵌入开始向两极分化，整个学习过程与损失函数的下降和正确预测率的提升高度同步，体现了模型内部计算逻辑的逐步完善和细节打磨。
AlphaToe的案例揭示，即便是训练目标极度简化，仅要求输出合法棋步并识别游戏终局的模型，也会自发进化出错综复杂且高度结构化的算法来处理玩家身份判定和胜负检测等关键任务。一个仅有单层且带有多头注意力机制的Transformer，通过基于位置嵌入的线性条目分类，成功实现了这种抽象信息的内隐编码。研究者通过SVD等矩阵分解技术将注意力头查询权值视为线性分类机制，剥离了模型深层隐含的计算组件，展现了机械可解释性研究在将“黑箱”模型拆解为透明子算法中的巨大潜力。 展望未来，随着机械可解释性方法的进步，我们期待把这类技术扩展到更大规模、更复杂的模型，甚至应用于高度非结构化的领域如自然语言处理和复杂策略游戏。解析并理解模型如何“自发生成”玩家追踪、策略推演与因果推断等能力，不仅有助于构建更加安全和可控的AI系统，也将推动人工智能理论和实践达到新的高度。AlphaToe的研究旅程正是这一方向的重要开端，让我们得以窥见人工智能体系中的“分子级”演化过程，赋予未来技术更深层的理解和掌控能力。
。
