Lustre文件系统作为一种高性能并行文件系统，一直以来都是大型计算集群和超级计算机存储方案的核心选择，尤其在人工智能、大数据和高性能计算（HPC）领域拥有不可替代的地位。自2013年被引入Linux内核的staging树以来，Lustre的主线化进程历经波折。本文将剖析Lustre文件系统的发展历程、主线化的挑战与机遇，以及它未来融入Linux内核主线的美好前景。 Lustre的设计目标是为大量GPU和计算节点提供稳定且高效的数据访问。其核心机制基于将文件切分成多个片段，分布存储于不同的服务器，客户端和服务器组件均运行于内核空间，这种架构类似于NFS但更侧重于并行高带宽。多年来，Lustre的协议和磁盘格式趋于稳定，版本间具有良好的兼容性，极大地方便了用户和维护者在不同版本间平滑过渡。
然而，Lustre的主线化过程并非一帆风顺。尽管2013年其客户端模块被引入Linux内核staging树，但由于开发模式与Linux内核社区存在较大差异，以及缺乏持续的进展，Lustre于2018年被移出staging树。主要原因之一是Lustre开发团队主要在独立的仓库进行开发，且与内核的同步不够及时且效率低下，这种“割裂”的开发模式成为主线化的绊脚石。 尽管如此，Lustre社区从未放弃将代码合并回内核主线的梦想。多年来，超过一千个补丁不断地推动代码的内核同步准备，其中大部分由关键开发者如Neil Brown和James Simmons贡献。核心策略包含将兼容性代码（用于支持旧内核版本）从文件系统核心代码中剥离，使核心代码更简洁并紧密契合当前的Linux内核规范。
通过这种剥离，未来能够形成两个代码库：一个作为内核主线代码，另一个继续以独立库形式为老旧内核提供兼容实现。 此外，Lustre项目正在调整其开发流程以更好地融入Linux社区。传统Linux内核开发依赖邮件列表进行代码评审和交流，而Lustre项目过去主要使用Gerrit代码审查系统。这对社群整合造成一定挑战，因此团队正在积极探寻平衡两者需求的方案，确保既满足内核开发者的习惯，也适应现代开发工具的发展趋势。 技术细节方面，Lustre的客户端与服务器代码耦合较深，分离工作复杂且风险颇高。社区内讨论的一个关键议题是是否应先主线化客户端，再逐步推进服务器代码，还是同时合并客户端和服务器。
许多核心贡献者倾向于一步到位合并客户端和服务器，理由是这样更便于整体测试和维护；但也承认客户端代码压力较小，且合并路径相对更平缓。 服务器端面临的特殊挑战之一是其与ext4文件系统的依赖关系较深，特别是大量引用ext4符号及其提交日志子系统（jbd2），这使得服务器代码难以快速适配主线内核的结构性变化。例如，未来ext4的日志层计划重写以去除对缓冲区头部的依赖，这将加大Lustre服务器代码维护的难度。 社区层面，对如何决策新文件系统被合并有广泛讨论。以往经验表明，任何新的文件系统代码一旦合并主线，将对内核维护社区带来长期责任和负担，这使得相关决策变得异常谨慎。维护者强调，需要更为集体化的决策流程，而非由单一维护者独断，这样既可分摊责任也能提升合并决策的透明度和合理性。
Lustre的重要性也体现在它对现代硬件特性的积极支持。比如文件系统中的分段大页（folios）支持，允许更好地利用内存管理和提高效率。同时，Lustre开发者也在与网络领域专家合作，利用如Linux内核的netfs库等新工具，进一步优化文件系统网络层，实现更低延迟和更高吞吐。 另一个社区关注点是为什么过去Lustre未能成功进入Linux主线目录fs/。原因之一是早期staging阶段的开发政策过于严格，例如要求新代码只做清理而非新增功能，导致staging版本与活跃开发版本差距越来越大，形成“注定失败”的局面。业务需求方面，客户依赖于稳定一致的版本，更新不及时往往妨碍主线版本的发展。
同时，沟通不畅加剧误解，导致社区与主要开发者间配合不够紧密。 在性能方面，有声音提出是否可以通过FUSE（Filesystem in Userspace）来部署Lustre，以其带来的灵活性和易维护性作为替代方案。但是权威开发者指出，由于Lustre采用特定的线协议，并存在复杂的用户内核交互，且目标用户群对性能极为敏感，FUSE方案在性能上难以与内核实现媲美。此外，迁移到FUSE意味着需要重写用户态的网络栈，大量服务器和客户端内核模块也必须重构，这成本巨大且收益有限。 随着计算需求和AI领域爆炸式增长，Lustre迎来了前所未有的发展机遇。近期的发展不仅获得了企业与学术界更多关注，也吸引了内核社区核心贡献者的积极参与。
推动Lustre代码库与Linux内核的无缝合并，既保障了其高性能特性，也使其享受更广泛的社区支持和安全审核。 展望未来，对于Lustre来说，主线化不仅是技术上的整合，更是一场文化和协作模式的转变。如何平衡代码品质、维护成本和开发效率，在满足用户需求的前提下协调不同利益相关者的诉求，将决定其能否真正登上Linux主线的舞台。通过持续推动模块化代码结构，优化开发工具链，建立透明高效的社区治理机制，Lustre有望成为下一代Linux高性能存储领域的基石。 Lustre文件系统的主线化是一个复杂且多维度的挑战，涉及技术、社区和管理多方面因素。它不仅承载着高性能计算领域数据存储的重任，更是开源存储系统进步的重要里程碑。
随着更多的努力投入和合作深化，Lustre未来融入Linux内核的蓝图逐渐清晰，我们有理由期待它在新一代存储技术中发挥更关键的作用，助力全球范围内的科学计算与人工智能发展迈向新高度。
