随着人工智能技术的不断发展，尤其是大型模型训练和复杂推理任务的日益普及，AI计算资源的管理和调度问题变得前所未有的重要。GPU作为深度学习计算的核心硬件，需求激增导致了一场“GPU淘金热”，促使AI基础设施进入了一个新的发展阶段——GPU新云（Neoclouds）的兴起。本文将带您深入探讨AI工作编排的演进历程，聚焦Neoclouds的优势、技术挑战以及其与传统云服务和编排工具的融合现状。近年来，机器学习团队的需求变化异常频繁且多样。他们渴求即时获得大量GPU算力，使用最新的深度学习框架，同时还要在遵守数据本地化以及成本控制之间取得最佳平衡。这些需求常常与企业预算周期和现有基础设施相冲突，给负责部署与管理的基础设施及MLOps工程师带来了极大压力。
尽管我们身处计算机史上最激动人心的时代之一，高效、灵活的AI基础设施仍似乎未跟上大规模模型训练的步伐。从根本上说，许多AI研究人员和工程师不得不掌握复杂的容器编排技术，才能完成一次训练任务，这无疑拉长了研发周期，降低了创新效率。面对这一现状，GPU新云作为一种专注于AI算力租赁的专业云服务迅速崛起。与通用型巨头云服务提供商相比，这些新兴服务商如CoreWeave、Fluidstack、Lambda Labs、Nebius及Crusoe，选择在GPU资源充足性和成本效率上下功夫。他们摆脱了传统云中GPU资源有限且价格昂贵的困境，为AI社区带来了廉价且充裕的NVIDIA H100等高性能GPU。新云的另一大技术优势是网络架构上的优化。
在当下大规模分布式训练中，为提高多GPU间通信效率，InfiniBand（IB）技术被新云们当成核心竞争力。相比传统以太网，IB通过GPUDirect RDMA实现了GPU内存与网络接口之间的直接数据传输，避开CPU和内核的多次数据复制，极大提升带宽和降低延迟，理论带宽高达每端口400Gb/s，整体节点甚至突破3.2TB/s。这样的网络吞吐率不仅是加快超大模型训练的加速器，更成为新云运营商的区分利器。即使如此，Neoclouds所采用的统一管理编排层多选择了Kubernetes，既利用其成熟的生态优势，也迎来了各类挑战。Kubernetes虽然作为现代容器编排的业界标准，适用于大规模web服务的拓展和管理，但针对AI训练特有的状态管理、资源同步及交互式调试需求，Kubernetes在本质上存在不少限制。AI工作负载普遍具备高度状态依赖、强同步需求，例如分布式训练中的全资源占用调度策略（gang scheduling），这与Kubernetes原生的逐资源调度模式形成矛盾，容易产生资源分配死锁，导致昂贵GPU资源空闲浪费。
与此同时，Kubernetes的声明式部署方式与AI实验快速迭代的开发流程不相适配。频繁重建镜像、更新部署配置成为模型调试的一大痛点，影响了研究者的效率和体验。为让GPU互联网络发挥最大效能，Neoclouds预装了OFED（OpenFabrics Enterprise Distribution）驱动，并在容器镜像中集成了正确的环境变量配置，如NCCL_SOCKET_IFNAME、NCCL_IB_HCA及UCX_NET_DEVICES，简化了InfiniBand的使用门槛，缓解了基础设施复杂性，但真正解决方案远超底层驱动。这也导致了衍生出多种调度器试图填补Kubernetes与AI场景之间的鸿沟。例如Kubeflow、Volcano及新兴的KAI Scheduler，这些工具在批处理与分布式任务调度上各有优势，但依旧难以完全满足AI原生需求。鉴于许多研究人员对传统高性能计算（HPC）调度器Slurm熟悉度较高，部分新云服务商如CoreWeave和Nebius推出了基于Kubernetes部署的Slurm解决方案。
这种“Slurm-on-K8s”方式既利用了Slurm的作业调度能力，也试图借助Kubernetes的容器生态实现现代化管理。但Slurm本身为早期HPC设计，缺乏对多云环境弹性扩展（cloud bursting）、容器运行时的天然支持，同时维护和统一依赖环境、软件包的复杂度也较高，对运维团队压力不小。此外，Slurm面向命令行界面的设计质量也影响了用户体验，尽管一部分新云服务商通过自建UI与整合Grafana等监控工具来改善这一不足。新云的GPU资源虽然强大，生态支持渐趋完善，但实现AI基础设施的可用性和易用性仍是当下的“最后一公里”难题。换言之，拥有强大算力却缺乏高效且符合AI研究流程的调度与管理工具，极大限制了新云算力的生产力释放。展望未来，随着AI模型规模进一步增长和算力需求加剧，对多云弹性调度、跨集群资源池化以及工作流的自动化与智能调度的需求只会不断增长。
研究者期待能够轻松切换不同算力供应商、快速迭代实验过程、获得实时监控及故障自动恢复等特性，这无疑将成为下一代AI工作编排系统的关键要素。SkyPilot等新兴方案正是顺应这一趋势，尝试打造统一的计算层，兼顾成本优化与灵活运维，最终让AI基础设施真正为团队创新赋能。总结来看，GPU新云的兴起标志着AI计算资源服务理念的转变——从传统的通用云向专注AI性能和成本效率的细分市场迈进。这一变革不仅打破了大厂对GPU资源的垄断，也推动了网络架构和调度系统的创新。同时，Kubernetes虽为行业基石，但仍需结合AI工作负载特征进行深度适配和扩展。未来，通过多方协作与技术创新，AI基础设施生态将更加成熟，为人工智能的快速发展提供坚实可靠的支撑。
。
