随着人工智能技术的飞速发展,AI推理计算已成为驱动智能应用普及的关键环节。2025年9月9日至11日,在美国圣克拉拉举办的AI基础设施峰会上,Moreh公司携手深度学习推理软件生态领导者SGLang,首次公开展示了基于AMD硬件平台的分布式推理系统,标志着AI推理领域迎来技术创新和产业升级的新风口。Moreh作为领先的AI基础设施软件企业,结合自身强大的技术优势,与AMD、Tenstorrent等前沿硬件合作伙伴深入协作,致力于打造高效且具成本竞争力的AI推理解决方案。相较于以往强调单机性能的硬件设计,当前AI计算需求日益增长,尤其在深度学习模型参数规模扩展及推理负载爆发的背景下,分布式推理成为提升效率、降低延迟的必由之路。Moreh此次发布的分布式推理系统针对最新的深度学习模型,比如在峰会中展示效果的DeepSeek,展现出超过NVIDIA传统方案的优化性能,体现了软件与硬件协同设计的巨大潜力。这种创新不仅带来推理速度的提升,更优化了计算资源的利用,使得AI推理的成本结构更加合理,有助于推动人工智能技术在更多行业的普及应用。
Moreh研发的核心AI基础设施引擎在底层架构设计上注重高效调度和资源管理,有效支撑超大规模模型分布式部署。此次联合SGLang共同开发的AMD分布式推理系统,则通过融合软件和硬件的优势,形成一套完整的端到端解决方案,适应不同场景下的深度学习推理需求。SGLang作为AI推理软件生态的重要参与者,其丰富的软件开发经验和优化技术为系统性能的突破提供了坚实保障。此次合作还助力Moreh进一步开拓全球市场,特别是在北美地区增强与企业客户和生态合作伙伴的联系,加速技术落地与商业应用。Moreh CEO Gangwon Jo在峰会上强调,公司凭借在AMD全球软件合作伙伴中的领先技术地位,正在与多家大型语言模型开发企业开展概念验证项目。他表示,未来Moreh将持续深化与AMD、Tenstorrent、SGLang等伙伴的协作,推动多样化AI计算方案的普及,助力客户实现技术转型和价值提升。
从行业视角看,AI基础设施峰会自2018年由AI硬件峰会演变而来,已发展成为涵盖芯片设计、软件架构及云端服务等全栈AI基础设施的顶级盛会。此次峰会聚集了3500名行业专家和超过100家合作伙伴,共同探讨如何构建高效、可扩展且经济适用的AI系统。Moreh与SGLang的联合展示不仅体现了当前分布式推理技术的发展趋势,也为业界提供了重要的参考范例。随着AI技术在医疗、金融、自动驾驶、制造业等领域的广泛应用,对推理效率和部署灵活性的要求愈加严苛。分布式推理系统能够突破传统单点瓶颈,实现模型计算的并行化和资源共享,显著提升推理吞吐量和响应速度。这不仅满足了实时推理与大规模服务的需求,还极大地降低了能源消耗及运营成本。
AMD平台在此次合作中发挥了至关重要的作用。作为近年来在高性能计算领域持续发力的芯片厂商,AMD通过其创新的GPU和加速器产品,为AI运算提供了强劲的算力支持。Moreh和SGLang的系统充分利用AMD的架构优势,确保软硬件的高效整合,为分布式推理注入强大动力。此外,Tenstorrent作为新兴的AI硬件供应商,其前瞻性的AI半导体设计理念与Moreh的软件引擎结合,进一步拓展了方案的多样化和市场的覆盖面。未来,随着大型语言模型和多模态AI系统规模的不断增长,分布式推理系统将成为AI技术商业化应用的重要基石。Moreh与SGLang的合作及其基于AMD的创新方案,正是顺应这一趋势的重要布局,不仅满足当前的性能瓶颈,更为未来的智能时代奠定坚实基石。
更为重要的是,这种开放合作的生态建设模式,将推动整个AI产业链技术进步,促进全球人工智能技术的普惠发展。整体来看,Moreh与SGLang在2025年AI基础设施峰会上的联合展示,揭示了分布式推理技术的最新动态和未来趋势。通过结合AMD和Tenstorrent的硬件优势及深厚的软件研发能力,这种跨界协同创造了令人期待的AI推理解决方案。对于人工智能开发者、企业IT架构师以及决策者而言,这不仅是技术升级的信号,更是拥抱高效智能计算新时代的机遇。随着全球人工智能市场竞争加剧,如何在保证性能的同时有效控制成本成为关键。Moreh与SGLang基于AMD的分布式推理系统为业界提供了可借鉴的范例,展现了软件与硬件深度融合创新的巨大潜力。
未来,随着合作的深化和产品的完善,Moreh有望在全球AI推理市场占据更重要的地位,助力更多企业实现智能转型和业务价值提升。整个深度学习生态也将因分布式推理系统的不断成熟,迎来性能跃升、成本优化和应用场景多样化的美好未来。 。
