Gimlet Labs宣布完成3亿美元B轮融资,由Andreessen Horowitz领投,加速构建面向AI推理的多芯片异构云平台,突破吞吐量与延迟瓶颈,引领下一代AI基础设施变革。
近日,AI基础设施领域传来重磅消息,专注于AI推理优化的初创公司Gimlet Labs正式宣布完成3亿美元B轮融资。本轮融资由全球知名风投机构Andreessen Horowitz领投,众多顶级投资机构和产业战略投资人参与,包括Sapphire Ventures、Menlo Ventures、645 Ventures、Arm、Eclipse、Emergence、Factory、Hudson River Trading、M12、OnePrime Capital、Prosperity7、QuantumLight、Samsung Ventures、Tiger Global Management、Triatomic、Wing Ventures以及XTX Markets等。此次融资距离其A轮融资仅过去五个多月时间,充分体现了资本市场对AI推理赛道的强烈看好,以及对Gimlet Labs技术路线的高度认可。 据Gimlet Labs披露,自今年三月以来,公司新增了数十亿美元的合同收入,拥有数千兆瓦的数据中心储备管线,并正在快速扩展到数百兆瓦的托管容量。这一系列亮眼数据的背后,反映出AI推理需求正在以前所未有的速度爆发。整个行业对算力资源的渴求已经达到了惊人的规模,每年AI基础设施领域的投资额已经接近一万亿美元,预计到2030年累计投资额将高达七万亿美元。
如此庞大的投资规模,在现代工业史上堪称最为雄心勃勃的工程之一。 然而,电力供应正快速成为制约AI产业发展的最关键瓶颈。2025年,AI数据中心消耗的电力容量约为18吉瓦,预计到2030年这一数字将增长三倍。支撑如此庞大的能源需求,需要全新的发电设施、电网扩容、互联互通能力以及表后能源生产方案。当行业最终触及物理资源供给的上限时,最大化每千瓦电力所产生的吞吐量就成为继续推动产业扩张的关键路径。 在原始吞吐量需求之外,市场对极低延迟推理和高速令牌生成的需求同样在急剧上升。
这一趋势主要由三类核心驱动力推动。首先是智能体工作负载的普及。AI智能体在执行任务时需要进行多步骤推理循环,往往需要数十次连续的模型调用和工具交互,每一次调用的延迟都会累积叠加,最终严重影响用户体验。其次是模型规模的持续扩大。仅仅几年前,主流模型的参数量还在几百亿级别,而如今前沿模型的参数量已经达到三到十万亿级别,模型规模的增长直接增加了单次推理的计算量。第三是上下文窗口的不断扩张。
2023年,上下文窗口通常限制在十万令牌左右,而如今领先的模型已经能够支持一百万甚至更多的令牌长度,处理更长上下文意味着每个推理请求需要计算更多的注意力权重。 当前AI推理基础设施面临的核心难题在于,行业虽然能够单独提供高吞吐量或低延迟服务,但当这两项需求同时出现时,传统架构便显得力不从心。业界广泛流传的吞吐量与交互性帕累托图清晰地展示了这种权衡关系 - - 传统的同构推理基础设施只能让用户在某一个维度上获得最佳表现,而无法同时兼顾高吞吐量与低延迟的双重需求。真正的挑战不仅在于最大化吞吐量,也不仅在于最大化推理速度,而是要在保持高吞吐量的同时实现快速令牌生成。 传统的同构推理基础设施将用户锁定在高吞吐量、低交互性的单一最优解上。而Gimlet Labs通过创新的异构解耦技术,在其推理云平台上实现了相较传统方案三到十倍的性能飞跃。
这一突破性的成果来源于公司对AI推理本质的深刻理解以及对底层硬件架构的重新设计。 在Gimlet Labs成立之初,创始团队便形成了几个核心战略判断。第一,AI推理将成为软件领域的主要工作负载,而不仅仅是AI领域的工作负载。随着大模型在各行各业的深入应用,推理调用将像今天的数据库查询一样普遍,成为数字世界的基础设施。第二,AI推理的效率显著低于其潜在水平,差距达到数量级别。当前的推理方案存在巨大的优化空间。
第三,AI基础设施需要从零开始重新构想和重建,以推理为核心进行设计,才能满足未来工作负载的需求。 随着行业重心从训练转向推理,业界普遍采取的做法是将原本为训练设计的硬件基础设施改造用于推理服务,有些情况下甚至改造用于加密货币挖矿的设备。然而,推理与训练在计算特征上存在根本性差异,即使在推理范畴内部,不同的应用场景对底层硬件的需求也千差万别。值得庆幸的是,芯片设计者们一直在积极构建高度优化的AI加速器,如今市场上已经涌现出多种差异化的芯片架构,每种架构都拥有独特的优势。 不同的芯片架构在不同的任务上表现各异,并提供独特的性能与效率权衡。Gimlet Labs正是抓住了这一机会,构建了业界首个多芯片云平台,从设计之初便专注于推理性能。
Gimlet平台基于异构硬件构建,能够充分利用不同类型的加速器,包括GPU、近内存计算芯片、数据流架构处理器以及传统CPU等。更重要的是,Gimlet的软件栈能够智能地将工作负载解耦到这些芯片上,让推理工作负载的每个阶段都运行在最适配的硅架构上。 通过将模型拆分并跨多种加速器运行,Gimlet能够在相同的电力消耗下实现五到十倍的推理速度提升,或者在相同延迟要求下获得显著更高的吞吐量。这一突破在当前电力成为AI部署核心限制因素的背景下显得尤为重要。通过异构硬件协同,AI产业得以在有限的能源预算内提供更多的推理服务。 Gimlet Labs的异构协同方案建立在精细化解耦技术之上。
模型可以被多种方式拆分并部署到异构硬件上,而不同的拆分方式会带来不同的性能特征。在Gimlet的软件栈中,模型被动态追踪并分解为不同部分,根据工作负载的服务等级协议以及可用硬件资源,智能地调度到最合适的加速器上。整个系统能够根据实时硬件可用性动态重新平衡工作负载,避免计算资源被闲置或浪费。即使某种特定硬件被某项任务完全占用(例如解码阶段),如果工作负载需要更多的解码实例,系统也可以在其他可用硬件上按需启动相应的容量,以满足服务需求。 推理工作负载可以通过多种方式进行解耦。最广为人知的解耦方式是预填充与解码分离,其中预填充阶段(计算密集型)运行在一组设备上,而解码阶段(内存带宽密集型)运行在另一组设备上。
此外还存在其他多种技术,例如推测性解码解耦和注意力与前馈网络解耦等。预填充与解码分离方式能够提供最低的延迟,而其他类型的解耦方式则在保持较高吞吐量的同时提供相对于同构部署的速度提升。除此之外,Gimlet Labs还在研发几种新型解耦方案,并将在未来的技术内容中详细阐述。 展望未来,前沿模型的规模、令牌需求、令牌速度、缓存长度以及芯片架构都在快速增长。软件行业正在经历深刻的变革,开发者们正在构建前所未有的新型产品体验。Gimlet Labs对于能够在这一历史性转型中与客户并肩前行感到由衷的兴奋。
公司相信,推理吞吐量和模型速度的根本性飞跃将为整个行业打开新的大门,催生出今天难以想象的创新应用。 目前,Gimlet Labs主要与前沿模型实验室以及其他大规模推理消费方合作,但公司正在快速扩展产能,以服务更广泛的客户群体。对于希望了解如何获取低延迟推理服务的团队,Gimlet Labs欢迎通过官方渠道与其取得联系。 随着业务的飞速扩张,Gimlet Labs正在积极扩充团队,热切期待与那些热衷于解决AI基础设施领域核心挑战的优秀人才建立联系。公司正在招募一支由研究员、工程师和运营专家组成的高水平技术团队,工作内容涵盖AI基础设施的完整技术栈,包括系统设计、数据中心运营、编译器开发、分布式系统、网络架构以及性能工程等多个方向。 Gimlet Labs倡导以小团队、高自主性和扁平化组织为核心的工作理念。
公司希望每位成员都能贴近实际工作,直接开展协作,并拥有解决重要问题的自由,而不会被不必要的层级和流程所束缚。这种组织文化旨在最大化技术创新的效率,让团队能够快速响应行业变化,持续输出突破性的技术成果。 对于有意加入Gimlet Labs的顶尖人才,公司提供了多元化的开放职位,涵盖从底层硬件优化到上层软件架构的各个层面。这不仅是一次职业发展的机会,更是参与塑造AI基础设施未来的难得契机。在AI推理需求呈现指数级增长的当下,加入Gimlet Labs意味着站在行业变革的最前沿,与一群志同道合的顶尖人才共同攻克最具挑战性的技术难题。 Gimlet Labs的B轮融资不仅是公司发展历程中的重要里程碑,更是整个AI推理行业的一个重要风向标。
它表明资本市场已经充分认识到推理优化的战略价值,以及异构计算在解决AI算力瓶颈方面的巨大潜力。随着Gimlet Labs等创新企业的不断突破,AI推理的效率和成本结构有望迎来根本性的改善,从而推动AI技术在更广泛的场景中落地应用,最终惠及整个数字经济社会的方方面面。 从长远来看,AI推理基础设施的变革将深刻影响软件行业的演进方向。当推理变得更加高效、成本更低、速度更快时,开发者将能够构建出今天无法实现的全新产品类别,从实时多模态交互到复杂的自主决策系统,再到大规模个性化服务。可以预见的是,在Gimlet Labs等公司的推动下,AI推理将成为如同云计算一样的基础设施级服务,为下一波AI应用创新提供坚实的底层支撑。 。
