随着人工智能技术的迅猛发展，越来越多的应用场景开始依赖大规模的语言模型和深度学习算法。然而，如何在功耗受限、计算资源有限的智能手机上实现高效、低延迟的AI推理，一直是业界面临的重要挑战。Cactus应运而生，作为专注于ARM架构的节能推理引擎，Cactus以其创新的设计和出色的性能表现，正在引领移动端人工智能进入全新阶段。 Cactus的核心优势在于其针对手机硬件的深度优化。大多数手机并不具备专用的神经处理单元（NPU），而传统的GPU推理虽然速度快，但存在较高的能耗和发热问题，这直接影响用户体验和设备续航。Cactus选择以CPU为优先优化目标，尤其是ARM CPU，这使其在市面上70%以上的设备上都能实现高效运行。
其底层内核采用ARM专属的SIMD指令集，提高了运算并行度和效率，确保模型推理的同时最大限度降低电池消耗。 在性能方面，Cactus表现出令人瞩目的速度和能效比。以流行的Qwen3-INT8-600m模型为例，iPhone 17 Pro能够达到每秒74个标记的处理速度，而在三星Galaxy S25 Ultra等旗舰安卓设备上也能保持58个标记每秒的卓越表现。相较于同类框架，Cactus在文件大小上也展现出极大优势，模型大小仅为370-420MB，远小于其他ONNX和GGUF格式，有助于节约存储空间，加速加载速度。 更为关键的是，Cactus在降低设备发热和延长电池续航方面取得显著成果。苹果智能手机上，默认AI推理应用的功耗仅为每分钟0.6%左右，而相比传统GPU推理，Cactus的CPU优化策略能够将功耗降低2至10倍，极大缓解了高强度AI计算对设备续航的压力。
比如OnePlus 13 5G和Redmi K70 Ultra等安卓手机的AI推理任务功耗均控制在0.33%至0.5%之间，用户体验显著提升。 Cactus的设计理念体现为层次化架构，包括底层的Cactus Kernels负责ARM特定的并行计算操作，中间层的Cactus Graph作为统一的零拷贝计算图框架，以及Cactus Engine作为高层的Transformer推理引擎。这样的模块化设计不仅方便高度定制与扩展，也支持复杂模型和科学计算的高效实现。 此外，Cactus支持多种数据类型和量化精度，包括刚推出的INT4量化格式，预期将带来约30%的性能提升。开发者可以通过C API方便集成Cactus引擎，且官方提供丰富的示例代码，支持包括MacBook ARM架构设备在内的多种平台。 对于模型的迁移，Cactus提供专门的转换工具，可将HuggingFace等主流平台的大模型权重转换为Cactus格式。
支持多种规模模型，从270万参数到17亿参数不等，满足不同应用需求。此外，未来版本还将支持更多模型架构和多媒体模型，如Llama、Whisper等，不断丰富生态。 社区与开源的力量亦是Cactus成功的重要因素。项目在GitHub上拥有超过3.4k的星标和活跃的贡献者群体，欢迎全球开发者参与贡献。完善的文档和友好的接口设计降低了入门门槛，促进了AI技术在终端设备上的普及。 在智能手机AI推理领域，Cactus代表了当前技术的一个里程碑。
它不仅从根本上解决了性能与能耗的矛盾，也为移动端大模型的广泛部署打开了新天地。在未来，随着硬件与软件的协同进步，Cactus有望进一步优化支持NNP、DSP和ISP，打造更加智能、节能的移动计算体验。 总的来看，Cactus的出现具有多重影响：它在技术上推动AI推理引擎向低功耗和高效率方向发展；在生态上促进了开源社区与行业的融合创新；在用户体验层面，带来了更流畅、更持久的智能手机AI交互体验。对于需要在移动智能设备上实现先进人工智能功能的开发者和企业来说，Cactus无疑是值得关注和采用的重要工具。 迈入智能移动计算新时代，Cactus用其专注和创新重新定义了边缘AI推理的可能性，让更强大的人工智能能够真正“跑”在手中设备，而非依赖云端，带来更安全、更私密、更即时的智能服务。它的诞生和发展，是移动AI技术成熟的标志，也是未来智慧生活的重要基石。
。
