Zstandard与Pingora协同优化:如何为CDN缓存节省PB级存储空间

加密货币的机构采用 投资策略与投资组合管理

在云计算与内容分发领域,存储成本始终是制约业务规模化扩展的核心要素之一。随着内存与硬盘价格的持续攀升,如何在有限硬件资源下提供更大容量的缓存服务,成为各大基础设施提供商亟需攻克的难题。Cloudflare近期披露的一项内部原型系统 - - Cache Transcoding(缓存转码),通过将Zstandard压缩算法与自研的Pingora代理框架深度结合,在仅增加少量CPU开销的前提下,实现了PB级别的有效缓存容量扩展,同时显著降低了数据中心之间的骨干网带宽消耗。 这项技术的核心思路并非将所有数据强行压缩,而是针对特定类型的内容实施精准的转码策略。系统在缓存写入前将符合条件的响应体使用Zstandard算法进行编码,在缓存生命周期内始终维持压缩形态,仅在向客户端返回响应时才进行解码。考虑到热门资产的命中次数往往远高于填充次数,这种"压缩一次、受益多次"的模式将CPU成本摊薄到了可接受的范围内。

Zstandard作为一种由Yann Collet于2016年在Facebook开源的无损压缩算法,其设计初衷便是在压缩率与处理速度之间寻求最佳平衡。与传统的gzip和Brotli相比,Zstandard在保持相近压缩率的同时展现出更快的执行效率。Cloudflare早期针对浏览器压缩场景的测试数据显示,Zstandard的压缩速度比Brotli快约42%,而输出文件大小仅相差甚微;与gzip相比,其压缩文件小约11.3%,而速度处于同一量级。这一特性对于需要处理海量流量的缓存系统尤为关键,因为任何微小的处理延迟都可能在高并发场景下被指数级放大。 在原型实现中,系统采用了Zstandard的Level 3压缩等级。这一选择在实践中被证明是合理的折中方案 - - 它既能获取绝大部分压缩收益,又不会使缓存填充流程成为CPU瓶颈。

需要明确的是,Level 3并非一成不变的硬性约束,而是一个可调节的参数。随着对系统负载特征的深入理解,未来完全有理由在部分场景下尝试更高压缩等级以追求更极致的存储节省。 并非所有内容都适合进行二次压缩。在Cloudflare的流量样本分析中,图片、视频与字体等媒体类型虽然仅占请求总量的21.4%,却消耗了63.3%的字节数。这些内容在源头通常已经过高度压缩,再次编码只会徒增CPU负担而难以获得实质性收益。相对而言,HTML、JSON、CSS与JavaScript等可压缩文本类型则呈现出截然不同的特征 - - 它们贡献了67.3%的请求量与22.3%的字节数,而在这部分文本中,约有71%的响应在源头未启用Content-Encoding,保留着大量的可压缩冗余。

这正是缓存转码技术能够发挥价值的甜蜜区间。 基于受控测试语料库的测算表明,符合条件的可压缩资产平均可压缩至原始大小的约三分之一,即压缩比达到2.834倍。从CPU消耗的角度审视,编码过程每字节约需4.31纳秒,相当于约232 MB/s的处理速度,且这一开销仅在缓存填充时发生一次;解码过程每字节约需1.56纳秒,处理速度可达约641 MB/s,但这一步骤会在每次向客户端返回响应时执行。由于热门资产的复用率通常远超填充频率,将CPU开销主要集中于解码环节在经济上完全可行。 研究团队最初曾考虑将转码功能限制于热门内容,期望借此进一步降低CPU消耗。然而实测结果却与直觉相悖:解码动作发生在每一次服务请求中,若仅对最热门资产启用转码,虽然能够削减部分编码开销,但减少的存储收益与削减的CPU消耗并不成正比。

相比之下,对所有符合条件的资产统一启用转码的简单策略反而表现更优。综合考虑存储节省与CPU预算,最终采用的策略是对所有大小不低于4 KiB的可压缩文本统一执行转码。这一阈值设定能够覆盖约99%的潜在可压缩字节,同时有效规避大量微小请求带来的处理开销。 Cache Transcoding的工作流程在缓存未命中、缓存命中以及分层缓存场景下各有差异。当Pingora代理遭遇缓存未命中时,它首先从源站拉取原始响应,随后使用Zstandard对响应体进行编码,再将压缩后的数据写入磁盘。缓存元数据中会记录该对象已处于压缩状态,并保留原始内容长度信息。

在响应即将离开代理返回客户端之前,系统会执行解码操作以恢复原始的identity表示形式。 当发生缓存命中时,存储的Zstandard压缩对象从磁盘被读取后直接解码即可。这种设计在分层缓存架构下展现出独特的优势 - - 当对象需要从上级缓存层传输至下级缓存层时,压缩表示形式可以全程在网络上保持,跨数据中心的带宽消耗因此显著降低。解码动作仅发生在面向客户端的最终跳。 在全量缓存未命中的场景下,上级缓存层从源站获取identity字节后,会立即进行一次编码并存储为Zstandard格式,随后以压缩形式传输至下级缓存层。下级缓存层同样以Zstandard格式存储该对象,仅在请求路径上执行解码。

若下级缓存层未命中但上级缓存层已持有该对象,则源站不会被牵连,压缩对象直接在缓存层之间迁移,全程保持压缩状态,仅在下级缓存层完成一次解码。 若下级缓存层已持有该对象,则无需任何网络传输或编码操作,只需从磁盘读取Zstandard字节、解码并传递原始资产即可。为防止对象被重复编码,系统引入了存储编码标记机制。缓存层在接收来自其他层级的对象时,能够识别其已处于Zstandard压缩状态,并据此保持该格式不变。这一机制从根本上杜绝了多级编码导致的资源浪费。 在实际部署前,Cloudflare对原型系统进行了严格的正确性与性能验证。

正确性验证环节涵盖了缓存未命中、缓存命中、单跳填充、分层缓存填充等多种典型路径,通过精心设计的缓存键组合确保每个请求遵循特定处理逻辑,并借助Jaeger追踪技术精确确认编码与解码动作的发生位置。 性能验证环节更为严苛 - - 系统在10台缓存服务器上累计处理了超过一百万次请求,其中一半测试在禁用分层缓存的状态下执行,另一半则启用分层缓存。这种分组设计使得本地缓存行为与跨层数据传输得以独立评估。测试对象选取了两个分别约为195 KiB与272 KiB的资产,二者均压缩至原始大小的约三分之一。需要指出的是,这是经过精心挑选的高可压缩性测试语料,主要用于验证架构可行性,并不代表互联网文本对象的全貌。要将测得的压缩比推广至整个机队,仍需基于更广泛语料库的进一步测试。

从架构层面审视,这项实验揭示了缓存服务中仍存在大量可挖掘的效率优化空间。在受控测试条件下,该架构完整保留了原始内容语义,并将额外CPU消耗控制在预算范围内。 展望未来,技术团队计划沿多个方向深化研究。首先是评估更高Zstandard压缩等级的收益,权衡压缩率提升与CPU开销之间的关系;其次是扩展测试的内容类型与对象大小范围,验证架构在更复杂场景下的适应性;此外还将调整资格判定标准的各项参数,寻找最优配置。另一个值得关注的方向是支持范围请求、源站预压缩响应,以及将压缩对象直接传递给已支持该格式的下游组件而无需解码 - - 后者有望进一步削减不必要的解码开销。 对于正在构建大规模分布式存储与缓存系统的工程师而言,Cache Transcoding的实践经验提供了若干值得借鉴的设计原则。

首先,压缩并非适用于所有内容,精准识别可压缩流量并规避无效操作是系统设计的关键前提;其次,将CPU开销集中于一次性操作(如编码)而充分利用复用效应,能够在经济性与性能之间达成良好平衡;再者,分层缓存架构与压缩技术的协同设计能够产生乘数效应,在存储与带宽两个维度同时实现优化;最后,所有看似最优的参数都是阶段性的产物,持续的实验与调优才是系统长期保持竞争力的根本保障。 在硬件成本不断攀升的当下,通过软件层面的创新挖掘既有资源的潜力,已成为基础设施提供商的核心竞争力之一。Zstandard与Pingora的组合实践证明,即使在不进行大规模硬件投资的前提下,通过对数据表示形式的精细化处理,同样能够实现数量级的效率提升。这种思路对于所有面临存储成本压力的技术团队都具有重要的参考价值。 。