在现代互联网应用中,用户行为产生的数据量呈爆炸式增长,尤其是在社交媒体和内容推荐平台。用户每次浏览、点赞或分享内容时,都会产生海量事件数据。为了确保推荐系统的精准性和响应速度,实时去重成为不可忽视的技术难题。重复数据不仅降低推荐质量,还会导致不必要的计算资源浪费,直接影响企业的运营成本。本文结合某大型互联网平台的实际案例,详尽介绍了他们如何通过技术改造和优化,实现大规模实时内容去重,并将整体成本降低了86%。 最初,该平台采用基于Node.js和Redis的方案进行实时内容去重。
其原理是维护一个滑动时间窗口,在此期间存储用户与内容的唯一组合标识(userId, postId),通过对Redis的SETNX操作判断事件是否重复。然而,随着用户规模和事件数的激增,这种方案暴露出多个瓶颈。Node.js单线程模型限制了并行计算能力,难以满足对高吞吐量、低延迟的需求。Redis作为内存数据库,存储庞大的去重键值对消耗大量内存,导致运维成本巨大。除此之外,该架构对资源的高请求压力也带来了系统不稳定风险。 面对挑战,团队决定根本性地重构去重管道,转而采用Apache Flink作为核心流处理框架。
Flink具备天然的状态管理和分布式并行计算能力,非常适合处理持续增长的流式数据。它可以将状态拆分存储在内存与本地磁盘,通过RocksDB实现状态的高效持久化和快速访问。此外,Flink的并行度可以根据业务负载灵活调整,避免单节点瓶颈且提升资源利用率。 在设计迁移过程中,团队深入剖析了Flink状态存储结构,发现Apache Flink暂不支持原生的Set状态,只能通过MapState模拟。为了减少状态存储空间,他们多次尝试不同的序列化策略,从简单的字符串拼接到ProtoBuf序列化,再通过差分压缩算法优化键的大小。虽然序列化缩减了50%以上的空间,但状态依旧庞大,经常超过几十GB,导致Flink的检查点操作耗时长且不稳定。
经过反思,工程师们修改了数据模型,将去重键从单独的(userId, postId)对转变为以userId为主键,值部分存储一定时间窗口内的postId集合。为了兼顾数据时效性,引入小时粒度的分桶机制(userId_hour)保证旧数据不会无限增长。这样的改动将状态大小成功压缩到约15GB,极大提高了系统的稳定性,避免了节点因checkpoint阻塞而产生的处理延迟。 尽管Flink状态管理有效减少了实时内存占用,系统仍面临持久化与恢复的挑战。由于Flink作业升级或重启时往往无法兼容旧状态结构,完全依赖Checkpoint生成的状态容易造成数据丢失,进而增加重复事件。针对这一点,团队设计了混合缓存策略。
使用Flink状态充当热数据缓存,并在状态缺失时访问外部数据库(存储最近24小时的用户浏览历史)以补全数据。由于大部分请求都能命中缓存,降低了数据库负载和运维成本。 在事件处理链中,去重后的流还需要进行数据丰富,例如调用外部服务获取内容语言等元信息。全链路中每条流数据均需触发HTTP请求,造成网络I/O阻塞,导致任务槽(TaskManager)资源利用率极低。为解决该问题,团队在Flink状态中引入了HTTP响应缓存,缓存命中率超过95%,显著减少了外部请求次数和空闲资源浪费。除此之外,后续还计划实现异步IO请求和批量请求机制,以进一步提升效率和降低延迟。
流量波动性使得固定规模的资源配置存在明显浪费。为此,团队启用了基于Kubernetes的弹性扩缩容,通过Flink Kubernetes Operator监控作业各阶段处理时间、延时及队列积压动态调整TaskManager数量和算子并行度。此举不仅提升了资源利用率,还节约了约30%的计算成本。然而,自动扩缩容初期带来了一定的重复数据增长。原因是Checkpoint元数据与消息队列消费位点不同步,导致作业重启时事件重复消费。团队通过引入Redpanda的事务机制,实现了提交消息位点与写入结果的原子操作,确保消息的Exactly-Once语义,从根本上杜绝重复数据回弹。
除了流处理层优化,消息中间件Redpanda集群的成本占比也不容小觑。原先部署在多可用区的集群产生大量跨区流量,带来高额网络费用和性能波动。考虑到可接受短期单区宕机风险,团队果断切换到单可用区部署模式。该决策使Redpanda集群成本大幅下降约84%,同时提升了网络稳定性和消息传输性能。 上述技术升级总体上实现了架构中三大关键成本区域的压缩。状态存储成本因由Redis转向Flink管理下降了99%,计算资源消耗减少了50%,消息中间件开销降低了84%。
综合这几个核心环节,共同推动了整体基础设施成本节约86%的卓越成绩。 性能方面,新架构杜绝了Redis的单点故障隐患,借助Flink的状态管理和弹性扩缩容策略,系统保持了更高的稳定性和灵活性,尤其在流量骤增的节日活动期间表现尤为出色。减少了过往升级前人工干预资源扩展的需求,使运维工作负担显著减轻,企业能更专注于业务创新和用户体验提升。 展望未来,团队计划进一步完善HTTP请求的异步批量处理机制,降低网络开销,同时持续优化Flink作业的自动弹性伸缩策略,力图实现更智能、更经济、高效的流式处理能力。在精细化数据建模和策略调整的支持下,大规模实时内容去重将持续成为推荐系统提升用户满意度和降低运营成本的重要技术基础。 综合来看,实时内容去重不仅是一项技术挑战,更是互联网业务可持续发展的驱动力之一。
通过深入理解流处理框架特性,合理规划数据结构,结合智能调度与弹性伸缩策略,才能在海量数据和高并发场景下保持系统的高效、稳定及经济实惠。该案例为行业提供了宝贵的实战经验和优化思路,推动更多企业在数字化浪潮中以创新技术赢得竞争优势。 。
