随着人工智能技术的快速发展，网络空间中的自动化爬虫行为也日益猖獗，给各类数字平台带来了前所未有的挑战。尤其是在学术与文化传播领域，数字资源平台频繁遭受大规模机器人访问，导致服务中断和用户体验大幅下降。面对这一严峻情况，杜克大学图书馆（Duke University Libraries，简称DUL）于2025年5月至6月成功实施了一项名为“安努比斯”（Anubis）的开源网络应用防火墙（WAF）试点项目，旨在有效防御AI驱动的恶意爬虫攻击，保障其关键数字平台的安全稳定运行。安努比斯的部署不仅实现了对海量恶意请求的精准过滤，也恢复了用户的正常访问速度，显著提升了整体网络性能。杜克大学图书馆的这一实践为学术数字资源管理提供了宝贵的经验，也为相关领域的网络安全策略制定指明了方向。杜克大学图书馆负责评估与用户体验策略的团队通过对安努比斯的逐步实施，成功减轻了因恶意机器人请求导致的系统过载，避免了多个内部核心应用的服务中断。
试点阶段涵盖的三大关键平台分别是杜克数字资源库、档案与手稿系统以及图书和媒体目录。这些系统长期以来受到频繁且激进的机器人爬取行为困扰，导致系统响应延迟甚至崩溃。随着安努比斯的上线，杜克大学图书馆实现了对高达四百万次每日无效HTTP请求的阻挡，拦截率达到90%，有效缓解了先前访问压力，极大地保障了系统的稳定性。值得关注的是，杜克大学图书馆团队并未采取简单粗暴的屏蔽策略，而是通过细致的配置实现了对良性网络爬虫的区别对待。例如，知名搜索引擎如谷歌、必应以及互联网档案馆等“良性”机器人仍被允许正常访问。这种针对性的过滤保证了数字平台的可搜索性和曝光度，同时维护了网站的安全性。
安努比斯的部署给实际用户带来了切实的好处。此前，由于机器人流量的泛滥，真实用户经常遭遇页面加载缓慢甚至访问不上的问题。随着恶意请求的大幅减少，网站响应速度显著提升，用户体验得到了根本性改善。值得一提的是，杜克大学图书馆还设计了友好的用户反馈机制，允许因某些配置误判导致访问被拒的真实用户通过挑战页面中的表单快速报告问题。试点运行的短短一周内，收到了12份反馈，调查显示访问受限多半由于用户浏览器禁用了Cookie。这帮助团队进一步优化防火墙的配置，兼顾安全性与用户便利性。
在对安努比斯技术本身进行分析时，我们发现这款开源WAF具备高度可配置性，能够灵活响应不同攻击场景。其后台算法能够实时识别异常请求特征，如过频访问、非标准用户代理字符串和行为异常模式等，进而自动阻断。这种智能识别机制极大提升了防护的精准度和效率。杜克大学图书馆团队还根据自身需求，对安努比斯进行定制开发，以贴合图书馆的数字资源生态和用户访问特点。未来的工作计划包括进一步完善异常检测规则，扩大对更多良性机器人的支持范围，以及优化用户反馈处理流程，使防护体系更加完善和智能。安努比斯试点项目的成功实践为学术和文化数字资源平台抵御新型网络威胁树立了典范。
不仅展现了开源技术在网络安全领域的巨大潜力，也体现了人工智能与传统防护手段结合的重要性。随着AI爬虫技术的不断进步，防御策略也需保持动态调整与升级。杜克大学图书馆的做法表明，积极探索灵活可控的WAF解决方案，是维护数字资源平台稳定运行的有效路径。总的来说，安努比斯不仅帮助杜克大学图书馆应对了紧迫的安全挑战，还为其未来的网络安全建设积累了宝贵经验。其成果对其他高校和文化机构同样具有重要借鉴意义，推动整个学术数字服务生态更加安全、便捷和高效。随着项目的持续推进，期待更多创新措施涌现，共筑数字信息保护的坚实防线。
。
