随着网络安全威胁的日益严峻，实时掌握安全漏洞信息已成为企业和安全团队的重要需求。传统依赖国家漏洞数据库（NVD）等官方来源的数据，往往存在较长的延迟，这对于快速响应和防护极为不利。如何打破信息延时壁垒，从更多渠道获得更加即时和丰富的漏洞数据，成为安全行业亟需解决的问题。在此背景下，通过爬虫技术从100多个不同的安全厂商和渠道采集漏洞数据，成为实现实时漏洞情报的重要手段。本文将聚焦于一种非依赖大语言模型（LLMs）的漏洞数据采集技术体系，分享其设计理念、核心方法和实现细节，帮助读者深入理解如何高效且稳定地构建多源漏洞数据蒐集框架。 在多源数据环境下的挑战首当其冲便是数据源的多样性和不稳定性。
不同厂商发布漏洞信息的形式极其不统一，可能是RSS订阅、JSON格式API、官方博客、知识库系统、漏洞跟踪器，甚至有少数遵循CVRF标准的供应商。面对这些杂乱多变的数据呈现方式，设计采集系统时必须预设失败场景，从而保证高容错和灵活调整的能力。关键在于构建轻量且模块化的爬虫架构，使得新增或重构数据采集器的成本极低。 该架构的核心是一套底层爬取引擎，功能相对简单，但可通过“中间件”叠加诸如请求/响应数据快照保存等增强功能，为快速调试和复盘提供重要支持。数据抽取阶段采用函数式的方法，定义两大核心接口：extract和find。extract用于按照指定选择器路径返回字符串数组，find则返回节点列表。
抽取路径支持类似CSS选择器到函数调用链的组合，可灵活提取节点文本、HTML内容或属性值。例如想拿到某页面中特定CSS选择器对应的发布时间，通过extract搭配内置的日期解析器mapper.Date即可方便完成。 这些映射器（mappers）构成了可复用且功能丰富的转换库，能有效将无序文本转为结构化数据。常用的还有版本号识别（mapper.Version）、CVSS评分提取（mapper.CVSS）、去除多余空白（mapper.Trim）、HTML标签剥离（mapper.StripHTML）与JSON解析（mapper.ParseJSON）等。当映射函数返回数组时，使用flatMap彻底摊平结果，确保数据可用且格式统一。通过单元测试保障每个映射器模块的可靠性与正确性，大大缩短后续添加新源时调试时间。
除了DOM结构化抽取，系统还采用正则表达式叠加替换的Regex Reducer模式，逐步简化自由文本，实现复杂文本内关键信息的精准抽取。比如从漏洞作者署名字段中，依次使用正则提取作者名、公司、社交媒体账户等信息，每提取一项即从文本中剔除匹配片段，使后续表达式更简洁且不易误匹配。这一手工分步抽取策略兼具灵活性与鲁棒性，适合处理格式不规范的源数据。 采集器运行需要稳定的健康检测机制保障数据的连续有效。设计了两套重要判定手段：一是预期数据存在点标记，当一个阶段未抽取到任何数据时立即抛错提醒；二是关键性选择器路径的“金丝雀机制”，通过检测关键节点是否仍然有效响应页面结构，将网页结构变更所引发的采集失败提前暴露，避免无声的失效导致数据丢失。 许多业内团队对AI和大语言模型的兴起寄予厚望，期望其能显著提升数据抽取效率。
然而本文实践中，仍坚持以传统编程逻辑为主干，基于确定性和可追溯性的考量，保证采集过程清晰透明，能够完整追踪从网页输入到最终漏洞对象的映射轨迹。AI工具虽然被尝试用于困难字段的非结构化内容提取，且会明确标注为AI辅助成果，但整体采集以结构化数据优先，避免因过度依赖黑盒模型带来潜在错误。未来或许可借助AI自动生成选择器和映射函数，甚至构建泛用型采集器处理任意网页，但当前仍以实用稳定为主导。 随着采集到的原始漏洞信息不断涌入，后续的数据清洗、聚合、去重和标准化流程也逐渐形成闭环。通过统一字段模型将来自各种格式和风格的漏洞描述统一翻译成标准对象，再结合时间戳、影响范围、威胁等级等维度，采集系统促使终端用户获得准确且及时的风险提示。与此同时，对于任何采集器失败、网页结构大变等问题都有实时报警和快速修复流程，确保信息流畅不断。
在网络安全领域，时间就是防线。依靠单一权威机构发布的漏洞数据，已经无法满足当下多变且严峻的威胁形势。通过构建覆盖百余数据源、结构多样且容错强大的爬虫采集框架，企业能够及时获取到更多维度和更早期的安全告警，大幅提升响应速度与风控能力。不使用大语言模型的大量经典手工开发技术虽显辛苦，却以其高可控性与高透明度赢得信任和稳定性。随着技术不断演进，未来人工智能的辅助必将加速开发迭代，但数据溯源和代码可审计的需求同样不可忽视。 总之，通过对多元化漏洞数据源灵活适配与稳定采集，中间件支持的模块化爬虫架构，函数式文本转换工具库，以及合理的监控和预警机制，安全团队可以构建一个强大且灵活的漏洞情报获取平台。
这个平台不仅能满足实时性和完整性诉求，更可为安全运营提供坚实数据基础，推动更高效的风险管理和漏洞修补。未来，这套框架有望通过融入更多AI自动化，进一步释放开发效率，助力构建更智能、更全面的网络安全防御堡垒。
