在过去的两年里，我有幸在一家专注于向量数据库的公司工作，亲身参与并见证了信息检索领域的诸多发展与技术演进。信息检索作为连接海量数据与用户需求的桥梁，其重要性随着人工智能和大数据技术的迅猛发展愈加突出。本文将分享我在向量数据库领域的信息检索经验，深入探讨关键词搜索与向量搜索的关系、向量搜索的核心技术、嵌入模型的多样性，以及如何构建高效精准的检索系统。 关键词搜索依然坚挺，BM25算法为传统检索树立了坚实的基线。虽然向量搜索因其优秀的语义理解能力掀起热潮，但传统的关键词匹配依然不可忽视。BM25基于词频和逆文档频率，对文本中的关键词进行加权，能够快速而准确地找到关键词匹配内容，是信息检索中强大的基础工具。
在向量搜索技术尚未普及之前，BM25被广泛应用于众多搜索引擎，其简洁且高效的算法被证明在多种场景下表现优异。 相比之下，向量搜索通过将文本、图像等数据映射到高维向量空间，实现基于语义的相似性搜索。理论上，向量搜索可以通过暴力计算查询向量与数据库中每个向量的距离，找到最接近的邻居，但这种方式在面对亿级以上数据量时计算成本极高，难以实际应用。为此，向量数据库引入了近似最近邻算法（Approximate Nearest Neighbor, ANN），如HNSW、IVF和ScaNN等，通过索引结构的优化，实现快速而准确度可控的查询。这些近似算法在大规模数据检索中展现出卓越的性能，使得向量搜索得以规模化并应用于实际业务。 向量数据库不仅仅是向量的存储仓库。
它们往往还伴随原始数据对象和元数据的存储，使得数据库支持丰富的过滤条件与多模态检索。具体来说，这意味着用户可以在向量搜索的基础上，结合关键词过滤或元数据过滤实现更精准的搜索结果。比如在电商场景中，可以结合商品类别、价格区间等元数据条件，筛选出更符合用户需求的商品，同时借助向量搜索捕捉用户查询的隐含语义，使得搜索结果既精准又智能。 尽管越来越多的生成式AI广为人知，但向量数据库的主战场仍旧是搜索。大语言模型在对话系统和知识问答中的强大能力依赖于高质量的上下文输入，而找到合适上下文的过程，本质上就是信息检索。向量数据库通过快速检索相关知识片段，为生成式AI提供了重要支持，两者相辅相成，堪称理想的组合。
向量数据库解决了在海量数据中快速定位语义相关信息的难题，而大型语言模型则专注于理解与生成自然语言内容，这种协同极大地提升了智能应用体验。 检索时需要明确返回的结果数量，通常用top_k参数来指定。向量搜索天然会根据查询向量与索引中向量的距离从近到远排序，如果没有限制返回数量，将会返回数据库内全部数据，从实际应用角度看，合理限制检索结果数是提升响应速度与准确度的关键要素。用户对结果数有明确需求时，top_k参数便成为检索请求的重要组成，调整该参数可以兼顾性能与搜索覆盖率。 嵌入模型是向量数据库的核心，理解各种向量嵌入的类型非常重要。最常见的是密集向量（dense vector），即由连续浮点数构成的向量，比如[-0.9837, 0.1044, …]。
除了密集向量，还有稀疏向量（sparse vector）和二进制向量（binary vector）等类型。多向量嵌入（multi-vector embedding）则将信息拆分成多组子向量表示，用于捕捉更丰富的语义特征。不同类型的嵌入在存储、计算和应用效果上各有特点，选择合适的嵌入类型直接影响检索效果和系统资源消耗。 在选择嵌入模型时，Massive Text Embedding Benchmark（MTEB）提供了丰富的基准数据，帮助开发者从分类、聚类、检索等多任务角度评估模型性能。若关注多语言支持，则应关注MMTEB，针对多语种环境优化的嵌入模型有助于解决非英语文本检索的难题。我们从历史维度看，静态嵌入模型如Word2Vec和GloVe曾经风靡一时，它们为每个词分配固定向量，不考虑上下文变化，适合资源受限系统。
如今，基于上下文的嵌入模型如BERT更加精准地理解语义，但计算开销更大。根据实际需求和资源条件合理选取模型极为关键。 常常混淆的是稀疏向量与稀疏嵌入的区别，虽然所有稀疏嵌入都是稀疏向量，但反之不然。稀疏向量有时由统计方法，如TF-IDF和BM25生成，具有高维且大部分元素为零的特征；而神经稀疏嵌入模型则通过训练自动学得稀疏特征，兼具稀疏性与语义表达能力。理解这一点有助于准确设计与选择向量表示方法。 嵌入技术的应用已经远远超越文本领域。
图像、PDF、图谱等多种数据形态均可通过特定的嵌入模型转换为向量，实现跨模态检索，这极大地拓展了向量搜索的适用范围。想象你可以在一份文档、其中包含的图片以及相关的结构化数据上同时进行搜索，这为企业知识管理和内容发现带来革命性改变。 在规模和成本控制方面，向量维度是至关重要的考量因素。维度越大，向量可以捕获越丰富的语义细节，但同时存储和计算资源的消耗也成倍增加。典型的768维与1536维模型的存储需求相差巨大，在具体场景下需要平衡表现和成本。一些先进方法通过嵌套向量表示实现层次化压缩，降低维度对计算资源的需求，助力在有限资源环境中部署。
嵌入模型调用次数远超预期。除了文档入库时的嵌入外，用户每次检索请求都需对查询进行实时嵌入；后续新增或变更数据也需重新嵌入与索引；更换嵌入模型之后，全部数据的重新嵌入和重新索引是无可避免的重要工作。这个过程影响系统资源规划和检索延迟，需要从设计阶段提前考虑。 值得注意的是，向量空间的相似度不等同于语义相关性。两个句子在向量空间中距离很近，表明它们语义接近，但不意味着一定在特定业务上下文中相关。比如“如何修水龙头”和“在哪儿买厨房水龙头”在语义上相关，但对用户特定需求的满足度还是要结合实际场景判断。
向量相似度度量中，余弦相似度与余弦距离关系密切，前者越接近1表示向量越相似，后者为差值，越小代表相似度越高。使用标准化向量时，计算余弦相似度和点积等价，后者计算更快便于系统优化。 检索与生成结合的RAG（Retrieval-Augmented Generation）名称中的“R”代表“检索”，而非“向量搜索”。检索包含关键词搜索、向量搜索、过滤、重排序等多手段，构建有效系统时需综合利用各种技术，而不仅限于向量搜索。 关键词搜索与向量搜索各有优势，应用时要根据需求选择。若需求侧重于语义匹配和同义词查询，向量搜索表现更好；反之若需求强调精确匹配，关键词搜索更适用。
混合搜索结合二者优点，可通过调节权重参数实现灵活搜索效果，提升用户体验。 过滤操作并非如直觉理解的那样能提高向量搜索速度。过滤前后可能破坏索引结构，如HNSW中的图连通性，导致结果不准确或无结果。实际中，向量数据库设计了复杂机制来兼顾过滤和索引性能，提高检索效率和稳定性。 双阶段检索流程不仅仅适用于推荐系统，同样适用于问答等信息检索场景。第一阶段快速粗排筛选候选，第二阶段通过更精细的 rerank 算法提升结果质量。
采用这种架构可平衡效率与精度，适应大规模生产环境需求。 合理划分文本的分块大小，影响嵌入质量和检索表现。块大小过小会导致上下文丢失，过大则模糊语义。大多数嵌入方法采用均值池化，将所有token嵌入平均汇总。比喻为电影海报覆盖所有电影帧，信息虽全却难以解读，体现分块大小设计的挑战性。 向量索引库与向量数据库各有侧重。
索引库专注快速搜索功能，适合演示和小规模应用；向量数据库则集成数据管理、持久化、增删改查、过滤及混合搜索等全面功能，适合企业级部署，确保系统稳定和扩展性。 虽然大型语言模型上下文窗口不断扩展，有声音宣称RAG过时，但检索增强仍不可替代。海量数据与复杂需求使得检索技术不断演进，依旧是提升生成质量和响应准确度的根基。 向量量化技术能大幅降低存储成本，如二值量化将浮点向量压缩多倍，同时在很多场景中检索性能并未大幅下降。有效利用量化，可在保证检索效果的前提下大幅节省资源。 向量搜索虽然具备一定的容错能力，但并非对拼写错误全然鲁棒。
训练数据中缺乏足够错误词形实例，导致模型无法覆盖所有可能错别字，这提示在实际搜索中仍需结合其他纠错或关键词增强策略。 评估搜索算法性能时，需根据应用选择合适指标。NDCG@k等指标能够反映排序质量，精确度和召回率则较直观衡量搜索结果的覆盖与准确。结合业务目标，合理设定评估方式至关重要。 分辨“领域外”（out-of-domain）与“词汇表外”（out-of-vocabulary）现象不同。现代嵌入模型经由智能分词技术缓解了新词出现时的报错风险，但领域外词汇因缺少语义训练，映射向量虽符合形式但缺少真实含义，对检索效果产生负面影响。
搜索查询优化仍是重要课题。类似于传统搜索中用户会调整查询词以获得更好结果，向量搜索时代也需学习如何构造更有效的查询表达，以发挥向量表示的优势。 向量搜索虽是当下热点，但信息检索的演进并未止步。历史上我们经历了关键词匹配时代，再到嵌入驱动的向量搜索，未来将聚焦于基于推理的智能检索，助力实现人机交互更自然、更精准。 回顾两年的工作经历，深刻感受到信息检索和向量数据库领域的巨大潜力与日新月异。作为连接庞大数据资源与智能应用的枢纽，检索系统不断演进以满足日益多样化的应用需求。
面向未来，提升检索的效率、准确性及智能化水平，仍是科研与工业界努力的重点方向。与此同时，无论是关键词搜索、向量搜索，甚至是基于推理的检索，均是构建优质人工智能体验不可或缺的组成部分。信息检索的未来充满挑战与机遇，值得每位从业者持续探索与投入。
