在信息爆炸的时代，如何高效准确地获取所需信息成为了技术发展的核心命题。作为一名在向量数据库公司工作了两年的机器学习工程师，我积累了许多关于信息检索的宝贵经验，这里将分享我所学到的知识与见解，帮助大家更好地理解这一领域的复杂性与创新动力。信息检索的基础往往被人们忽视，以BM25为代表的关键词搜索依然是强大的基线技术。尽管向量搜索因为其计算语义相似度的能力被广泛关注，但回归关键词搜索的简单与高效，能够为实际应用提供坚实的支撑。向量搜索本质上是一种近似搜索。理论上，使用暴力方法计算查询向量与所有数据库向量的距离可以获得精确的结果，但这种方法难以应对海量数据带来的性能瓶颈。
因此，近似最近邻(ANN)算法如HNSW、IVF和ScaNN被广泛应用，通过牺牲少许精度换取显著的检索速度提升。索引向量是向量数据库能够高效扩展的秘密武器。向量数据库不仅仅存储向量嵌入，它们还保留原始对象及丰富的元数据，这让数据库不仅能满足向量搜索需求，还能支持基于元数据的过滤、关键词搜索以及混合检索，极大扩展了应用场景的广度。值得注意的是，向量数据库的主要应用场景是搜索，而非直接作为生成式人工智能的引擎。它们为大型语言模型(LLM)提供相关上下文，这一“搜索”过程为AI生成更精准的结果奠定基础，使两者成为天作之合。在设计检索系统时，明确待返回结果的数量至关重要。
许多人不会意识到，如果没有设定top_k参数，理论上向量搜索会返回所有排序后的结果，这不仅极大增加计算负担，还难以满足用户体验需求。向量嵌入的类型丰富多样，常见的是密集向量，如表现词语或段落语义的浮点数数组。除此之外，还有稀疏向量、二进制向量和多向量嵌入，针对不同应用需求进行优化和调整。选择合适的嵌入模型时，参考专业基准如Massive Text Embedding Benchmark（MTEB）和BEIR零样本检索基准，可以帮助开发者识别最契合特定任务的模型。多语言支持也是实际应用中不可忽视的考量，针对非英文语料，MMTEB等多语言基准提供了更贴近需求的评测环境。向量嵌入的发展经历了静态嵌入向上下文相关嵌入的演变。
尽管BERT等上下文嵌入模型更加表达丰富，静态模型如Word2Vec在资源受限环境下仍具有优势，因为其预计算特性简化了计算流程。稀疏向量与稀疏嵌入容易被混淆。稀疏向量可以通过传统统计方法生成，如TF-IDF和BM25，同时也可来源于神经稀疏嵌入模型如SPLADE。因此稀疏嵌入是稀疏向量的一类，但并非所有稀疏向量都是嵌入。嵌入技术不仅局限于文本，图像、PDF、图结构等多模态数据同样可以被转化为向量，实现跨模态搜索，为复杂信息系统增添了强大功能。存储成本与向量维度密切相关。
更高的维度能捕捉丰富的语义信息，但同时意味着更高的存储和计算开销。因此，选择嵌入维度时需权衡资源限制与性能需求，例如1536维向量和768维向量之间的权衡。那些希望部署资源有限系统的用户，可以尝试矩阵嵌套式表示学习（Matryoshka Representation Learning）技术，在尽量减少性能损失的前提下降低维度。嵌入模型频繁调用的必要性也是一个关键要点。文档生成向量嵌入只是开始，用户每次发起搜索时查询向量也必须被嵌入。如果文档或模型发生更新，重新生成嵌入与索引也是不可避免的维护工作。
向量相似度衡量虽然能够反映语义的相关程度，但相似不等于相关。举例来说，“如何修理水龙头”与“在哪里买厨房水龙头”的向量查询结果可能相似，但两者并不一定在实际语境下相关联。余弦相似度与余弦距离的数学关系紧密，二者数值是互补的。在使用归一化向量时，计算余弦相似度或点积效果相同，点积计算效率更高，因此常被优先采用。关于RAG（检索增强生成）的理解也存在误区，其中的“R”代表检索（retrieval），而非向量搜索。检索是包括关键词搜索、过滤、重排序等多种技术的综合操作。
选择何时使用关键词搜索与向量搜索，应根据应用场景确定。语义匹配与关键词完全匹配需求的结合，往往需要混合检索技术。部分平台提供调节混合权重的参数，使系统适配不同侧重点的搜索需求。过滤操作并不总能提升搜索速度，尤其在图结构索引中，简单过滤可能破坏图连通性，影响搜索结果的准确和完整。为此，向量数据库开发了复杂的技术来平衡过滤与检索性能。两阶段检索管道被广泛应用于推荐系统，也适用于RAG流程，其中第一阶段采用高效向量检索粗筛，第二阶段利用更复杂模型或策略进行精筛，实现效果与效率的优化。
向量搜索和重排序是两个不同步骤，前者负责初步筛选相关向量，后者对候选结果进行优先级调整，以提升最终用户体验。如何确定适合的文本切片大小进行嵌入是信息检索中的难题。过小会导致上下文缺失，过大则损失语义清晰度。嵌入模型通常采用平均池化将多词或句子的向量融合，平衡上下文完整性和表达精度。向量索引库和向量数据库之间也需区分。索引库主要聚焦快速准确的向量检索，而数据库则具有数据管理、持久化、增删改查以及丰富的过滤和混合检索支持，使其更适合生产环境和复杂应用。
尽管随着大模型上下文能力持续提升，有人质疑基于检索的生成技术是否过时，但事实证明检索增强生成依然不可或缺，通过精确选取信息辅助大模型实现更可靠输出。向量量化作为压缩技术，可以在极大减少存储的同时，保持相当的检索准确率，为大规模部署提供现实可行的方案。关于向量搜索对拼写错误的容忍度，现实是有限的。嵌入模型并没有经历所有可能拼写错误的学习，因此拼写错误依然会影响结果的准确性。评估检索系统效果时，选择合适的指标极为重要。NDCG@k等排名敏感指标适合强调顺序的场景，而精确率、召回率等简单指标在许多任务中仍然有效。
为了理解精确率和召回率的权衡，可以将其比作电商平台的检索，如果只返回一个完美命中的目标结果，精确率高但召回率低；反之，返回全量结果则召回率高但精确率下降，系统设计需在二者之间取得平衡。分词器同样对检索效果产生重要影响。不同类型的分词算法，如BPE及其他，决定关键词搜索的表现，也会间接影响混合检索的整体效果。模型面对领域外词汇时，情况分为“词汇表外”和“领域外”。现代模型能优雅处理词汇表外的未登录词，但对领域外词汇的向量嵌入往往没有实际语义意义，可能导致检索偏差。查询优化是提高检索效果的关键。
习惯了为关键词搜索简写查询，现在也需要针对向量搜索学习如何构造更有效的查询表达，使系统更准确地理解用户意图。信息检索技术的演进经历了关键词搜索、向量搜索到如今借助大型语言模型进行的推理式检索，未来将更加智能和高效。信息检索正处于技术与需求的交汇点。作为服务于大模型的关键步骤，如何更好地检索相关信息仍是巨大的挑战与机遇。回顾过去两年，向量数据库的兴起、检索增强生成的热潮、以及如今的“上下文工程”概念，都显示了行业对信息精准调取的不断追求。未来，我们有理由期待，信息检索会继续成为AI应用的基石，不断推动智能交互和知识发现向前发展。
。
