滚动阅读
什么是Embedding
Embedding是将文本、图像等非结构化数据转换为高维向量的过程。语义相似的内容在向量空间中距离更近。
向量数据库
向量数据库专门用于存储和检索高维向量。支持近似最近邻搜索(ANN),在大规模数据下保持毫秒级检索。
常见向量数据库
- Milvus:开源分布式向量数据库
- Pinecone:托管式向量数据库服务
- Weaviate:开源向量搜索引擎
- Chroma:轻量级本地向量数据库
- FAISS:Facebook开源的向量检索库
相似度搜索算法
LSH(局部敏感哈希)
将相似向量哈希到同一个桶,适合大规模数据的近似搜索。
HNSW(层次化可导航小世界图)
目前最流行的ANN算法,在召回率和速度之间取得良好平衡。
IVF(倒排文件)
先聚类再搜索,适合超大规模数据集。
Embedding模型
- OpenAI text-embedding-ada-002:1536维
- BGE:智源开源,中英文效果好
- M3E:中文Embedding模型
- Sentence-BERT:基于BERT的句子向量模型
应用场景
- 语义搜索
- 推荐系统
- 去重聚类
- 异常检测
- RAG知识库
总结
Embedding和向量数据库是AI应用的基础设施。理解向量检索原理、选择合适的模型和算法,是构建高效AI系统的关键。