AI
一个案例
tokenizer 说明
加载数据集
DatasetDict 类
logits 说明
langchain（一）
关键词提取
RAG与向量检索
RAG与向量检索（二）
TF-IDF 算法
本文档使用 MrDoc 发布
-
+
首页
RAG与向量检索
### 为什么需要RAG LLM的挑战： - 内容的准确性； - 信息的及时性； - 生成内容的可解释性； RAG的优点： - 补充实时信息； - 增强业务理解； - 纠偏纠错； ### 优化的RAG - 在对原始文档切片后，对每个片段进行重写； - 对用户的查询进行重写，提升质量； ### 向量检索的挑战 1. 向量存储成本的挑战； 2. 高召回率要求的挑战： ① 召回率从99%增加到99.9%需要增加接近一倍的搜索延迟； ② 向量查询的近似性难以保证对未知查询的召回率； ③ 向量查询的静态性使部分查询总是出错； 解决方案： 结合使用其他检索方式，比如全文检索，知识图谱检索等 ### 向量索引 单一向量索引无法把`实时性/成本/高召回率`三件事同时做好： - HNSW：召回率高，延迟低，但内存成本高； - IVF-PQ：量化后成本低，但精度不足； - DiskANN：内存+磁盘混合方案，成本低，但更新困难
gaojian
2024年9月19日 13:54
分享文档
收藏文档
上一篇
下一篇
微信扫一扫
复制链接
手机扫一扫进行分享
复制链接
关于 MrDoc
觅思文档MrDoc
是
州的先生
开发并开源的在线文档系统，其适合作为个人和小型团队的云笔记、文档和知识库管理工具。
如果觅思文档给你或你的团队带来了帮助，欢迎对作者进行一些打赏捐助，这将有力支持作者持续投入精力更新和维护觅思文档，感谢你的捐助！
>>>捐助鸣谢列表
微信
支付宝
QQ
PayPal
Markdown文件
分享
链接
类型
密码
更新密码
