最近在研究 RAG,计划生成一个独立的文档支持系统。但总感觉 RAG 是个中间技术方案,不会太长久——模型上下文窗口在扩大,长文本理解能力在提升,检索增强的必要性可能会被重新定义。
Karpathy 的启发
今天读到了 karpathy/llm-wiki.md,很受启发。里面梳理了 LLM 生态里各组件的定位和演进方向,对判断 RAG 在中长期技术栈中的位置很有帮助。
一点想法
RAG 解决的是「模型不知道你的私有数据」这个问题。但在 Agent + Tool Calling 成熟之后,很多场景可能直接用工具查询数据库或 API,而不是预先做向量检索。RAG 更适合知识库问答、文档搜索这类检索密集的场景。
继续观察,先把文档支持系统做出来,再根据实际效果调整技术路线。