Rain9Rain9
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
  • 2026 · AI 时代

    • 程序员的出路:AI 时代的价值思考
    • 从零开始构建智能体(Hello-Agents 课程通俗笔记)

6.3 接入 RAG 与向量数据库:打造企业级数据知识库

本节目标:让系统从“只能分析一次上传的数据”升级为“可以跨数据集、跨历史报告、跨多次交互复用知识”,并解决大文件/长文本无法塞进上下文的问题。核心手段是:RAG(检索增强生成)+ 向量检索,并优先复用你已有的 PostgreSQL 基础设施。


6.3.1 大规模数据困境:为什么纯 Prompt 会走到尽头

当 CSV 文件变大、分析链路变长时,纯 Prompt 方案会出现三个不可避免的问题:

  • Token 上限:表格数据无法全量放进上下文(更别说多次对话的历史)
  • 成本不可控:为了“更完整”,每次都把大量数据重复喂给模型,调用费用直线上升
  • 记忆缺失:系统无法把“上次的分析结论、异常点、图表口径”沉淀为可复用资产

因此,需要将“知识”从 Prompt 中剥离出来,以可检索的形式存储,再按需把相关片段拿回来。


6.3.2 RAG 的最小闭环:Ingest → Embed → Index → Retrieve → Augment

把 RAG 拆成 5 个可实现步骤(每一步都能验收):

  1. Ingest:把数据与报告沉淀为“可管理对象”(Dataset、Report、ChartSpec、Insight)
  2. Embed:将对象切片(chunk)并向量化(embedding)
  3. Index:写入向量索引(pgvector)
  4. Retrieve:用户提问时召回 TopK 相关片段
  5. Augment:把“召回内容 + 引用信息”拼入最终 Prompt,并要求模型给出引用来源

这条链路跑通后,你就拥有了“知识库问答”的能力,并且能把 6.1 的多智能体能力稳定叠加在上面。


6.3.3 数据建模:先把“可检索对象”定义清楚

为了让知识库真正可用,建议至少沉淀三类对象:

A. Dataset(数据集元信息)

  • 来源:用户上传的 CSV / 外部数据同步
  • 元信息:列名、类型推断、时间范围、行数、hash、版本号

B. Report / Insight(报告与洞察)

  • 文本:最终总结、结论要点、建议
  • 结构化:异常点列表、指标表摘要、口径说明

C. ChartSpec(图表规格)

  • 图表配置(ECharts option / 抽象 spec)
  • 引用口径(resultKey / datasetVersion / filters)

一个关键经验:不要只向量化原始 CSV。CSV 太大、语义弱、检索噪音高。更推荐向量化:

  • 数据剖析摘要(profile summary)
  • 聚合后的指标摘要(metrics summary)
  • 关键异常点与解释
  • 最终报告段落

这样召回更准,也更省成本。


6.3.4 PostgreSQL + pgvector:复用你现有的数据库

你当前项目已经使用 PostgreSQL + TypeORM,因此最顺滑的路线是启用 pgvector 扩展。

Step 1:启用 pgvector 扩展

通过 migration 执行:

CREATE EXTENSION IF NOT EXISTS vector;

Step 2:设计向量表(Chunks)

一个可用的最小表结构应包含:

  • id
  • workspace_id(为 6.4 多租户预留)
  • dataset_id / report_id(来源归属)
  • chunk_type(profile/report/chart/metric)
  • content(原文片段)
  • embedding(vector(n))
  • metadata(JSON:列名、时间范围、指标名等)
  • created_at

Step 3:索引(按里程碑逐步加)

  • MVP:先不上索引也能跑通
  • 数据量上来:再加向量索引(IVFFLAT/HNSW),并设置 lists/ef_search 等参数

6.3.5 Embedding 生成策略:成本、效果与可控性

结合你当前后端已集成的模型 SDK(OpenAI/Anthropic),Embedding 有三种常见策略:

  1. 在线 Embeddings:效果稳定、工程简单,但有成本与外网依赖
  2. 本地 Embeddings:成本低、可私有化,但需要部署推理服务
  3. 混合策略:在线用于高价值内容,本地用于大批量内容

工程上建议先做 1 跑通闭环,再演进到 3。

关键注意点:

  • embedding 维度必须固定,写进 schema(例如 vector(1536)),否则会不断踩坑
  • content 要做“去噪”:长表格不要直接塞进去,先摘要再向量化

6.3.6 Chunking(分块)策略:决定检索质量的核心

分块不是“按字数切就行”,而是要按“信息单元”切。推荐针对不同对象采用不同策略:

报告文本(Report)

  • 按段落切(1 段 = 1 chunk)
  • 每 chunk 控制在 200~500 中文字符左右(可根据模型调整)

指标摘要(Metrics)

  • 先转成紧凑表(Markdown/CSV 摘要),并为 chunk 加上维度/指标 metadata
  • 不把全表塞进一个 chunk:按指标组或按时间窗口切

图表规格(ChartSpec)

  • 抽取标题、图例、x/y 轴含义、筛选条件、数据来源
  • 不要把完整 option(很长)直接向量化;更建议向量化“图表描述 + 关键字段”

6.3.7 检索与融合:把召回内容“正确地喂给模型”

Step 1:Query Embedding

用户输入(或 Router 生成的“检索查询语句”)做 embedding。

Step 2:TopK 召回

按 workspace 过滤(为多租户准备),并按相似度排序。

Step 3:Context Pack(上下文包)

把 TopK chunk 组织成一个“可引用的上下文包”,格式建议:

[C1 | dataset=xxx | type=report] ……内容……
[C2 | dataset=yyy | type=metric] ……内容……

并要求模型输出时带引用,例如结论后标注 [C1]、[C2]。

Step 4:与多智能体融合(关键)

RAG 不应该只塞给最终 Writer,而应该接入 6.1 的 Supervisor 流程:

  • Router 决定是否需要检索(例如“对比上次分析”必需检索)
  • Data Coder 可用召回内容来确定字段映射与口径
  • Reviewer 用召回的“口径说明/上次结论”做一致性校验

这会显著提高复杂场景的稳定性。


6.3.8 在现有工程中如何实现:按里程碑推进

为了不被“RAG 是个大工程”吓住,建议按 3 个里程碑推进:

里程碑 M1:报告级 RAG(最快见效)

  • 仅对“最终报告段落”做分块与向量化
  • 支持问题:对历史结论的追问、对比、复述、总结
  • 验收:能在 10+ 份历史报告中准确召回相关结论并回答

里程碑 M2:指标级 RAG(面向数据复用)

  • 将 profile summary、metrics summary 写入向量库
  • 支持问题:跨数据集对比、复用字段映射、口径统一
  • 验收:能回答“上次口径是什么”“哪个数据集更适合做这个图”

里程碑 M3:图表级 RAG(面向可视化自动化)

  • 向量化 ChartSpec 描述 + metadata
  • 支持问题:自动推荐图表、复用模板、生成一致的仪表盘
  • 验收:给定需求能在历史图表模板中检索并改写生成新的配置

6.3.9 验收标准:做到这一步,系统就开始“积累经验”

  • 每次分析结束都会沉淀可检索资产(至少 Report chunks)
  • 用户能对历史分析进行追问,并得到带引用的回答
  • 检索过程可观测:TopK 列表、相似度、引用 chunkId 可追踪
  • 多租户隔离就绪:至少表结构中预留 workspace_id,查询时可过滤
最近更新: 2026/10/31 10:01