44篇方法论/恋爱——知识库搭建
04

知识库搭建通用方法论

知识库搭建数据库Schema注入管道

知识库搭建十大步骤:5种数据库+13个Schema+8步注入管道,把行业经验变成机器可解析的结构化知识——AI原生创业第一步'恋爱'的核心工程。

知识库搭建通用方法论——从个人经验到AI可用知识

> 编制:万有AI产品团队 | 依据AHUB智慧运营中心实战萃取

> 所属阶段:Phase 1 知识基建(恋爱阶段)

> 核心问题:AI原生企业的知识怎么整理?怎么切割?怎么向量化?怎么存?怎么让Agent查得到、查得准?

> 实战底座:AHUB 5种数据库(PostgreSQL/Redis/Neo4j/Milvus/SQLite)、13个Schema、8个知识库、7082张知识卡片、BGE-M3向量化、双层三库存储、8步注入管道

> 一句话:知识库不是"存数据的地方",是"AI的第二个大脑"——从散乱知识到AI可检索、可推理、可溯源的完整链路


一、为什么AI原生企业需要专门的知识库方法论?

1.1 传统知识管理 vs AI原生知识库

维度传统知识管理AI原生知识库
存什么文档、PDF、Wiki文档 + 知识卡片 + 向量 + 图谱
谁在用人翻文档找Agent自动检索 + 人偶尔查
查什么关键词匹配语义匹配("跟创业融资相关的知识")
关系文件夹分类实体关系图谱 + 向量相似度
严肃性没有区分mandatory/normative/advisory三级
溯源找不到原文每条知识可追溯到源文档

1.2 不建知识库的后果

症状原因后果
AI回答千篇一律没有私有知识库跟ChatGPT没区别
AI胡说八道没有事实约束产生幻觉,用户不敢信
法律条文被断章取义切割不当合规风险
AI找不到关联没有知识图谱"融资"和"股权"是两码事
知识改了不知道没有溯源无法校验AI回答是否忠实原文

1.3 AHUB的实战验证


散乱知识 → 知识整理 → 数据清洗 → 源文档存档 → 分类路由 → 切割决策 → 向量化 → 8步注入 → 双层三库存储 → 知识图谱 → 检索策略 → AI输出
  ①         ②           ③           ④           ⑤          ⑥          ⑦        ⑧         ⑨           ⑩          ⑪         ⑫

我们公司用这套流程把120份源文档、7082张知识卡片变成了AI可检索、可推理、可溯源的知识库。


思想源流:从知识工程到AI可用知识

知识库搭建方法论是四股源的汇流:

  • 知识工程传统:从DIKW金字塔(数据→信息→知识→智慧)到知识图谱,"把经验结构化"已有数十年积累。本方法论把这套学术传统翻译成创业者的操作手册。
  • RAG技术浪潮:检索增强生成让"企业私有知识"成为AI回答的原料,但RAG只解决"怎么查",不解决"怎么建"——本方法论补的正是建库段的十大步骤。
  • 创始人知识整理实践:纵横深透框架(第一步的核心工具)源于近三十年个人知识管理的实操萃取,先整理人脑、再喂养AI。
  • AHUB踩坑实录:双层三库存储、8步注入管道、严肃性三级标注,每一条都对应一次真实的返工——常见误区与错误清单就是踩坑记录的正面表达。

一句话:知识库的本质,是把创业者脑子里的隐性经验变成AI可调用的显性资产。


二、知识库搭建十大步骤

第一步:知识整理——用纵横深透框架构建知识地图

核心:以纵横深透模型为框架,收集、整理所有相关资料,形成全面、系统、深度的原始素材库。

> 万有AI核心理念:纵横深透模型是分析一切问题的核心工具。知识整理用它作为框架,才能做到全面(纵轴六层)系统(横轴七层)深度(时间轴+显隐性规则)

纵横深透模型(四维分析框架)
维度内容整理要点
纵轴六层体力/时间层→能力层→资源层→资本层→国家层→国际层分析个人/企业当前处于哪一层,跨越层级需要什么条件
横轴七层PEST→五产分类→行业→赛道→价值链→竞争→内部分析外部环境(PEST)、行业位置(行业/赛道/价值链)、竞争格局(竞争)、内部能力(内部)
时间轴过去(历史脉络)→现在(现状定位)→未来(趋势预判)每个知识点都要问:它从哪里来?现在在哪?往哪里去?
显隐性规则10类显性规则+7类隐性规则显性规则是写在纸上的(法规、政策),隐性规则是水面下的(潜规则、人情世故)
按纵横深透框架整理个人经历
维度整理内容示例
纵轴-当前层级个人目前处于哪一层?能力层(靠专业技能吃饭),正在向资源层突破
纵轴-层级跨越从当前层级到目标层级需要什么?从能力层到资源层:需要积累客户、行业口碑、人脉网络
横轴-PEST个人发展受哪些宏观因素影响?政策(创业扶持政策)、经济(融资环境)、社会(创业文化)、技术(AI崛起)
横轴-行业/赛道个人深耕哪个行业?选择哪个赛道?AI教育赛道,创业教育细分赛道
横轴-价值链个人在价值链中处于哪个环节?价值链前端(知识输出/培训),还是后端(咨询服务)
横轴-竞争个人在同行中的位置?差异化优势是什么?差异化优势:AI原生创业方法论体系
横轴-内部个人核心能力、资源、人脉有哪些?核心能力:产品战略+创业方法论;资源:万有AI平台
时间轴-过去关键的成长经历、转折点、失败教训2018年第一次创业失败,学到了什么
时间轴-现在当前的状态、困惑、瓶颈当前瓶颈:规模化复制能力不足
时间轴-未来未来3-5年目标、路径规划3年目标:成为AI创业教育领域标杆
显规则公开的法律法规、行业规范、职业准则创业者需遵守工商、税务法规
隐规则行业潜规则、人情世故、圈子文化创业圈的资源置换逻辑、信任建立机制
按纵横深透框架整理行业资料
维度整理内容示例
纵轴-行业层级整个行业处于哪个发展层级?AI教育行业:能力层向资源层跃迁中
横轴-PEST宏观环境对行业的影响分析政策支持AI教育、经济下行影响付费意愿
横轴-行业行业定义、边界、发展阶段AI教育:技术+教育的融合,正在高速发展
横轴-赛道细分赛道:K12/职业教育/创业教育...创业教育赛道:相对细分,尚未出现绝对龙头
横轴-价值链行业价值链:研发→生产→渠道→用户创业教育价值链:课程研发→导师输出→学员服务
横轴-竞争主要竞争者、竞争格局、竞争壁垒万有AI差异化:AI原生方法论体系
横轴-内部行业内部玩家的能力、资源对比竞品都在用传统方式做,万有AI用AI原生方式降维打击
时间轴行业发展历史→现状→趋势创业教育从1.0(讲座)→2.0(课程)→3.0(AI教练)演进
显规则行业法规、教育资质、广告法需取得教育资质,广告宣传有规范
隐规则行业潜规则、获客逻辑、定价策略高价课需要高势能背书,低价引流课需要极致性价比
目录结构(按纵横深透框架组织)

knowledge/
├── 纵横分析/                      # 纵横深透模型框架
│   ├── 纵轴六层/                  # 生存层级分析
│   │   ├── 体力时间层/
│   │   ├── 能力层/
│   │   ├── 资源层/
│   │   ├── 资本层/
│   │   ├── 国家层/
│   │   └── 国际层/
│   ├── 横轴七层/                  # 精准定位分析
│   │   ├── PEST分析/
│   │   ├── 五产分类/
│   │   ├── 行业分析/
│   │   ├── 赛道分析/
│   │   ├── 价值链分析/
│   │   ├── 竞争分析/
│   │   └── 内部分析/
│   ├── 时间轴/                    # 趋势判断
│   │   ├── 历史脉络/
│   │   ├── 现状定位/
│   │   └── 趋势预判/
│   └── 显隐规则/                  # 游戏规则
│       ├── 显性规则/
│       └── 隐性规则/
├── 个人经历/                      # 个人经历(按纵横框架整理)
│   ├── 层级跨越/                  # 纵向:当前层级→目标层级
│   ├── 能力积累/                  # 横向:专业能力、方法论、人脉
│   ├── 关键转折/                  # 时间轴:重要节点
│   └── 经验教训/                  # 显隐规则:踩过的坑、学到的智慧
├── 行业资料/                      # 行业资料(按纵横框架整理)
│   ├── 宏观环境/                  # PEST分析
│   ├── 行业洞察/                  # 行业/赛道分析
│   ├── 竞争格局/                  # 竞争分析
│   └── 趋势判断/                  # 时间轴趋势
├── 创业履历/                      # 创业经历(按纵横框架整理)
│   ├── 创业经历.md                # 按时间轴整理
│   ├── 关键决策.md                # 按横轴七层分析决策依据
│   └── 成败案例.md                # 按显隐规则复盘
├── 工作日记/                      # 工作记录(按纵横框架整理)
│   ├── 每日思考/                  # 纵横分析小练习
│   ├── 灵感碎片/                  # 随时记录,按框架归类
│   └── 定期复盘/                  # 按纵横框架深度复盘
└── 方法论/                        # 方法论体系
    ├── 纵横深透模型.md
    ├── AI原生创业五步法.md
    └── 万有因缘和合而成.md
整理方法
方法操作适用场景
纵横扫描用纵横深透模型扫描每个资料,问:这个属于哪个维度?整理任何资料时,先定位维度
访谈式记录别人提问,创业者回答,录音转文字有导师或合伙人协助
案例复盘针对每个重要案例,用纵横框架复盘梳理关键经验
卡片积累随时记录,一条经验一张卡片,标注维度日常积累
定期整理每周/每月用纵横框架整理当期的思考和收获持续迭代
整理检查清单
  • [ ] 个人经历是否用纵横深透模型分析过?
  • [ ] 每个资料是否能定位到纵轴六层中的某一层?
  • [ ] 每个资料是否能定位到横轴七层中的某一层?
  • [ ] 是否有时间轴的梳理(过去→现在→未来)?
  • [ ] 是否识别了显性规则和隐性规则?
  • [ ] 目录结构是否按纵横框架组织?

产出

  • 按纵横深透框架组织的原始文档(Word/PDF/Markdown/Excel等)
  • 每个资料的维度定位说明(属于哪个纵轴、哪个横轴)
  • 目录清单(列出所有文件及其维度定位)
  • 纵横分析报告(个人发展分析、行业分析等)

第二步:数据清洗——把脏数据变干净

核心:对原始数据进行预处理,确保入库数据的准确性、完整性和一致性。

清洗操作

操作说明工具/方法
格式标准化统一编码(UTF-8)、去除HTML标签、特殊符号Python正则、sed命令
内容去重完全相同或语义相似的内容只保留一份Hash比对、向量相似度
质量过滤去除低质内容(空白、无效链接、广告)、敏感信息关键词过滤、长度过滤
术语统一同一概念使用统一术语(如"老板"→"创始人")术语映射表批量替换
格式统一日期、数字、单位等格式统一正则替换

数据清洗自检清单

  • [ ] 编码是否统一为UTF-8?
  • [ ] 是否去除了HTML标签和特殊符号?
  • [ ] 是否去除了重复内容?
  • [ ] 是否去除了敏感信息(身份证、银行卡、密码)?
  • [ ] 是否去除了低质内容(空白文档、广告)?
  • [ ] 术语是否统一?
  • [ ] 日期、数字格式是否统一?

第三步:源文档存档——知识库的第一道防线

3.1 为什么必须先存源文档
不存源文档的后果真实案例
法律条文被切割后,找不到原文用户问"劳动合同法第39条全文是什么?"→知识库只有碎片
AI回答无法溯源AI说"根据法律规定..."→用户问"哪部法?哪一条?"→答不上来
知识被改写后无法校验有人改了卡片内容→无法对比原文验证是否篡改
政策更新后无法对比新政策出台→无法对比新旧版本差异
3.2 源文档存档三铁律
铁律说明为什么
原文不动raw_content字段原封不动写入任何改动都破坏法律效力
指纹防篡计算SHA256哈希值存入integrity_hash后续可校验原文是否被篡改
卡片溯源每张knowledge_card必须有source_doc_id碎片必须能追溯到原文
3.3 AHUB的源文档存档实战

VPA知识库120个源文件:
  ├── 法律法规/(50部法律)
  ├── 政策文件/(10份)
  ├── SOP/(10份)
  ├── 指南/(15份)
  ├── 模板/(10份)
  ├── 案例/(3份)
  ├── 策略/(3份)
  ├── 方法论/(2份)
  └── YAML案例/(10份)

存档过程:
  1. 读取每个MD文件完整内容
  2. 计算integrity_hash = SHA256(raw_content)
  3. 提取元数据:doc_type、title、issuing_authority、effective_date
  4. 写入source_documents表,保留完整原文
  5. 后续拆分出的每张knowledge_card,都关联到source_doc_id

第四步:分类与路由——知识去哪个子库

4.1 域路由映射

知识归类不是简单打标签,而是设计一套路由体系——用户问一个问题,系统要知道去哪个子库找。

AHUB的域路由映射表

业务域卡片数路由到哪个子库主理Agent源文档类型
compliance_risk(合规风险)2,099KB-LEG申律法律/法规/政策
contract_transaction(合同交易)1,109KB-LEG申律法律/模板/策略
finance_tax(财税)841KB-FIN策策法律/政策/SOP
company_governance(公司治理)803KB-GOV天枢政策/SOP/指南
government_policy(政府政策)393KB-LEG申律政策
intellectual_property(知识产权)255KB-DAS法律/SOP/指南
capital_financing(资本融资)54KB-FIN策策政策/SOP/指南
entrepreneurship_education(创业教育)34KB-ENT天枢方法论/YAML案例
market_sales(市场营销)13KB-MKT凤鸣指南/策略

路由的价值:用户问"劳动合同解除怎么操作?"→系统识别是法务问题→路由到KB-LEG→在3,856条法务卡片中检索→精度远高于在7,082条全库中检索。

4.2 路由代码实现

KB_ROUTE_MAP = {
    "B1": "kb_prd",    # 产品
    "B2": "kb_leg",    # 法律
    "B3": "kb_fin",    # 财务
    "B4": "kb_gov",    # 治理
    "B5": "kb_ent",    # 创业方法论
    "B6": "kb_das",    # 数字资产
    "B7": "kb_mkt",    # 营销
    "OPS": "kb_ops",   # 运维
}

第五步:切割决策——切与不切的核心判断

5.1 不是所有知识都能切

这是市面上所有课程都不讲的,但我们在实战中踩了最大的坑——

知识类型切割规则原因AHUB实际做法
创业方法论、经验心法可以切割经验是建议性的,拆开不影响效力KB-ENT 1,481条,长文可拆成片段
法律法规绝对不可切割切割法律条文=断章取义VPA 4,772条law,原样注入
SOP流程绝对不可切割SOP步骤有唯一顺序,拆了就乱了VPA 38条sop,原样注入
政策文件绝对不可切割政策有规范性,不能随意拆分VPA 189条policy,原样注入
模板、指南可以切割模板是建议性的,可根据实际调整guide/template可按需拆分
5.2 严肃性三级标注法

切割决策的本质是判断知识的严肃性:

binding_type严肃性对应内容Agent引用方式源文档存档要求
mandatory(必须)最高——违反有法律后果法律法规"根据《XX法》第X条,必须..."必须存原文
normative(应当)高——不执行有操作风险政策、SOP、标准"按照SOP第X步,应当..."必须存原文
advisory(建议)中——可参考可调整指南、模板、策略"建议参考XX模板"可选存原文

判断规则

  • mandatory → 不可切割、不可重组、不可改写、customizable=false、必须存源文档
  • normative → 不可切割、不可重组、不可改写、customizable=false、必须存源文档
  • advisory → 可以切割、可以调整、customizable=true、可选存源文档
5.3 知识卡片结构

卡片ID:KC-001-创业心法-001
卡片名称:AI原生创业五步法
卡片类型:方法论
卡片分类:创业心法 > AI原生创业
核心内容:恋爱→结婚→生子→家族→帝王之术,五步严格递进,不可跳跃
详细内容:
  1. 恋爱:产出知识库
  2. 结婚:创建第一个AI联合创始人
  3. 生子:创建功能性Agent
  4. 家族:多Agent协作
  5. 帝王之术:AI公司治理
适用场景:创业者从0到1构建AI原生公司
引用来源:万有AI创始人创业课程2026年6月
关联卡片:KC-001-创业心法-002(万有因缘)、KC-001-创业心法-003(人机铁三角)
创建时间:2026-06-18
更新时间:2026-06-18
版本号:v1.0

卡片ID编码规则


KC - 001 - 创业心法 - 001
 ↑    ↑        ↑        ↑
卡片  模块编号 分类名称 卡片序号
5.4 双层架构让"切与不切"不再矛盾
困境解法
法律条文不切→卡片太长,检索效率低源文档层存完整原文,知识卡片层可以按条款拆分
拆了怕断章取义,不拆怕检索不到卡片通过source_doc_id关联原文,拆了也能溯源
无法验证拆分后的卡片是否忠实原文integrity_hash校验,随时对比原文

第六步:向量化——让AI能"语义搜索"

6.1 为什么需要向量化
查询方式示例能找到吗
SQL精确匹配title = '股权分配'只能找到标题完全匹配的
SQL模糊匹配title LIKE '%股权%'找不到"合伙人份额怎么定"
向量语义搜索embedding相似度"合伙人份额" ≈ "股权分配" ✅
6.2 嵌入模型选择
对比项BGE-M3OpenAI text-embedding-3本地小模型
维度10241536/3072256-768
中文效果优秀良好一般
部署方式本地/API仅API本地
成本按token计费最低

推荐:BGE-M3(中文优秀、1024维、开源免费)

6.3 向量化三步
  1. 选模型:BGE-M3(中文优秀、1024维、开源免费)
  2. 生成向量:每张知识卡片生成一个1024维向量
  3. 存储索引:小规模用Redis(<10万条),大规模用Milvus(>10万条)
6.4 AHUB的向量化实战

BGE-M3模型(1024维)
    │
    ├── 知识卡片 → embedding → Redis/Milvus存储
    │
    ├── 用户查询 → embedding → 向量检索Top-K
    │
    └── 余弦相似度排序 → 返回最相关的5张卡片

向量文件结构:


vector_data/
  ├── vpa_kb_leg.npy   (3,856条 × 1024维)
  ├── vpa_kb_fin.npy   (895条 × 1024维)
  ├── vpa_kb_gov.npy   (803条 × 1024维)
  ├── vpa_kb_ent.npy   (34条 × 1024维)
  └── vpa_kb_mkt.npy   (13条 × 1024维)

第七步:注入管道——从源到库的8步链路

7.1 8步注入管道

EXTRACT → STORE_SOURCE → CLASSIFY → ROUTE → TRANSFORM → ANNOTATE → INJECT → SYNC_GRAPH
 提取      存源文档       分类       路由      转换        标注       注入       同步图谱
步骤做什么为什么
①EXTRACT从源系统读取原始数据数据入口
②STORE_SOURCE源文档存档先存原文,保证严肃性和可追溯性
③CLASSIFY按文档类型分类不同类型走不同注入策略
④ROUTE按业务域路由到目标子库精准路由提升检索精度
⑤TRANSFORM字段映射和格式转换源和目标字段对齐
⑥ANNOTATE标注binding_type等元数据严肃性分级
⑦INJECT写入目标子库持久化存储
⑧SYNC_GRAPH同步到Neo4j知识图谱图谱可查源文档
7.2 批量注入策略
策略说明
按权威性排序先注入法律→法规→政策→SOP→指南→模板→案例→方法论
分批注入每批500条,避免超时
幂等写入INSERT ON CONFLICT DO NOTHING,支持重跑
断点续传记录已注入的card_id,中断后从断点继续
hash校验注入完成后校验integrity_hash,确保原文未被篡改
7.3 字段映射
源字段目标字段转换规则
idcard_id直接映射
titletitle直接映射
contentcontent原样写入(零切割铁律)
categoryknowledge_type映射转换
binding_type按严肃性三级标注填充
source_doc_id关联到source_documents的doc_id
integrity_hashSHA256指纹

第八步:存储架构——双层三库存储

8.1 双层三库架构

┌─────────────────────────────────────────────────┐
│              双层三库存储架构                      │
├─────────────────────────────────────────────────┤
│  ┌─────────────── 源文档层 ───────────────┐      │
│  │ source_documents 表(PostgreSQL)       │      │
│  │ · raw_content(完整原文)               │      │
│  │ · integrity_hash(SHA256指纹)          │      │
│  │ · issuing_authority, effective_date     │      │
│  └────────────────────────────────────────┘      │
│                    │ source_doc_id                 │
│                    ▼                               │
│  ┌─────────────── 知识卡片层 ─────────────┐      │
│  │ knowledge_cards 表(PostgreSQL)        │      │
│  │ · card_id, title, content              │      │
│  │ · binding_type, customizable           │      │
│  │ · source_doc_id(关联源文档)            │      │
│  └────────────────────────────────────────┘      │
│                                                   │
│  ┌─────────────── 图谱层 ────────────────┐       │
│  │ Neo4j 知识图谱                         │       │
│  │ · Card节点 + SourceDocument节点         │       │
│  │ · CITES/AMENDS/IMPLEMENTS关系          │       │
│  └────────────────────────────────────────┘      │
│                                                   │
│  ┌─────────────── 向量层 ────────────────┐       │
│  │ Redis/Milvus 向量存储                   │       │
│  │ · BGE-M3 1024维向量                    │       │
│  └────────────────────────────────────────┘      │
└─────────────────────────────────────────────────┘
8.2 数据库基础设施搭建

##### 按规模选数据库——不是上来就搞5种

企业规模推荐组合理由月成本
1-3人初创PostgreSQL + SQLite最小可用,够用就好0元
5-10人小团队PostgreSQL + Redis加向量检索,Agent能查知识0-200元
10-30人成长期PostgreSQL + Redis + Neo4j加图谱推理,知识有关联200-500元
30人+规模企业PostgreSQL + Redis + Neo4j + Milvus全套,支撑大规模Agent协作500-2000元

选择原则:先跑起来再优化,按需加库。

##### 五种数据库各干什么

数据库角色存什么什么时候用
PostgreSQL主数据库结构化数据、知识卡片、源文档、Agent运行记录精确查询、事务操作
Redis缓存+向量向量索引、热数据缓存、会话状态毫秒级语义检索
Neo4j知识图谱实体、关系、多跳路径关联推理、知识导航
Milvus向量数据库大规模向量存储百万级向量检索
SQLite轻量存储本地数据、小程序数据单机应用、嵌入式场景

##### Docker Compose一键部署


version: "3.8"
services:
  ahub-db:
    image: postgres:16-alpine
    environment:
      POSTGRES_DB: ahub
      POSTGRES_USER: ahub
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?请设置强密码}
    volumes:
      - pgdata:/var/lib/postgresql/data
    ports:
      - "5432:5432"
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U ahub"]
    restart: unless-stopped

  ahub-redis:
    image: redis:7-alpine
    command: redis-server --requirepass ${REDIS_PASSWORD:-<请设置强密码>} --maxmemory 256mb
    ports:
      - "6379:6379"
    restart: unless-stopped

  ahub-neo4j:
    image: neo4j:5-community
    environment:
      NEO4J_AUTH: neo4j/${NEO4J_PASSWORD:-<请设置强密码>}
    ports:
      - "7474:7474"
      - "7687:7687"
    restart: unless-stopped

# 最小化启动(1-3人团队)
docker-compose up -d ahub-db

# 需要向量检索时加Redis
docker-compose up -d ahub-db ahub-redis

##### Schema设计——按业务域分库

AHUB的Schema设计


PostgreSQL (ahub数据库)
├── ahub          # 核心:Agent、Task、Trace、Event、Rule
├── brain         # AI大脑:数据源注册、术语映射、查询模板
├── mingcha       # 产品中心
├── fengming      # 营销中心
├── xuanji        # IP中心
├── tianshu       # 运营中心
├── kb_ent        # 知识库-创业方法论(纯文本)
├── kb_prd        # 知识库-产品(混合)
├── kb_leg        # 知识库-法务(混合)
├── kb_fin        # 知识库-财务(纯结构化)
├── kb_mkt        # 知识库-营销(混合)
├── kb_gov        # 知识库-治理(混合)
├── kb_das        # 知识库-数字资产(混合)
└── kb_ops        # 知识库-运维(纯结构化)

Schema设计三原则

原则说明反例
按业务域分每个Schema对应一个业务领域把所有表放public
按Agent归属每个Agent有自己的SchemaAgent共享一个Schema
知识库独立每个知识库独立Schema知识卡片和业务表混存

知识库三种类型

类型特点案例检索策略
纯文本全是文本知识卡片kb_ent(创业方法论)向量检索为主
纯结构化全是数字/表格kb_fin(财务)、kb_ops(运维)SQL查询为主
混合型文本+结构化kb_prd/kb_leg/kb_mkt/kb_gov/kb_dasSQL+向量混合
8.3 四种存储各司其职
存储类型用什么存什么擅长什么
源文档表PostgreSQL完整原文+防篡改指纹溯源、原文查看、完整性校验
知识卡片表PostgreSQL拆分后的语义片段+元数据精确查询、条件过滤、统计
图数据库Neo4j知识之间的关系网络多跳推理、关联发现
向量存储Redis/Milvus知识的语义向量语义搜索、相似度匹配
8.4 数据流转关系

PostgreSQL(源文档+知识卡片)
    │
    ├──→ Redis/Milvus(向量化:BGE-M3 embedding)
    │         │
    │         └──→ 语义检索:query → 向量 → Top-K卡片
    │
    └──→ Neo4j(图谱化:实体+关系抽取)
              │
              └──→ 图谱推理:实体A → 关系 → 实体B

关键原则:PostgreSQL是"源头",Redis/Milvus和Neo4j是"衍生"。数据先入PG,再同步到向量库和图谱库。


第九步:知识图谱——把知识关联起来

9.1 知识图谱结构
元素说明示例
实体(Entity)知识中的核心概念万有AI创始人、AI原生创业五步法、万有因缘
关系(Relation)实体之间的联系定义、包含、关联、适用
属性(Attribute)实体的特征作者、创建时间、版本号
9.2 实体类型
类型说明示例
人物创业者、导师、合作伙伴万有AI创始人、明察
方法论做事方法、思考框架AI原生创业五步法、纵横深透模型
术语核心概念、专有名词万有因缘、人机铁三角
案例创业案例、成功/失败案例某学员3个月验证商业模式
知识点独立的知识单元MVP策略、PMF验证
9.3 关系类型
类型说明示例
DEFINED_BY由谁定义AI原生创业五步法 DEFINED_BY 万有AI创始人
CONTAINS包含AI原生创业五步法 CONTAINS 恋爱
RELATED_TO关联万有因缘 RELATED_TO 纵横深透模型
APPLIES_TO适用MVP策略 APPLIES_TO 验证期
BASED_ON基于明察 BASED_ON 万有AI创始人知识库
9.4 知识图谱构建工具
工具用途
Neo4j专业图数据库,支持复杂图查询
GraphDB支持RDF标准,适合语义网场景
DGL深度学习图框架,适合图神经网络

第十步:检索策略——三路混合检索

10.1 联邦查询架构

Agent发起查询
    │
    ├── 查询类型判断
    │     ├── 精确查询 → SQL(PostgreSQL)
    │     ├── 语义查询 → 向量检索(Redis/Milvus)
    │     └── 关联查询 → 图谱推理(Neo4j)
    │
    └── 混合查询 → 三路合并
          ├── SQL结果(精确匹配)
          ├── 向量结果(语义相似)
          └── 图谱结果(关联推理)
                │
                └── 去重 + 排序 + 返回Top-K
10.2 索引类型
索引类型说明适用场景
关键词索引基于关键词的倒排索引精确匹配、关键词搜索
向量索引基于向量相似度的索引语义检索、模糊匹配
混合索引关键词+向量混合索引综合检索,兼顾精确和模糊
10.3 检索技术
技术说明优点
BM25传统关键词检索算法成熟稳定,适合精确匹配
向量检索基于余弦相似度的语义检索理解语义,适合模糊匹配
RAG(Retrieval-Augmented Generation)检索增强生成将检索结果作为上下文输入LLM,生成更准确的回答
混合检索BM25 + 向量检索兼顾精确和模糊,提高召回率
10.4 检索实战示例

用户提问:"创业公司解雇员工要注意什么?"
  │
  ├─→ PostgreSQL: 精确查询 kb_leg WHERE category='law' AND title LIKE '%劳动合同%'
  │     → 找到3条精确匹配的法律条文卡片(每张携带source_doc_id)
  │
  ├─→ 向量存储: 语义搜索 "解雇员工注意事项"
  │     → 找到5条语义相关的卡片(包括SOP、指南)
  │
  └─→ Neo4j: 图谱推理 "劳动合同解除" ──CITES──→ "《劳动合同法》第39条"
        │                                    ──CITES──→ "离职SOP-HR-005"
        └─→ 沿引用链路找到完整的法律依据链
  │
  └─→ 三路结果合并 → 去重排序 → Top 5 → 送入大模型生成回答
        → 回答中标注:"根据《劳动合同法》(源文档ID: doc-xxx)第39条..."
10.5 检索优化
优化方向方法
召回率使用混合检索、增加索引类型
准确率优化向量模型、调整相似度阈值
速度使用高效向量索引(如HNSW)、缓存热门查询
相关性引入知识图谱,利用实体关系提升检索精度

三、数据安全与合规

3.1 安全三道防线

防线措施AHUB实现
访问控制Schema隔离 + Agent权限每个Agent只能访问自己的Schema
SQL注入防护白名单 + 参数化查询_ALLOWED_SQL_TABLES + _validate_identifier
数据加密传输加密 + 存储加密HTTPS + 向量加密(vectors.enc)

3.2 SQL注入防护实战


_ALLOWED_SQL_TABLES = {
    "knowledge_cards", "card_versions", "source_documents",
    "fin_income_statement", "system_logs",
    # ... 白名单
}

_SAFE_IDENTIFIER_RE = re.compile(r"^[a-z_][a-z0-9_]{0,62}$")

def _validate_table_name(table_name: str) -> str:
    if table_name not in _ALLOWED_SQL_TABLES:
        raise ValueError(f"Table '{table_name}' is not in allowed list")
    return table_name

3.3 个人信息保护(PIPL合规)

要求实现
最小必要只收集业务必需的数据
知情同意用户数据入库前需授权
可删除提供数据删除接口
可导出提供数据导出功能

四、数据备份与恢复

数据库备份方式频率保留期
PostgreSQLpg_dump全量备份每日30天
RedisRDB快照每小时7天
Neo4jCypher导出每日30天
Milvus数据目录备份每日14天

五、数据血缘——数据从哪来、到哪去

5.1 AHUB的数据血缘


pg_kb_ent ──→ redis_vectors(向量化)+ neo4j_graph(图谱化)
pg_kb_prd ──→ redis_vectors + neo4j_graph
pg_kb_leg ──→ redis_vectors + neo4j_graph
pg_kb_fin ──→ redis_vectors(财务数据只需向量化)
pg_kb_mkt ──→ redis_vectors + neo4j_graph
pg_kb_gov ──→ redis_vectors + neo4j_graph
pg_kb_das ──→ neo4j_graph(IP数据只需图谱化)
pg_kb_ops ──→ 无下游(运维数据独立)

5.2 血缘追踪的价值

场景没有血缘有血缘
数据出问题不知道哪来的追溯到源头Schema和表
更新影响评估不知道影响谁看下游依赖,评估影响范围
合规审计手动整理自动生成数据流向图

六、知识库搭建工具链

阶段推荐工具说明
知识萃取录音笔+转文字工具(讯飞听见)高效转录访谈内容
数据清洗Python脚本+正则表达式批量处理、自定义规则
知识切割人工+AI辅助(GPT-4)理解语义、自动切割
知识存储PostgreSQL + Git结构化存储+版本控制
向量化BGE-M3 / OpenAI Embedding生成向量表示
向量存储Milvus / Pinecone / FAISS向量检索
知识图谱Neo4j图数据库
索引检索LangChain / LlamaIndexRAG框架

七、知识库维护与迭代

知识库不是一次性工程,而是持续迭代的过程

维护动作频率说明
内容更新每周新增创业经验、学员案例
数据清洗每月去重、更新术语、修复错误
向量化更新每季度当Embedding模型更新时重新向量化
知识图谱更新每月新增实体、关系
检索优化每季度根据检索效果调整参数

八、常见误区与错误清单

错误后果正确做法
跳过数据清洗直接入库脏数据污染整个知识库,检索返回错误信息严格执行清洗流程,清洗后再入库
法律条文乱切割断章取义,合规风险严肃性三级标注,mandatory绝对不切
忘记存源文档AI回答无法溯源先存原文再拆分,SHA256指纹
所有表放public数据混乱、权限难控按业务域分Schema
知识切割颗粒度太大一张卡片包含多个知识点,检索精度低一个知识点一张卡片,保持独立完整
知识切割颗粒度太小卡片太多,维护成本高,上下文丢失避免过度切割,保持知识完整性
不建立知识图谱知识之间孤立,无法利用关系提升检索精度建立实体和关系,形成知识网络
只做向量检索精确匹配效果差,关键词查询不准确使用混合检索,兼顾精确和模糊
忘记做向量索引语义检索全表扫描入库时同步生成向量
向量维度不一致检索结果异常统一embedding模型和维度
不维护知识库知识过时,回答错误定期更新,持续迭代

九、避坑指南

表现避法
上来搞5种数据库部署复杂、维护成本高先PostgreSQL,按需加库
法律条文乱切割断章取义,合规风险严肃性三级标注,mandatory绝对不切
忘记存源文档AI回答无法溯源先存原文再拆分,SHA256指纹
所有表放public数据混乱、权限难控按业务域分Schema
忘记做向量索引语义检索全表扫描入库时同步生成向量
向量维度不一致检索结果异常统一embedding模型和维度
密码明文存储安全风险环境变量 + Docker secrets
不做备份数据丢失无法恢复定时备份 + 异地备份
Agent直连数据库SQL注入风险白名单 + 参数化查询 + ORM

十、使用指导——三类角色的落地执行手册

核心:本章节指导三类角色如何使用本方法论落地执行。无论是创业者个人、产品经理,还是AI工程师,都能按图索骥完成知识库搭建。


10.1 创业者个人——用AI辅助整理个人知识

目标:创业者本人按照本方法论,整理自己的个人经历、行业洞察、方法论体系,形成结构化的个人知识库。

第一步:选择你的AI助手
选项工具说明
个人AI联合创始人万有AI的明察专门针对创业领域优化,理解纵横深透模型
通用大模型GPT-4、Claude需要额外输入方法论Prompt
本地部署ollama + 开源模型数据隐私要求高时使用
第二步:让AI理解方法论

操作:将本方法论文档发给AI,发指令:


请阅读并理解《知识库搭建通用方法论》,重点理解:
1. 纵横深透模型(纵轴六层、横轴七层、时间轴、显隐性规则)
2. 十大步骤的流程和要点
3. 知识卡片的结构和编码规则

理解后,我要你作为我的知识整理助手,帮助我按这个框架整理个人知识。
第三步:让AI生成访谈目录

操作:让AI根据纵横深透模型,生成针对你的个性化访谈目录:


请根据我的情况(我是XXX领域的创业者,目前处于XXX层级),生成一个个性化的访谈目录。

访谈目录要覆盖:
- 纵轴六层:我当前的层级、我想达到的层级、跨越需要的条件
- 横轴七层:我的PEST分析、行业/赛道、价值链位置、竞争分析、内部分析
- 时间轴:我的过去关键经历、现在状态、未来目标
- 显隐性规则:我踩过的坑、我学到的智慧

要求:
1. 按纵横深透模型的框架生成问题
2. 每个问题要具体、可回答
3. 问题之间要有逻辑连贯性
第四步:让AI逐条访谈

操作:AI按目录一条一条访问创业者,创业者回答,AI记录整理:


我们现在开始访谈。请根据我之前提供的个人背景,按以下目录开始访问。

每次访问一个维度,我回答后,你记录并确认理解正确后,再问下一个问题。

开始第一个问题:[AI生成的第一个问题]
第五步:让AI生成知识卡片初稿

操作:访谈完成后,让AI根据访谈内容生成知识卡片:


请根据我们刚才的访谈记录,按知识卡片格式生成卡片初稿。

每张卡片包含:
- 卡片ID
- 卡片名称
- 卡片类型(方法论/案例/洞察/经验)
- 核心内容(一句话总结)
- 详细内容(展开说明)
- 适用场景
- 关联卡片

请先尝试生成[3-5]张最重要的卡片,其他卡片我审核后再生成。
第六步:AI辅助行业资料整理

操作:让AI帮助整理行业资料:


请帮我整理以下行业资料,用纵横深透模型框架分析:

1. 帮我搜集/整理:行业报告、竞品分析、市场数据
2. 按纵横深透模型分类:
   - 纵轴:行业当前处于哪个层级?发展趋势?
   - 横轴:PEST分析、行业/赛道分析、竞争格局
   - 时间轴:行业历史、现状、未来趋势
   - 显隐规则:行业法规、潜规则、进入壁垒
3. 生成行业分析报告
创业者知识整理检查清单
  • [ ] 是否让AI理解并消化了《知识库搭建通用方法论》?
  • [ ] 是否生成了个性化的访谈目录(覆盖纵横深透模型四维度)?
  • [ ] 是否完成了纵轴六层的自我分析(当前层级、目标层级、跨越条件)?
  • [ ] 是否完成了横轴七层的自我分析(PEST、行业、赛道、竞争、内部)?
  • [ ] 是否完成了时间轴梳理(过去、现在、未来)?
  • [ ] 是否识别了显性规则和隐性规则?
  • [ ] 是否产出了知识卡片初稿?
  • [ ] 是否整理了行业资料?
创业者知识整理优先级
优先级内容说明
P0(必须)个人核心经历、关键决策、成败案例这是创业者的独特价值,是AI联合创始人的核心燃料
P0(必须)行业洞察、经验判断、市场认知这是业务行业本体的主要依据,决定AI能否给出行业专家级的回答
P1(重要)方法论体系、思考框架、决策逻辑让AI学会像创业者一样思考
P2(可选)会议纪要、工作日记、灵感碎片作为补充素材,充实知识库

10.2 产品经理——设计知识萃取平台PRD

目标:产品经理按照本方法论,设计一个面向创业者的知识萃取工具/平台。

第一步:理解方法论,确定产品定位

核心问题

  • 产品解决什么问题?(帮助创业者整理个人知识,形成AI可用的知识库)
  • 目标用户是谁?(创业者,尤其是传统行业转型者)
  • 核心价值是什么?(把隐性知识显性化,让AI理解创业者)
第二步:设计产品功能(按十大步骤)
步骤用户需求产品功能
知识整理不知道怎么整理、无从下手AI辅助访谈、个性化访谈目录生成、纵横深透框架引导
数据清洗资料格式混乱、质量参差自动清洗工具、术语统一、格式标准化
源文档存档担心知识无法溯源原文存储、SHA256指纹、溯源查询
分类路由知识太多找不到自动分类、域路由、快速定位
知识切割不知道怎么切、切多大AI辅助切割、知识卡片模板、批量切割工具
向量化不懂技术、不知道怎么向量化一键向量化、模型选择、可视化管理
存储架构不知道怎么存储、怕丢云端存储、版本管理、多端同步
知识图谱知识孤立、找不到关联自动关系抽取、图谱可视化、知识网络展示
索引检索检索不准、找不到想要的知识混合检索、RAG增强、可配置检索策略
第三步:PRD核心内容

1. 产品概述


产品名称:[待定]
产品类型:知识萃取工具/平台
核心定位:帮助创业者用AI辅助方式整理个人知识,形成结构化的个人知识库

目标用户:
- 创业者(尤其是传统行业转型者)
- 企业高管(整理管理经验)
- 专业人士(萃取行业经验)

核心价值:
1. 把隐性知识显性化,让AI能理解创业者
2. 用纵横深透模型确保知识整理的全面性和系统性
3. 通过AI辅助降低知识整理的门槛和成本

2. 用户旅程


第一阶段:初始化
- 用户注册登录
- 选择身份(创业者/高管/专业人士)
- 填写基本信息(行业、领域、当前层级)

第二阶段:AI辅助访谈
- AI根据纵横深透模型生成个性化访谈目录
- 用户按目录回答问题(支持语音输入)
- AI实时记录、整理、确认

第三阶段:资料上传
- 用户上传已有资料(文档、录音、图片)
- AI自动识别、整理、分类

第四阶段:知识卡片生成
- AI根据访谈和资料生成知识卡片
- 用户审核、修改、补充
- 确认后入库

第五阶段:知识库管理
- 查看知识卡片列表
- 编辑、删除、补充卡片
- 查看知识图谱

第六阶段:AI对话
- 用个人知识库训练AI
- 与AI对话,验证知识库质量
- 持续优化完善

3. 核心功能需求


F1:AI辅助访谈系统
- 按纵横深透模型生成个性化访谈问题
- 支持语音输入(录音转文字)
- AI实时整理、归纳、确认
- 生成访谈记录和初步知识卡片

F2:纵横深透框架引导
- 在资料整理、案例复盘等场景嵌入框架引导
- 帮助用户用纵横深透模型分析问题
- 可视化展示分析结果

F3:知识卡片管理
- 卡片创建、编辑、删除
- 卡片分类、标签、搜索
- 卡片关联、版本管理
- 卡片导出(JSON/Markdown)

F4:行业资料整理
- 支持批量上传行业报告、竞品分析等
- AI自动识别、提取关键信息
- 按纵横深透模型分类整理

F5:知识图谱可视化
- 自动生成知识图谱
- 可视化展示实体和关系
- 支持交互探索

F6:个人AI训练
- 用个人知识库微调或RAG
- 生成个人AI助手(类比明察)
- 支持对话验证知识库质量

4. 非功能需求

类型要求
性能访谈响应<2秒,知识检索<1秒
可用性支持PC端和移动端,操作简单直观
安全性用户数据加密存储,支持私有部署
兼容性支持主流浏览器,iOS/Android App
第四步:MVP优先级
优先级功能说明
P0AI辅助访谈系统核心价值所在
P0知识卡片管理基本功能
P0纵横深透框架引导差异化亮点
P1行业资料整理补充功能
P1个人AI训练价值验证
P2知识图谱可视化增强功能

10.3 AI工程师——构建知识萃取技术平台

目标:AI工程师按照本方法论,构建支撑知识萃取的技术平台。

技术架构

┌─────────────────────────────────────────────────────────────┐
│                        用户层                                │
│  [Web端]  [移动端]  [API]                                   │
└─────────────────────────────────────────────────────────────┘
                              ↓
┌─────────────────────────────────────────────────────────────┐
│                       服务层                                 │
│  [访谈服务]  [清洗服务]  [切割服务]  [向量化服务]  [图谱服务] │
└─────────────────────────────────────────────────────────────┘
                              ↓
┌─────────────────────────────────────────────────────────────┐
│                       数据层                                 │
│  [PostgreSQL]  [向量数据库]  [Neo4j]  [文件系统]             │
└─────────────────────────────────────────────────────────────┘
                              ↓
┌─────────────────────────────────────────────────────────────┐
│                       模型层                                 │
│  [LLM API]  [Embedding API]  [语音识别 API]                 │
└─────────────────────────────────────────────────────────────┘
核心模块
模块技术选型关键功能
访谈引擎LangChain + LLM生成个性化问题、实时整理确认
清洗流水线Python + 正则格式标准化、去重、术语统一
切割引擎LLM + 规则语义切割、卡片生成、格式标准化
向量化服务BGE-M3 / OpenAI Embedding批量向量化、向量存储
图谱构建LLM + Neo4j实体抽取、关系抽取、图谱存储
检索服务LangChain RAG + 混合检索BM25 + 向量检索、排序优化

十一、方法论关系:与其他方法论的映射


Phase 0: ①企业AI化5级标准 → 评估需不需要建知识库
    │
Phase 1: ②本体设计 → 确定有哪些实体和关系(知识库Schema的依据)
    │     ★本方法论 → 数据库基础设施 + 知识整理 + 切割 + 向量化 + 存储 + 检索
    │     ④知识图谱与双向数据流 → 知识库的高级形态(图谱推理、双向同步)
    │     ⑤知识注入与智能检索 → 注入管道和检索服务的深度展开
    │
Phase 2: ⑥Agent创建 → Agent需要查知识库
    │     ⑧三层记忆 → 记忆存在数据库里
    │
Phase 3: ⑨AI宪法 → 数据安全合规
    │     ⑩可观测性 → 数据库操作追踪

本方法论是知识库搭建的"全流程版"——从散乱知识到AI可检索的完整链路。④知识图谱是本方法论中"图谱层"的深度展开。


十二、一句话总结

知识库搭建 = ①知识整理(纵横深透框架)→ ②数据清洗 → ③源文档存档 → ④分类路由 → ⑤切割决策(严肃性三级)→ ⑥向量化 → ⑦8步注入管道 → ⑧双层三库存储 → ⑨知识图谱 → ⑩三路混合检索。

核心铁律:原文不动、指纹防篡、卡片溯源、严肃性分级、先跑PG再按需加库。


万有AI | 依据AHUB智慧运营中心实战萃取

© 2026 万有创学(青岛)人工智能科技有限公司

引用请注明来源:万有AI·https://www.wanyoucx.com