business-assistant/knowledge

第一阶段知识整理

原始资料目录

人才客服的四份原始资料位于 reference/人才客服/，使用独立入口 python -m src.step1_knowledge_prepare.talent，不会被营商默认入口读取。三类知识、原文关联及隔离入库见人才知识说明。

现有营商助手的15份原始资料统一存放在 reference/营商助手/。默认整理命令只读取该目录；后续其他Agent的原始资料分别放在 reference/ 下各自的同级目录，接入时单独配置读取和输出位置。

本次只调整物理目录，文件名和内容保持不变。现有知识记录及下方历史记录中的 reference/文件名 是保留的逻辑来源标识，对应实际文件 reference/营商助手/文件名；记录ID、摘要缓存和现有向量库不因本次搬迁改变。不要以整个 reference/ 作为营商助手的输入根，否则会递归混入其他Agent的资料。

2026-10-09 16:48 — F130 青浦介绍与新闻源更新入库

最新青浦介绍与新闻源从998条调整为501条，保留内容未变、移除497条；其他来源3268条保持，现六库3769条、article824条。完整规整、摘要复用、实际入库与独立回读通过；原目录和集合保留，在线进程需重启加载新清单。

2026-10-09 15:47 — F126 规范性文件增量加入文章库

新增reference/区政府规范性文件和部门街镇规范性文件.json的35条规范性文件，按general/article规整，标题、完整原文、来源链接、更新时间及原始字段保留。旧4231条知识与摘要逐字段保持；现共4266条，article1321条。新增摘要和真实入库及独立复验完成；文件现行有效性与真实问答未验收，服务需重启加载新manifest。

2026-09-24 青浦区介绍与新闻（F117）

reference/青浦区介绍和新闻.json新增998条，统一按general/article规整；含1条百科介绍和997条青浦区政府网站新闻。保留各条标题、全文、原链接与源文件更新时间；新闻中的历史措施只作为当时报道，不自动认定现行政策或可申报权益。当前规整总计4231条（general2948、policy170、finance185、qa928），新增记录均使用LLM生成检索摘要，旧3233条增强知识保持。摘要与入库结果见摘要生成和知识入库。

2026-09-24 惠企政策来源替换（F116）

reference/惠企政策.json已替换为25个政策、170个申报事项的新导出，原183条政策记录退出当前快照；其他来源不变。新导出的“申报事项”映射data.reported_item，“涉及原文”完整保留为data.source_text和引用片段，源文件内的建议条件、免申即享标记保持未核验注释身份。原包装保留在raw_record，没有据此判断政策有效性。

当前规整结果共3233条，policy170、general1950、finance185、qa928；prepare --verify和170项逐条源字段审计通过。摘要与入库见摘要生成及知识入库。

2026-09-22 企业服务中心知识更新（F107）

新增reference/企业服务中心介绍和联系方式.json中的4条知识，按general/article处理；现有3242条知识及增强摘要逐字段保留，总计3246条。正文、电话、地址、图片链接、原文链接及更新时间保留在完整记录中；不将服务介绍认定为政策卡片或已核验有效资料。

本轮使用本地增量操作脚本output/checks/f107-summary.py复用现有摘要函数，仅处理新增4条；加--verify只读核对缓存和输出。当前增量摘要证据为knowledge/prepared/f107_summary_report.json，旧summary_report和local_refresh_report为历史快照。全量摘要入口会按当前配置重新匹配缓存，不能视为必然只处理新增条目。

2026-09-21 公安工作簿更新（F081）

新增 公安常见涉企政策一本通（草拟）-整编.xlsx 的正本、派出所地址及电话、社区事务服务中心地址及电话三个指定工作表，分别26、16、11条，共53条；目录不导入。正本按合并序号聚合分支，保留每行材料、流程及联系方式；原始单元格值、合并来源、工作表/行号、内部资料提示与文件哈希保存在知识记录中。正本进入办事指南，其余进入文章库，不增加政策卡片白名单或推断草拟文件已经生效。XLSX读取使用项目已有openpyxl依赖。

原3189条知识及其摘要保持，当前共3242条。用户后续已明确授权将新增53条发送至配置的DeepSeek服务；目前全部采用LLM摘要，原本地抽取快照已保留供回退。全文另行完整保存。当前更新使用以下命令核对，历史summary_report.json不代表本次快照，当前依据为local_refresh_report.json：

.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare --verify
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare.refresh_local --llm-workbook
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare.refresh_local --llm-workbook --verify

refresh_local拒绝直接复用已改变原始字段的旧知识摘要。今后原有非Excel资料有变化时，仍需按原摘要流程更新；后续继续使用上述带--llm-workbook的增量入口，只处理工作簿并保留旧摘要；默认本地刷新及普通摘要入口会拒绝将已生成的LLM摘要降级为原文抽取。入库与在线检索统一使用BGE，重建及配置见知识入库。

这里保存四类知识模板和从本地 reference/营商助手/ 生成的完整知识集。未调用模型或外部网站，未判断政策当前是否有效。

阅读入口

类型	模板	整理后的可读正文	程序读取
惠企政策	policy.template.json	policy.md	policy.jsonl
问答 QA	qa.template.json	qa.md	qa.jsonl
E企融金融产品	finance.template.json	finance.md	finance.jsonl
通用知识	general.template.json	general.md	general.jsonl

字段含义和转换规则见 模板说明。JSONL 每行一条完整记录，Markdown 是同一份记录的阅读视图。 摘要前的输入长度统计见 Token 分布与预算，统计保留人工分段。 五场景 LLM 摘要脚本、配置和增强 JSONL 说明见 摘要生成。 general.md 较大，程序消费应逐行读取 JSONL；按 collection 可区分各来源集合。

本次清点（2026-09-10）

以下为历史快照。2026-09-16 F046已替换四份JSON并将涉外旧目录备份到忽略的output目录：当前11个源文件、3189条记录（general 1893、policy 183、qa 928、finance 185），7条重复关联。四份指定来源内305条原始is_policy严格为true；该标记限制卡片资格，不改变四类规整和现有分库。原字段保留在raw_record中。新版惠企政策content内的JSON对象解析为既有policy数据字段，同时完整保留外层原记录；旧版平铺格式仍支持。

本地prepare及verify已通过。2026-09-16 17:25：获用户授权后2261条摘要生成并独立复验通过，928条QA保持原问题索引；3189条真实Milvus写入及独立回读/向量/数量校验通过，四组真实检索完整。服务由用户自行重启，新代码及manifest需随重启加载。以下2026-09-10条数为历史快照。

• 75 个源文件：9 个 JSON、1 个 CSV、64 个 TXT、1 个 Markdown。
• 3,177 条记录：通用知识 1,881、惠企政策 183、QA 928、金融产品 185。
• 保留 6 条完全重复记录，以 duplicate_of 关联；没有按标题合并不同政策或事项。
• 通用知识包含：办事指南 1,578、科技型企业知识 18、六大服务板块 58、人才政策和服务 19、虹桥政策指南 30、营商环境一本通 36、法规章节 77、涉外政策文本 64、目录 1。
• 890 条没有独立来源 URL，但均保留本地文件、原记录位置与文件 SHA256。
• 11 条惠企政策的申报条件含不完整列表或混合文本，保留原文并标记 conditions_unparsed，不强行拆分条件组。
• 全部条目的有效性尚未核验；原文件名中的日期、记录更新时间、正文中的日期均不能自动代表生效时间。

report.json 给出每个源文件的哈希、条数、总数、质量标记统计、重复关系和输出哈希。 缺少结构化地区/对象只说明尚未可靠抽取，不意味着正文没有适用范围；下游不得将其视为“全国/所有企业适用”。

重建与验证

在仓库根目录运行：

.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare --verify
.\.venv\Scripts\python.exe -m unittest discover -s src/step1_knowledge_prepare/tests -v

代码位于 src/step1_knowledge_prepare/，JSON/CSV/TXT解析不需要第三方依赖，Excel使用已有openpyxl。参数 --source 和 --output 可指定测试目录；默认输入为 reference/营商助手/，输出仍为 knowledge/prepared/。来源路径标识使用相对于输入根的 reference/ 逻辑前缀。 默认只覆盖 prepared/ 下四类 JSONL、四类 Markdown 和报告，模板不被重写。所有输入成功解析后才写出；未变化的文件跳过写入，其余使用独立临时文件替换，报告最后写出。 写入失败会清理当前临时文件，但可能留下部分新输出，此时 --verify 会失败，应解除文件占用后重新运行；不承诺整批事务。强制终止进程可能留下 .tmp 文件，可在确认无任务运行后清理。 未知格式、重复 JSON 键、乱码、CSV 列数不匹配会失败并返回非零，避免静默丢失资料。 重复运行同一输入生成字节一致的输出；--verify 只读，重建预期结果并逐文件核对，检测源更新、输出遗漏和篡改。

原始资料及整理后的真实知识留在本地，prepared/ 已加入 Git 忽略规则；模板、代码与说明可版本管理。 后续新增、替换营商助手资料应修改 reference/营商助手/ 后重新生成，勿直接修改自动生成正文。模板变动需同步映射代码和测试，并升级版本。 当前交付只完成知识规整，尚未建立向量索引、检索和问答接口。

第二步

准备好的增强JSONL可通过 知识入库 写入按类型隔离的Milvus数据库。标题＋摘要用于向量召回，全部原始字段与完整正文另行保留。