# 第一阶段知识整理

## 2026-09-24 青浦区介绍与新闻（F117）

`reference/青浦区介绍和新闻.json`新增998条，统一按general/article规整；含1条百科介绍和997条青浦区政府网站新闻。保留各条标题、全文、原链接与源文件更新时间；新闻中的历史措施只作为当时报道，不自动认定现行政策或可申报权益。当前规整总计4231条（general2948、policy170、finance185、qa928），新增记录均使用LLM生成检索摘要，旧3233条增强知识保持。摘要与入库结果见[摘要生成](summary-generation.md)和[知识入库](ingestion.md)。

## 2026-09-24 惠企政策来源替换（F116）

`reference/惠企政策.json`已替换为25个政策、170个申报事项的新导出，原183条政策记录退出当前快照；其他来源不变。新导出的“申报事项”映射`data.reported_item`，“涉及原文”完整保留为`data.source_text`和引用片段，源文件内的建议条件、免申即享标记保持未核验注释身份。原包装保留在`raw_record`，没有据此判断政策有效性。

当前规整结果共3233条，policy170、general1950、finance185、qa928；`prepare --verify`和170项逐条源字段审计通过。摘要与入库见[摘要生成](summary-generation.md)及[知识入库](ingestion.md)。

## 2026-09-22 企业服务中心知识更新（F107）

新增`reference/企业服务中心介绍和联系方式.json`中的4条知识，按general/article处理；现有3242条知识及增强摘要逐字段保留，总计3246条。正文、电话、地址、图片链接、原文链接及更新时间保留在完整记录中；不将服务介绍认定为政策卡片或已核验有效资料。

本轮使用本地增量操作脚本`output/checks/f107-summary.py`复用现有摘要函数，仅处理新增4条；加`--verify`只读核对缓存和输出。当前增量摘要证据为`knowledge/prepared/f107_summary_report.json`，旧summary_report和local_refresh_report为历史快照。全量摘要入口会按当前配置重新匹配缓存，不能视为必然只处理新增条目。

## 2026-09-21 公安工作簿更新（F081）

新增 `公安常见涉企政策一本通（草拟）-整编.xlsx` 的正本、派出所地址及电话、社区事务服务中心地址及电话三个指定工作表，分别26、16、11条，共53条；目录不导入。正本按合并序号聚合分支，保留每行材料、流程及联系方式；原始单元格值、合并来源、工作表/行号、内部资料提示与文件哈希保存在知识记录中。正本进入办事指南，其余进入文章库，不增加政策卡片白名单或推断草拟文件已经生效。XLSX读取使用项目已有openpyxl依赖。

原3189条知识及其摘要保持，当前共3242条。用户后续已明确授权将新增53条发送至配置的DeepSeek服务；目前全部采用LLM摘要，原本地抽取快照已保留供回退。全文另行完整保存。当前更新使用以下命令核对，历史`summary_report.json`不代表本次快照，当前依据为`local_refresh_report.json`：

```powershell
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare --verify
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare.refresh_local --llm-workbook
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare.refresh_local --llm-workbook --verify
```

`refresh_local`拒绝直接复用已改变原始字段的旧知识摘要。今后原有非Excel资料有变化时，仍需按原摘要流程更新；后续继续使用上述带--llm-workbook的增量入口，只处理工作簿并保留旧摘要；默认本地刷新及普通摘要入口会拒绝将已生成的LLM摘要降级为原文抽取。入库与在线检索统一使用BGE，重建及配置见[知识入库](ingestion.md)。

这里保存四类知识模板和从本地 `reference/` 生成的完整知识集。未调用模型或外部网站，未判断政策当前是否有效。

## 阅读入口

| 类型 | 模板 | 整理后的可读正文 | 程序读取 |
| --- | --- | --- | --- |
| 惠企政策 | [policy.template.json](templates/policy.template.json) | [policy.md](prepared/policy.md) | [policy.jsonl](prepared/policy.jsonl) |
| 问答 QA | [qa.template.json](templates/qa.template.json) | [qa.md](prepared/qa.md) | [qa.jsonl](prepared/qa.jsonl) |
| E企融金融产品 | [finance.template.json](templates/finance.template.json) | [finance.md](prepared/finance.md) | [finance.jsonl](prepared/finance.jsonl) |
| 通用知识 | [general.template.json](templates/general.template.json) | [general.md](prepared/general.md) | [general.jsonl](prepared/general.jsonl) |

字段含义和转换规则见 [模板说明](templates/README.md)。JSONL 每行一条完整记录，Markdown 是同一份记录的阅读视图。
摘要前的输入长度统计见 [Token 分布与预算](token-statistics.md)，统计保留人工分段。
五场景 LLM 摘要脚本、配置和增强 JSONL 说明见 [摘要生成](summary-generation.md)。
`general.md` 较大，程序消费应逐行读取 JSONL；按 `collection` 可区分各来源集合。

## 本次清点（2026-09-10）

以下为历史快照。2026-09-16 F046已替换四份JSON并将涉外旧目录备份到忽略的output目录：当前11个源文件、3189条记录（general 1893、policy 183、qa 928、finance 185），7条重复关联。四份指定来源内305条原始is_policy严格为true；该标记限制卡片资格，不改变四类规整和现有分库。原字段保留在raw_record中。新版惠企政策content内的JSON对象解析为既有policy数据字段，同时完整保留外层原记录；旧版平铺格式仍支持。

本地prepare及verify已通过。2026-09-16 17:25：获用户授权后2261条摘要生成并独立复验通过，928条QA保持原问题索引；3189条真实Milvus写入及独立回读/向量/数量校验通过，四组真实检索完整。服务由用户自行重启，新代码及manifest需随重启加载。以下2026-09-10条数为历史快照。

- 75 个源文件：9 个 JSON、1 个 CSV、64 个 TXT、1 个 Markdown。
- 3,177 条记录：通用知识 1,881、惠企政策 183、QA 928、金融产品 185。
- 保留 6 条完全重复记录，以 `duplicate_of` 关联；没有按标题合并不同政策或事项。
- 通用知识包含：办事指南 1,578、科技型企业知识 18、六大服务板块 58、人才政策和服务 19、虹桥政策指南 30、营商环境一本通 36、法规章节 77、涉外政策文本 64、目录 1。
- 890 条没有独立来源 URL，但均保留本地文件、原记录位置与文件 SHA256。
- 11 条惠企政策的申报条件含不完整列表或混合文本，保留原文并标记 `conditions_unparsed`，不强行拆分条件组。
- 全部条目的有效性尚未核验；原文件名中的日期、记录更新时间、正文中的日期均不能自动代表生效时间。

[report.json](prepared/report.json) 给出每个源文件的哈希、条数、总数、质量标记统计、重复关系和输出哈希。
缺少结构化地区/对象只说明尚未可靠抽取，不意味着正文没有适用范围；下游不得将其视为“全国/所有企业适用”。

## 重建与验证

在仓库根目录运行：

```powershell
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare
.\.venv\Scripts\python.exe -m src.step1_knowledge_prepare --verify
.\.venv\Scripts\python.exe -m unittest discover -s src/step1_knowledge_prepare/tests -v
```

代码位于 `src/step1_knowledge_prepare/`，JSON/CSV/TXT解析不需要第三方依赖，Excel使用已有openpyxl。参数 `--source` 和 `--output` 可指定测试目录；来源路径标识使用相对于输入根的 `reference/` 逻辑前缀。
默认只覆盖 `prepared/` 下四类 JSONL、四类 Markdown 和报告，模板不被重写。所有输入成功解析后才写出；未变化的文件跳过写入，其余使用独立临时文件替换，报告最后写出。
写入失败会清理当前临时文件，但可能留下部分新输出，此时 `--verify` 会失败，应解除文件占用后重新运行；不承诺整批事务。强制终止进程可能留下 `.tmp` 文件，可在确认无任务运行后清理。
未知格式、重复 JSON 键、乱码、CSV 列数不匹配会失败并返回非零，避免静默丢失资料。
重复运行同一输入生成字节一致的输出；`--verify` 只读，重建预期结果并逐文件核对，检测源更新、输出遗漏和篡改。

原始资料及整理后的真实知识留在本地，`prepared/` 已加入 Git 忽略规则；模板、代码与说明可版本管理。
后续新增、替换资料应修改 `reference/` 后重新生成，勿直接修改自动生成正文。模板变动需同步映射代码和测试，并升级版本。
当前交付只完成知识规整，尚未建立向量索引、检索和问答接口。

## 第二步

准备好的增强JSONL可通过 [知识入库](ingestion.md) 写入按类型隔离的Milvus数据库。标题＋摘要用于向量召回，全部原始字段与完整正文另行保留。