VDR DATA OS
VDR / 项目文档 / 项目总纲

项目总纲

项目起点、治理架构、数据对象与研究路线

大一统 VDR 数据中台

状态日期：2026-07-27
文档定位：解释项目为什么开始、已经完成什么、当前处于什么阶段，以及下一步如何走。
实时资产状态以 STATUS.md 为准；数据集细节不在本文重复展开。

1. 我们为什么开始这件事

项目最初面对的不是“缺一个数据集”，而是大量视觉文档数据无法直接放在一起使用：

  • 数据结构不同：有 query + image、DocVQA、多正例 qrels、PDF、页面截图和纯预训练语料；
  • 任务边界不同：训练、预训练、合成材料和冻结评测容易混淆；
  • 粒度不同：同一文档、页面、Query 或 Pair 可能在多个数据集中重复；
  • 质量不同：存在空 Query、弱 Query、强指代、超长问题、OCR 噪声和合成偏差；
  • 测训边界不干净：部分训练源与公开测试集存在 Query、页面或上游来源重合；
  • 文件名和目录名不能代表真实用途，train split 也不一定允许进入训练。

因此，目标从“收集更多数据”变成了：

建立一套可追溯、可审计、可复现的 VDR 数据治理与 Release 流程。

“大一统”不是把所有数据强行改成一个 JSON，而是让不同数据都能回答同一组问题：它是谁、来自哪里、能否训练、是否与评测重合、质量如何、如何复现。

2. 我们已经做了什么

2.1 收齐并看懂计划内开源资产

计划内训练与冻结评测资产已经落盘。当前完成了：

  • 15 个训练侧资产的结构分析、真实 Case 和各 100 条本地复核抽样；
  • 7 套主要冻结评测资产各 100 条复核抽样，另有多语言评测 15 条；
  • Wiki-SS NQ ↔ corpus、Docmatix-IR ↔ Docmatix images 的关联核验；
  • ViDoRe v1/v2/v3 的结构、候选池、qrels、多语和空 Query 边界分析；
  • 训练样本与评测样本在目录和 manifest 元数据上的明确隔离。

详细事实分别见：

2.2 建立真实样本复核机制

开源数据样本/ 不是训练 Release，而是人工检查窗口：

  • 训练侧：15 个目录，共 1,500 条；
  • 评测侧：7 个 100 条目录 + vdr-multilingual-test 15 条，共 715 条；
  • 训练 manifest 标记 data_role=train_source；
  • 评测 manifest 标记 evaluation_only=true、data_role=evaluation_only。

抽样脚本会保留不同脚本生成的 README 条目，训练侧 --clean 也不会删除冻结评测复核目录。

2.3 跑通合成原型

Qwen3.6-27B 非思考模式的单页检索 Query 合成已经跑通：

批次 请求 / 成功页 pass provisional fail 趋势导出
基础 7 源 × 100 700 / 694 90 555 28 645
扩展 6 源 × 100 600 / 600 52 474 49 526

这证明图片输入、结构化生成、断点续跑、QC、终审和审计链路可运行，但不代表已经产生正式训练数据：

  • pass 只是当前规则下严格通过；
  • provisional 缺少独立文本真值，只能用于趋势观察；
  • ViDoRe eval* 尚未进入完整泄漏 blocklist；
  • 当前 最终训练数据.jsonl 只是历史命名下的趋势导出，不是 Release。

流程和结果分别见：

3. 我们现在处于什么状态

当前阶段可以概括为：

资产募集、Case 分析和抽样已经收口；正在进入“泄漏审计 → Registry → 正式 Release”阶段。

已完成

  • 计划内开源训练与评测资产下载；
  • 数据结构、规模、真实 Case 和主要风险分析；
  • 训练侧与评测侧本地抽样；
  • 关联依赖数据的 join 验证；
  • 合成原型与趋势批次；
  • 训练/评测 manifest 的角色标记与目录保护。

尚未完成

  • 全部冻结评测与训练资产的 Query、ID、图片/PDF、上游来源泄漏审计；
  • ViDoRe v1/v2/v3 接入合成终审 blocklist；
  • 正式 Dataset Registry 和稳定 ID；
  • 全量许可证与可再分发范围核验；
  • 图片/PDF 感知去重和同源权重控制；
  • 版本化、可审计的训练 Release；
  • 外部训练、统一评测、消融和 Hub 发布。

所以目前不能把“数据到齐”解释成“可以直接开训”。现在缺的不是更多原始数据，而是把已有资产治理成可信 Release。

4. 当前数据边界

4.1 训练侧不是一种数据

15 个训练侧资产应按用途分轨：

  • 直接检索监督：ColPali、VisRAG、VDR 多语言、TAT-DQA、TabFQuAD、4 个 VDR_*、Wiki-SS、Docmatix-IR；
  • 预训练材料：pdfa-eng-wds；
  • DocVQA 参考：Docmatix；
  • 合成材料：shennong2_chart；
  • 关联依赖资产：Wiki-SS NQ 依赖 corpus，Docmatix-IR 依赖 Docmatix images。

这些数据不能用原始行数直接相加：同页多问、多页文档、上游同源和任务差异都会造成错误规模感。

4.2 冻结评测必须独立

冻结评测的 Query、图片、答案、qrels、证据页、reasoning 和 bbox 都不得进入：

  • 训练；
  • 数据合成；
  • hard-negative 挖掘；
  • Prompt/阈值调优；
  • 根据测试结果反复选择数据版本。

评测还必须保持官方候选池协议：

  • 隐式正对数据按子集独立建池；
  • 空 Query 行可能是 corpus 候选页；
  • 多正例不能截成单正例；
  • ViDoRe v3 按领域 × 语言建池，并用该语 Query ID 过滤六语合池 qrels。

4.3 业务日志不是训练 Pair

线上 Embedding 日志只是调用记录，不天然包含稳定的 Query–正页面关系。只有完成授权、脱敏、关联、切分和质检后，才能作为新的数据来源。

5. 数据中台最终要管理什么

中台至少需要六类对象。

Dataset

记录数据集身份，而不是只记录路径：

  • 名称、上游版本、许可证、负责人；
  • 原始路径和文件清单；
  • 数据角色与允许用途；
  • split 语义；
  • 下载和完整性状态。

Document / Page

建立跨库稳定媒体身份：

  • document_id、page_id；
  • 原始文件 hash、图片感知 hash；
  • 页码、尺寸、语言、版式；
  • 上游来源与同源簇。

Retrieval Pair

记录检索监督：

  • Query；
  • 正页面和负页面；
  • Pair 来源；
  • Query 语言、意图和上下文依赖；
  • 原生、人工或合成标记。

Annotation / QC

将内容和质量判断分开：

  • Answer / Evidence；
  • OCR / Markdown / HTML 校验引用；
  • 自动规则、模型评分、人工结论；
  • pass / provisional / fail；
  • 失败原因和审核人。

Benchmark

固定评测协议：

  • Query、corpus、qrels；
  • 候选池范围；
  • 多正例和语言规则；
  • 渲染参数；
  • 冻结版本和禁止用途。

Release

Release 是治理后的产物，不是某个叫“最终”的文件：

  • 输入 Registry 版本；
  • 清洗、去重和泄漏规则；
  • 数据切片与采样配置；
  • 质量阈值；
  • 文件校验和；
  • 审计报告和变更记录。

6. 统一治理主线

原始资产（只读）
  → Registry 登记
  → Document/Page 稳定 ID
  → 训练/评测角色冻结
  → Query、页面和 Pair 清洗
  → 同源与感知去重
  → 测训泄漏审计
  → 可选合成与 QC
  → 采样与切片
  → 版本化 Release
  → 外部训练与统一评测

关键原则

  1. 原始数据不可变：所有清洗都生成衍生版本。
  2. 角色先于处理：先确定 train/eval/pretrain，再运行后续任务。
  3. Answer 不进训练导出：Answer/Evidence/OCR 只用于离线校验。
  4. 去重不是简单删重：同页多问可能有效，应区分媒体重复、Query 重复和 Pair 重复。
  5. 评测冻结优先：任何训练 Release 都必须先过完整泄漏审计。
  6. 脚本可断点和可复现：所有产物能追溯到输入版本和参数。

7. 质量如何判断

质量检查分三层。

硬规则

  • 空 Query、非法图片、字段错误；
  • 强上下文指代；
  • Query/图片/Pair 重复；
  • 训练与评测精确重合；
  • split 或角色违规。

内容验证

  • 有 OCR/Markdown/HTML 时做文本证据校验；
  • 只有图片时标记为 provisional，不能伪装成严格通过；
  • 数值、单位、表格和图表读数优先人工抽检。

人工抽检

按来源、语言、页面类型、Query 类型和质量等级分层抽样，而不是只随机看整体平均。

8. 下一阶段怎么走

顺序已经比较明确。

1. 完整泄漏审计

  • 抽取所有冻结 Query；
  • 建立上游来源、ID、文件 hash、图片感知 hash；
  • 检查训练源与 ViDoRe、VisRAG、JinaVDR 等评测资产；
  • 将 ViDoRe 专用 loader 接入终审 blocklist。

2. 建立最小 Registry

先完成可工作的最小版本：Dataset、Document、Page、Pair、Benchmark、QC、Release 七张逻辑表，不等待平台 UI。

3. 生成第一个正式 Release

  • 只使用角色明确、许可证清楚、泄漏审计通过的数据；
  • 区分严格 pass 与观察用 provisional；
  • 输出版本、manifest、统计和审计报告；
  • 不沿用“最终训练数据”这种无版本命名。

4. 外部训练与统一评测

先做小规模受控实验，再决定最终采样比例和规模。必须包含来源消融、质量消融、多语言切片和跨 benchmark 泛化。

5. 平台与公开发布

Registry 和 Release 稳定后，再建设资产浏览、谱系、质量面板和 Hub 发布，避免先做一个没有可信底层数据的平台。

9. 研究与开源方向

当前最值得验证的主命题是：

经过统一身份、质量治理和测训隔离的多源 VDR 数据，是否比简单拼接带来更稳定的跨域、跨语言泛化？

可以围绕以下问题做受控实验：

  • 统一治理是否优于原始数据简单拼接；
  • 去重、Query 清洗和严格证据门控各自带来多少收益；
  • 原生 Query 与合成 Query 如何组合；
  • 规模、质量和多样性谁更重要；
  • 同一数据策略是否跨检索模型有效。

论文、平台和数据 Release 共用同一治理底座，但当前优先级仍是：先把数据做成可信 Release，再决定论文拆分和平台形态。

10. 文档怎么读

建议按下面顺序：

  1. STATUS.md：现在在哪、还差什么；
  2. 本文：项目从哪里来、整体怎么走；
  3. 开源数据集分析.md：训练侧事实与真实 Case；
  4. 开源测试集分析.md：冻结评测协议与边界；
  5. 数据合成流程.md：合成和 QC 规范；
  6. 生成样本分析.md：当前趋势批次结果；
  7. Qwen3.6-27B服务调用.md：服务参数与调用参考。

发生冲突时，以 STATUS.md 和实际脚本/产物为准；本文不再重复维护每个数据集的细节数字。

由本地 docs/大一统VDR数据中台.md 自动构建 · 本地 Markdown 是内容源