VDR DATA OS
VDR / 项目文档 / 训练资产

训练资产

训练、预训练与合成材料的事实账本

开源数据集分析

本文是训练侧资产的事实账本：记录真实字段、规模、Case、抽样和质量边界。项目当前状态与下一步只在 STATUS.md 维护，本文不重复写阶段性计划。

阅读说明

每节按“规模与字段 → 真实 Case → 本地抽样 → 质量结论”展开。开源数据样本/ 中的 100 条仅供人工复核，不代表正式训练 Release。

1. colpali_train_set

  • 实际总量：118,695；train 118,195，test 500。
  • 样本字段：image、image_filename、query、answer、source、options、page、model、prompt、answer_type。
  • image.bytes 内嵌真实图片；image_filename 只是原始/逻辑路径，不需要对应本地图片文件。
  • 来源：pdf 45,907、docvqa 39,463、tatdqa 13,251、Infographic-VQA 10,074、arxiv_qa 10,000。

真实 Case

[pdf | Claude-3 Sonnet]
页面：.../energy_train/...pdf/page_9.jpg
Query：What is the duration of the course mentioned in the image?
Answer：['five to ten hours, not including field trips']
[pdf | Claude-3 Sonnet]
页面：.../energy_train/...pdf/page_414.jpg
Query：What is the primary purpose of the PTC in lithium batteries?
Answer：['protect against external short circuits']
[docvqa]
Query：To whom should the form be returned? Ensure brevity in your answer.
Answer：James F. Glenn.
[Infographic-VQA]
Query：Which year has the second lowest median household income according to the infographic?
Answer：2010.
[arxiv_qa]
Query：Comparing panels a, b, c, and d, which statement best describes the data variance?
Options：A/B/C/D 四个选项
Answer：D
[tatdqa]
Query：What was the change in realized gain on oil derivative instrument from 2017 to 2018?
Answer：26737
answer_type：arithmetic

本地导出抽样

以下样本直接对应 开源数据样本/colpali_train_set/ 中的图片与 samples.jsonl：

[sample #2 | docvqa]
图片：02_000010745.png
Query：What is the date mentioned in the document? Provide a succinct answer.
Answer：7/17/2003.

结论

  • 这是 image + query + answer 的页面问答/检索混合数据。
  • pdf 的 Prompt 要求一页最多生成 3 个 Q-A，答案必须在页面中；实际存在同页多个不同 Query。
  • docvqa 是短字段抽取，arxiv_qa 是图表选择题，tatdqa 有 span/arithmetic/multi-span/count 类型。
  • 数据集没有显式负样本字段；训练时可使用 batch 内其他页面作为负样本。
  • answer 列是字符串，列表答案实际保存为 ['...'] 字符串。
  • 训练不能混入 test 500 条。

2. VisRAG-Ret-Train-Synthetic-data

  • 实际总量：239,358 条，326 个 Parquet 分片。
  • 字段只有：query、image、source；没有 answer。
  • 这是纯检索训练对：当前页面 image 就是该 query 的正样本 Document。
  • 图片以 PNG 内嵌于 image.bytes；抽样尺寸为 2550 × 3300。
  • 来源：Manuallib 119,934、Textbooks 59,648、NeurIPS Papers 29,952、ICML Papers 29,824。

真实 Case

[Textbooks]
页面：129.png
Query：Which diagnostic tests are used to identify bacterial respiratory infections?
[Textbooks]
页面：138.png
Query：mutualism
[ICML Papers]
页面：257.png
Query：Can you find the document that discusses hidden symmetries in neural networks using ReLU activation functions?
[NeurIPS Papers]
页面：1.png
Query：Is there a paper that discusses an optimal policy solution for non-stationary Markov Decision Processes (MDPs) with variable time steps?
[Manuallib]
页面：389.png
Query：Can you provide guidance on setting up basic formatting and symbology checks for DataMan 300?
[Manuallib]
页面：394.png
Query：What is the color and purpose of pin 7 on the USB and flying leads I/O cable?

本地导出抽样

以下样本直接对应 开源数据样本/VisRAG-Ret-Train-Synthetic-data/：

[sample #2 | Manuallib]
图片：02_000021760.png
Query：Can you show me how to navigate to the 'Identification' section within the Data Analysis folder in the chromatography software?

同页多 Query Case

图片内容哈希抽样前 5,000 条：4,762 张不同图片；224 组页面被复用。

同一页面 Query 1：
Is there a paper that discusses an optimal policy solution for non-stationary Markov Decision Processes (MDPs) with variable time steps?

同一页面 Query 2：
Is there a reference discussing frameworks that optimize decision processes in non-stationary environments by adjusting time sequences?

质量风险

  • 空 Query：152 条，需要过滤。
  • 有纯关键词 Query，如 mutualism；可保留少量，但不应主导训练。
  • 有泛化/上下文依赖问题，如 What is the title of the document?、What does Table 14 in the provided document depict?。
  • 有页面原文或参考文献被当成 Query，最长达到 801 字符；需要按长度、问句形态和重复度过滤。
  • image.path 是简单文件名，不能作为全局唯一页面 ID；业务数据应保存 document_id + page_id，并可用图片哈希聚合同页样本。

结论

  • VisRAG Synthetic 的重点是：页面 → 真实检索式 Query，不强制生成答案。

3. VisRAG-Ret-Train-In-domain-data

  • 实际总量：122,752 条，37 个 Parquet 分片。
  • 与 VisRAG Synthetic 合计：362,110 条 Q-D 对。
  • 字段只有：query、image、source；没有 answer。
  • 这是学术 VQA 转成的检索对：当前 image 是 query 的正样本页面。
  • 来源：PlotQA 56,192、ArxivQA 25,856、InfoVQA 17,664、MP-DocVQA 10,624、SlideVQA 8,192、ChartQA 4,224。

真实 Case

[PlotQA]
Query：In the year 2010, what is the difference between the number of enrolments in primary education and number of enrolments in secondary general education ?
类型：图表读数 + 差值计算
[ChartQA]
Query：What is the ratio between very and somewhat important among Clinton supporters?
类型：图表比例计算
[MP-DocVQA]
Query：What is the Voucher No. for Teachers Insurance?
类型：文档字段抽取
[ArxivQA]
Query：In subfigure (b), which relationship does the blue dotted line indicate?
类型：论文图表/图例理解
[SlideVQA]
Query：On the slide titled 25,000 Likes 201 LRDs, looking at the top image on that slide, how many digital devices with screens are visible?
类型：PPT 页面布局 + 图片计数

本地导出抽样

以下样本直接对应 开源数据样本/VisRAG-Ret-Train-In-domain-data/：

[sample #1 | InfoVQA]
图片：01_000000000.png
Query：which are the countries with Chinese speaking population other than China according to this infographic?
[sample #2 | MP-DocVQA]
图片：02_000011159.png
Query：What is the MPA-mg for treatment group C?

同页多 Query Case

图片内容哈希抽样前 5,000 条：4,484 张不同图片，184 组页面被复用。

同一张信息图：
- How many people will be there on earth by 2100?
- How much food would require humans to survive by 2030?
- How much water would require humans to survive by 2030?
- Which element of the ecosystem gets affected "second" due to overpopulation?

结论

  • In-domain 更接近“看页面回答问题”；Synthetic 更接近“用户检索式 Query”。
  • In-domain 适合参考：字段抽取、数值计算、比例/排序、图表、图例、PPT 布局和图片计数。
  • 存在较长或强页面上下文问题，如 Based on the figure、subfigure (b)；脱离页面时语义不完整。

4. vdr-multilingual-train

  • 总页面：496,167；有 Query 的训练对：280,679；无 Query 但保留作负样本候选的页面：215,488。
  • 语言：de 58,217、en 53,512、es 58,738、fr 55,270、it 54,942 条有效 Query。
  • 字段：id、query、image、negatives、language；没有 answer。
  • image 内嵌 JPEG/PNG；部分图片没有可用的 image.path，需依赖稳定 id 和图片哈希。
  • 对应的 开源测试集分析 单独维护；它是冻结 benchmark，不得混入本节训练数据、合成来源或 hard-negative 挖掘。

真实 Case

[de]
Query：Wie kann man verschlüsselte Passwörter in LAPS über die GUI anzeigen?
类型：软件操作步骤
[en]
Query：How does the Yoast SEO Plugin help to write SEO-friendly text?
类型：工具功能说明
[es]
Query：¿Cuáles son los documentos necesarios para la solicitud de registro de uso de fertilizantes?
类型：流程/材料清单
[fr]
Query：Quelle est la différence entre un écologue et un écologiste ?
类型：术语对比
[it]
Query：Quali sono le province con il tasso di raccolta differenziata superiore al 50%?
类型：图表筛选/阈值条件

本地导出抽样

以下样本直接对应 开源数据样本/vdr-multilingual-train/：

[sample #1 | de]
图片：01_de_000000000.jpg
Query：Wie viele Haushalte hatten 2015 mehr als zwei Kinder in Österreich?
显式 hard negatives：16
[sample #2 | de]
图片：02_de_000029108.jpg
Query：Welche Dickenklassen sind im Histogramm am häufigsten vertreten?
显式 hard negatives：16

Hard Negative Case

正样本 ID：en_13_fff5...
Query：What are the new anthropological perspectives on development ...?

负样本 ID：
- en_9_fff5...
- en_1_fff5...
- en_3_9814...
  • 有 Query 的样本几乎都有 16 个显式 hard negatives；西班牙语有 6 条仅有 15 个。
  • 无 Query 的页面没有 negatives，但会被其他 Query 引用为负样本。
  • 未发现自身作为负样本或跨语言负样本。
  • 从 ID 形式观察，语言_页序号_文档哈希 相同哈希、不同页序号的页面会互相作为 hard negative，可能是同一 PDF 的其他页面。

质量与启发

  • Query 重复极少，说明语义过滤有效。
  • 仍有超长、答案式或列表式 Query；英语最长 540 字符。

5. tatdqa_train

  • 切分：train 13,251，eval 1,644；训练只能使用 train。
  • 字段：query、image、answer、answer_type、page 等；图片内嵌于 Parquet。
  • Train 答案类型：span 5,737、arithmetic 5,553、multi-span 1,656、count 305。
  • Train 有 2,207 张唯一页面；每张页面都有多个 Query，单页最多 8 个。

真实 Case

[span]
Query：What was the increase in the General and administrative in 2018?
Answer：['$8.6 million']
[multi-span]
Query：What was the General and administrative in 2018 and 2017?
Answer：['31,462', '22,895']
[arithmetic]
Query：What is the average General and administrative expense for 2017 and 2018?
Answer：27178.5
依据：(31,462 + 22,895) / 2
[count]
Query：How many quarters had operating revenues that was below $2,000 million?
Answer：3

本地导出抽样

以下样本直接对应 开源数据样本/tatdqa_train/：

[sample #2 | arithmetic]
图片：02_000001205.png
Query：What is the change in non-GAAP gross profit between 2017 and 2019, as a % of the total gross profit for 2018?
Answer：8.81

同页多 Query Case

同一财务页面同时有：
- 两年字段值抽取
- 阈值筛选
- 增长/变化抽取
- 平均值计算
- 差值计算

6. tabfquad_train_set

  • 总量：1,552 条；388 张法语表格图片。
  • 字段：query、image、image_filename、generated_by、GPT4 caption、source；没有 answer 和 hard negatives。
  • 每张图片固定 4 条 Query：1 条 Base + 3 条 GPT4；所有四条共用一条 GPT-4 Caption。
  • 图片内嵌于 Parquet；image_filename 是原始机器绝对路径，业务数据不能保留此类路径，应改用稳定 document_id/page_id。

真实 Case

[Base]
Query：Quelle est la variation du chiffre d'affaires entre les saisons estivales 2010 et 2011?
类型：指标 + 时间范围 + 变化计算
[GPT4]
Query：Quelle a été l'évolution du chiffre d'affaires entre avril-septembre 2010 et avril-septembre 2011 pour certaines entreprises ?
问题："certaines entreprises" 缺少真实实体，语义被弱化。
[Base]
Query：Si la rémunération variable est égale à la rémunération fixe, quel pourcentage de la rémunération fixe est lié aux performances qualitatives ?
类型：条件明确的表格推理/计算
[GPT4]
Query：Quels sont les critères de performance utilisés pour déterminer la rémunération variable chez Air France-KLM ?
类型：实体明确的多字段抽取

本地导出抽样

以下样本直接对应 开源数据样本/tabfquad_train_set/：

[sample #2 | GPT4]
图片：02_000000141.png
Query：Quelle a été l'évolution du nombre de membres d'équipage de pont et de cabine dans les compagnies aériennes entre 2006 et 2008 ?

质量与启发

  • Base 平均 68.7 字符，更具体、更像字段查询；GPT4 平均 110.9 字符，更自然但更容易泛化或出现因果解释。
  • 发现 2 条 Base Query 混入英文，说明需要做语言检测。
  • 存在过短、语法异常、泛化实体（如“某企业”“某时期”）的 Query。

7. shennong2_chart

  • 实际总量：172,975 张图表；无 train/test 切分。
  • 存储：chart_md_caption.tar.gz（约 10.1 GB），内含 172,975 张 PNG、一个 doc_parse_tmp.jsonl 和 173 个图片分片；不是 Parquet。
  • 每条 JSONL 有 img、modality、subtype、reading_order、elements；核心标注是 elements[0].content.markdown、html 和 caption。没有 query、answer、hard negatives 或真实 bbox。
  • 内容主要是安全、IT 运维、云服务和性能指标图表；caption 以中文为主，表格常为中英混合。

真实 Case

[环形饼图 | DDoS 攻击类型分布]
Markdown：
|攻击类型|占比|
|SYN - Flood|36%|
|ACK - Flood|18%|
|DNS - Flood|17%|
|CC|17%|
|UDP - Flood|9%|
|Others|3%|
[多序列折线图 | 季度漏洞趋势]
Markdown：
|季度|严重|高危|弱口令|
|2018年第一季度|0|0|0|
|2019年第二季度|1|3|0|
[分组柱状图 | 系统性能对比]
Markdown：
|指标|base line|agent|
|CPU|45.84%|49.70%|
|Memory|26.02%|27.68%|
|Response Time|368.44|367.93|
|TPS|1288|1283|

本地导出抽样

以下样本直接对应 开源数据样本/shennong2_chart/；Markdown 仅用于人工查看和离线校验，不是生成模型输入。

[sample #1 | 英文环形图]
图片：01_00000499.png
主题：Team responsible for managing security in public cloud
Markdown：Information Security 36%；IT Operations 28%；Cloud team within the IT Department 15%。
[sample #2 | 中文组合柱线图]
图片：02_00016499.png
主题：AI服务器出货量（千台）与 YoY
Markdown：2022=900 / 15%；2023E=1200 / 40%；2024E=1500 / 28%；2025E=1900 / 27%；2026E=2400 / 26%。

质量与启发

  • 这是图表图片 + 结构化表格 + 自动摘要的数据源，不是现成的 Query-页面训练集。
  • markdown/html 与 caption 可能出现数值或单位不一致，caption 不能视为数值真值。
  • elements[0].bbox 均为 [0, 0, 1000, 1000] 占位值，不能作为视觉 grounding 标注。
  • 后续合成时，生成器输入应仅为 PNG + 固定任务 Prompt；markdown、html 和 caption 只用于生成后的离线校验或人工抽检，不进入训练导出。

8. VDR_Military / VDR_Energy / VDR_Hydrogen / VDR_Geotechnie

这四个目录是计划并入 VDR_MEGA 的领域专用视觉文档检索训练集。形态统一：query + image (+ language)，没有 answer；当前页面图片即该 Query 的正样本 Document。

总量与切分

数据集 总量 train filtered test 主语言
VDR_Military 309,738 164,720 124,206 20,812 en 为主，fr 次之
VDR_Energy 159,752 143,312 — 16,440 en / fr
VDR_Hydrogen 67,473 38,748 28,725 — en / fr
VDR_Geotechnie 119,139 68,296 50,843 — fr 为主

字段：

  • 公共字段：id、query、image、language
  • VDR_Military / VDR_Hydrogen 的 filtered-* 额外有：extracted_page_text、page_char_count、image_hash
  • VDR_Energy / VDR_Geotechnie 当前未见带 OCR 文本的 filtered 字段

语言大盘：

  • Military：en 254,383、fr 54,419，另有少量 de/ar/ru/uk/zh 等，共 14 种语言
  • Energy：en 110,012、fr 48,476，少量 es/sk/pt/ja/it
  • Hydrogen：en 45,991、fr 21,465
  • Geotechnie：fr 107,792、en 11,325

Query 偏长：train 中位长度约 149–163，P90 约 221–229。空 Query 很少，但仍有个位数到十几条，抽样和合成前要过滤。

真实 Case

[VDR_Military | en]
Query：What is the total amount of military aid that Belgium has committed to Ukraine, and what are the key components of this aid?
[VDR_Military | filtered OCR 预览]
Query：What are the key characteristics that define a Hurricane in terms of wind speed, and where are these phenomena typically observed?
Text：NATO / UNCLASSIFIED / APP-6(C) / Table 8-1. Weather Graphics. ... Hurricane / ‘Tropical cyclones, especially in the West Indies...
[VDR_Energy | en]
Query：What are the key environmental technologies and services Veolia is currently focused on and how do they contribute to a sustainable ecology?
[VDR_Energy | fr]
Query：Je cherche des informations sur les estimations et jugements comptables utilisés pour évaluer la situation financière des projets solaires...
[VDR_Hydrogen | en]
Query：What are the core activities of McPhy Energy, especially its focus on hydrogen solutions for industry and energy markets?
[VDR_Hydrogen | en]
Query：Can you provide an interpretation of the diagram illustrating the Auto-Thermal Reformers, including the before and after scenarios, and how the CO2 is avoided for the planet?
[VDR_Geotechnie | fr]
Query：Quelles sont les caractéristiques géométriques des semelles filantes, notamment l'épaisseur et la largeur du débord, relevées lors des reconnaissances de fondations ?
[VDR_Geotechnie | fr]
Query：Le schéma des coefficients de sécurité, peut-on avoir une explication sur l'utilisation des différents paramètres tels que Γmin, Γs1, etc. ?

本地导出抽样

以下样本对应 开源数据样本/VDR_*/，各 100 条，均来自 train-*.parquet：

[VDR_Military #1]
图片：001_000000000.jpg
Query：What is the total amount of military aid that Belgium has committed to Ukraine, and what are the key components of this aid?
[VDR_Energy #2 | fr]
图片：002_000007543.jpg
Query：Je cherche des informations sur les estimations et jugements comptables utilisés pour évaluer la situation financière des projets solaires...
[VDR_Hydrogen #2]
图片：002_000002039.jpg
Query：Can you provide an interpretation of the diagram illustrating the Auto-Thermal Reformers...
[VDR_Geotechnie #2]
图片：002_000003594.jpg
Query：Le schéma des coefficients de sécurité, peut-on avoir une explication sur l'utilisation des différents paramètres tels que Γmin, Γs1, etc. ?

质量与启发

  • 这是领域检索对，不是页面 QA：没有 answer / evidence，适合直接做 VDR 正样本训练，也适合作为合成时的 style/domain 参考。
  • Query 明显比 ColPali/VisRAG 更长，常带完整实体、约束和“是否有图示”类追问；合成时可借鉴这种 specific retrieval 风格。
  • test 只在 Military / Energy 出现；训练和合成必须隔离，不能因为目录名是领域训练就混入。
  • filtered 与 train 有部分 id 重叠，但不是简单子集；Military / Hydrogen 的 filtered 带页面 OCR，可作离线校验参考，不能当作生成模型输入。
  • Geotechnie 以法语岩土工程报告为主，是中台法语专业域的重要补强。

9. pdfa-eng-wds（PDFA）

  • 角色：预训练 / 自监督视觉 token 语料（ColMate / MOLM 方向），不是现成的 Query-页面检索训练集。
  • 存储：WebDataset，pdfa-eng-train-0000.tar … 共 1800 个分片。实际文件合计 1.575 TB（十进制）/ 1.432 TiB，单分片平均约 875 MB，所以 du -sh 显示约 1.5T 是真实体量，不是统计错误。
  • README 声称：2,159,432 文档、约 18M 页、约 9.7B tokens；英文过滤子集。
  • 每个样本在 tar 中至少有 {id}.json + {id}.pdf。本地前若干分片实测只有这两类扩展名；README 示例里的 tif/ocr 键在当前落地副本中未看到。
  • json.pages[] 每页含：
  • words.text / words.bbox
  • lines
  • images_bbox
  • images_bbox_no_text_overlap
  • bbox 为相对页面的 left, top, width, height

真实 Case

[期刊首页 | 10 页文档]
Words 预览：International Journal of Innovation and Applied Studies ISSN 2028-9324 Vol. 9 No. 1 Nov. 2014...
[会议纪要 | 3 页文档]
Words 预览：Parks & Public Realm Committee Minutes of the Committee Meeting held on Thursday 4th June 2020...
[图表页 | 1 页文档]
Words 预览：45° Blue Reflective Dichroic Color Filter Coating Performance ... Wavelength (nm)

本地导出抽样

开源数据样本/pdfa-eng-wds/ 已导出 100 条：由 PDF 首页渲染成 PNG，并附首页 OCR 词级文本预览。

[sample #1 | pages=10]
图片：001_6006793_p01.png
Text：International Journal of Innovation and Applied Studies ISSN 2028-9324...
[sample #2 | pages=3]
图片：002_5592877_p01.png
Text：Parks & Public Realm Committee Minutes ... Virtual Meeting held via Zoom...

质量与启发

  • PDFA 适合做页面视觉预训练、OCR/layout 自监督，不适合直接当 VDR 有监督检索对。
  • 若要用它补 VDR 合成底库：只能取渲染页/页面图作为图片源，再由模型生成 Query；OCR/bbox 只做离线校验，不进生成 Prompt，也不进最终 query+image 训练导出。
  • 文档页数和版式差异大：有单页图表，也有十几页报告；抽样和训练时需要按页展开，而不是按 PDF 文档一条当一页。
  • 体量极大，中台接入时必须做分片索引、去重和可追溯 document_id/page_id，不能全量解压进工作目录。

10. Docmatix（HuggingFaceM4）

  • 角色：大规模 DocVQA 训练语料（Idefics3 微调用），不是检索榜 / Query-页面检索对。
  • 本地路径：data/Docmatix（约 915G）；data/（images）约 512G，pdf/ 约 403G，zero-shot-exp/ 约 614M。
  • License：MIT；语言：英文；任务标签：visual-question-answering / docvqa。
  • 三个 config：
  • images：1,273,215 条；字段 images（最多 4 张页图）+ texts（多轮 user/assistant/source）。
  • pdf：本地已校验 1,273,245 条（918 个分片）；字段 pdf（整份 PDF binary）+ 同一套 texts。
  • zero-shot-exp：train 1,700 + test 200；结构同 images，体量小，偏实验子集。
  • README 宣称量级：约 2.44M 页图、9.5M QA、390M tokens；远大于 DocVQA / InfoVQA 等经典集。
  • 本地 images 抽样扫描（约 2.8 万文档）：页图数 p50=2、mean≈1.94、max=4；约 55% 为多页（2–4）。
  • 本地 texts 扫描（约 4.6 万文档）：每文档 QA 数 p50=7、mean≈7.5、max 可达约 100；user/assistant 未见空串。
  • source 几乎全是 PDFA key: <id>，即问答合成/对齐锚在 PDFA 文档键上——和 pdfa-eng-wds 同源页面底库，但这里已经带上 DocVQA 标注。
  • Query 多为英文文档理解/字段抽取/摘要类；Answer 比 ColPali docvqa 更长（asst 长度 p50≈150），偶见极长回答（扫描中见上万字符）。

真实 Case

[公司登记 Confirmation Statement | 3 页 | 12 QA]
Source：PDFA key: 244
Q：What is the purpose of the Confirmation Statement mentioned in the document?
A：The purpose of the Confirmation Statement is to confirm that all information required...
Q：When was the filing received as per the document?
A：The filing was received for filing in Electronic Format on the 23/03/2021.
[名录/联系人列表页 | 1 页 | 14 QA]
Source：PDFA key: 1245
Q：What is the summary of the provided text?
A：The provided text is a list of Christian counselors in the Inland Empire area...
Q：What are Ron Hall's professional credentials and what churches is he associated with?
A：Ron Hall is a Licensed Marriage and Family Therapist (LMFT)...
[图书介绍页 | 1 页 | 8 QA]
Source：PDFA key: 1958
Q：What is the main topic of the "Cupcakes and Cashmere" book?
A：...a guide for defining personal style, reinventing living spaces, and entertaining with ease.
[市政申请表 | 1 页 | 9 QA]
Source：PDFA key: 2254
Q：What is the purpose of the Special Exception Request Application PDF?
A：...provide a form for an applicant to request a special exception for a property in the City of DeRidder.

本地导出抽样

开源数据样本/Docmatix/ 已导出 100 条：来自 images 配置的 data/train-*.parquet，每条只落盘首页图 + 前 3 轮 QA 预览（多页文档的其余页不落盘，以免和“100 条/100 图”人工检查约定冲突）。本批 100 条中：n_images 1/2/3/4 = 47/35/8/10，n_qa p50=7。

[sample #1 | n_images=3 | n_qa=12]
图片：001_000000_p01.png
Source：PDFA key: 244
Query：What is the purpose of the Confirmation Statement mentioned in the document?
[sample #25 | n_images=2 | n_qa=4]
图片：025_001150_p01.png
Source：PDFA key: 690001
Query：What is the product type and application of the 88968A extension?
[sample #100 | n_images=1 | n_qa=10]
图片：100_001150_p01.png
Source：PDFA key: 7901958
Query：What is the purpose of the 2021-2022 Senior High Supply List?

质量与启发

  • 这是 多图 + 多轮 DocVQA，不是 query → 单页检索；不能直接当 VDR 正样本对，需要改造成“选一页 + 一条可检索 Query”，或只把它当页面底库/问答风格参考。
  • 与 pdfa-eng-wds 同源：PDFA 提供页面，Docmatix 在同一文档键上挂了合成 QA。中台去重时要按 PDFA key 做跨库追溯，避免同一页既当预训练又当 DocVQA 又当合成底库时重复刷权重。
  • pdf config 与 images 基本平行；本地人工看图用 images，需要整份 PDF 再查 pdf。
  • zero-shot-exp/test 共 200 条，训练/合成必须隔离。
  • 极长 assistant 和“What is the summary...”类问题偏 VLM 对话，不像短答案 DocVQA；做检索合成时要过滤总结型、超长答、以及明显跨多页才能答的问题。
  • 接入中台建议：主键用 PDFA key + 页序；训练导出若借用其 Query，仍应只保留 query + image (+ IDs)，Answer 仅作离线校验。

11. 关联依赖训练资产

wiki-ss-nq + wiki-ss-corpus

  • 角色：T2T / DSE 维基截图检索（NQ Query → Wikipedia 页面截图）。
  • wiki-ss-nq：约 5.9G；train 44,002 / test 3,610；字段 query_id/query/positive_passages/negative_passages/answers。
  • wiki-ss-corpus：约 365G；1,267,874 唯一 docid；809/809 分片齐全；字段 image/docid/text/title；截图 980×980 RGB。
  • Train：无空正例；正例数 p50=4、mean≈7.7、max=49；负例与正例合计固定为 50；答案全非空；Query 长度 p50=45。
  • Test：3,610 条正/负例全空，是开放域评测设定，必须对完整 corpus 检索，不能当训练正对。
  • Join：positive_passages[].docid ↔ corpus docid。抽查约 4.6 万正例引用全部命中；corpus 抽样分片无空 title/text。
  • 本地已向 开源数据样本/wiki-ss-nq/ 导出 100 条 train 复核样本（首正例截图）。
[train #0] who needs to know about the jet stream
Answers：air traffic control / Meteorologists / airlines
pos docid 16472 | Jet stream

[train #100] who played cousin penny in that 70s show
Answers：Brittany Ann Daniel
pos docid 1562991 | Brittany Daniel

docmatix-ir

  • 角色：从 Docmatix 过滤并经 DSE hard-negative 挖掘得到的开放域文档视觉检索训练对。
  • 本地约 6.2G；train.jsonl 5,612,890 行；抽样 55,563 行均为 1 正例 + 20 hard negatives。
  • docid/query_id={example_idx}_{image_idx}；passage 的 title/text 为空，图片必须 join Docmatix images 全局行号。
  • 正例页序以第 0 页为主（约 70%），也覆盖 1–3 页；Query 长度 p50≈82；summary 类残留约 0.8%。
  • Join 已核验：example_idx 对应 Docmatix images 全局行；IR Query 可在该行 texts.user 中命中。
  • 与 Docmatix / PDFA 同源，去重按 PDFA key + 页序；本地已向 开源数据样本/docmatix-ir/ 导出 100 条。
[0] qid=0_0 pos=0_1
Q：What is the purpose of the Confirmation Statement mentioned in the document?

[1000] qid=7056_0 pos=7056_0
Q：On what date was the Cleansing Notice issued by DGO Gold Limited?

12. 统一结论

  1. VDR_* 四套是可直接并入 VDR_MEGA 的领域检索训练资产；优先使用 train，隔离 test，把 filtered OCR 仅作校验侧资源。
  2. pdfa-eng-wds 是预训练底库；Docmatix 是 DocVQA 参考语料；二者与监督检索分轨，并按 PDFA key 追溯。
  3. wiki-ss-nq + wiki-ss-corpus 构成完整 T2T 维基截图检索资产；只用 train 正对，test 走开放域 corpus。
  4. docmatix-ir 是当前最大规模检索监督对，但完全依赖 Docmatix 图片 join，不能脱离 Docmatix 单独使用。
  5. 计划内训练侧开源资产已全部落盘并完成 Case/抽样；本地 开源数据样本/ 现覆盖全部训练侧来源各 100 条（评测复核另计）。更新命令：
python scripts/数据抽样/抽取开源训练样本.py \
  --samples-per-dataset 100 \
  --only wiki-ss-nq docmatix-ir
由本地 docs/开源数据集分析.md 自动构建 · 本地 Markdown 是内容源