Docmatix-IR
1 个正例 + 20 个 hard negatives；依赖 Docmatix 图片关联。
文档 · 图像 · 音视频统一检索底座。当前主线是 v0.5：bidir+双负三 seed 融合 Avg4@10=0.749；既有结果使用未去重 H1/H2，下一步先清理语义假负例。
1 个正例 + 20 个 hard negatives；依赖 Docmatix 图片关联。
约 216 万 PDF、1,800 万页；作为页面预训练底库。
44,002 个训练 Query，连接 126 万张维基页面截图。
中文图表 + Markdown / HTML 真值，用于离线证据校验。
| 角色 | 资产 | 规模 | 覆盖 |
|---|---|---|---|
| TRAIN | ColPali | 118K | DocVQA / 图表 / 论文 |
| TRAIN | VisRAG Synthetic | 239K | 手册 / 教材 / 论文 |
| TRAIN | VisRAG In-domain | 123K | 图表 / 信息图 / 幻灯片 |
| TRAIN | VDR Multilingual | 281K | de / en / es / fr / it |
| TRAIN | TAT-DQA + TabFQuAD | 14.8K | 财务 / 法语表格 |
| PRETRAIN | PDFA | 18M 页 | 英文 PDF |
| CORPUS | Wiki-SS | 1.27M 页 | 维基截图 |
| SYNTH | Shennong Chart | 173K 图 | 中文图表 |
| EVAL | ViDoRe v1 / v2 / v3 | 多版本 | 多领域 / 多语言 |
| EVAL | JinaVDR | 42 子集 | 截图 / 扫描 / 图表 / 多语 |
| EVAL | MIRACL-VISION | 18 语言 | 多语言检索 |
| EVAL | MMLongBench / ViDoSeek | PDF 级 | 长文档 / 多跳 |
三 seed 与融合模型均已完成，Avg4@10=0.749、V3@10=0.610；结果仍使用未去重H1/H2。
像素去重已完成；根据 P0/P1 暴露的风险从 queries_dedup 重新分层抽样，冻结 answerability 边界后再清理全量。
首个 seed 已完成 138/138；seed890 正在训练，之后继续 seed987 与全参融合。首个结果较 LoRA 最佳低 0.113，暂不作为最终结论。
页级 token 多向量 + MaxSim late interaction，比单向量更贴合版式与局部证据。
相对 causal masking，文档页编码可看全上下文；v0.5 上 bidir 的 Avg4 略优。
复用已有8B MaxSim；H1b 0.735，叠加 bidir 与三 seed 融合后达到 0.749。
| 模型 | 数据 | V1@5 | V2@5 | V3@10 | Jina@10 |
|---|---|---|---|---|---|
| v0_5_causal | ~776K | 0.907 | 0.578 | 0.555 | 0.768 |
| v0_5_bidir | ~776K | 0.911 | 0.586 | 0.579 | 0.745 |
| v0_5_seed_merged | ~776K · 3-seed | 0.910 | 0.594 | 0.586 | 0.784 |
| v0_5_hn1_s42 | H1a 单负 | 0.910 | 0.586 | 0.576 | 0.798 |
| v0_5_hn2_s42 | H1b 双负 | 0.911 | 0.607 | 0.582 | 0.813 |
| v0_5_bidir_seed_merged | bidir · 3 seed 融合 | 0.917 | 0.596 | 0.592 | 0.793 |
| v0_5_bidir_hn2_4n32_sm_s42 | bidir + 双负 · seed42 | 0.914 | 0.618 | 0.592 | 0.817 |
| v0_5_bidir_hn2_4n32_seed_merged | bidir + 双负 · 三 seed 融合 | 0.916 | 0.623 | 0.610 | 0.815 |
| v0_5_bidir_hn2_4n32_fullft_s789 | 全参 · 4×8 · seed789 · 首个结果 | 0.871 | 0.478 | 0.448 | 0.699 |
| Nemotron 3B-v2 | 本地 2×8 卡 | 0.919 | 0.629 | 0.598 | — |
| Nemotron 4B-v2 | 本地 2×8 卡 | 0.922 | 0.647 | 0.615 | — |
| Nemotron 8B-v2 | 本地 2×8 卡 | 0.926 | 0.647 | 0.638 | — |