Docmatix：突破性的文档视觉问答数据集
1. 数据集概述
1.1 规模与创新
- 数据规模：
- 240万张图像
- 950万个问答对
- 来自130万份PDF文档
- 较现有数据集扩大240倍
- 应用领域：文档视觉问答(DocVQA)
- 可访问性：通过HuggingFace平台开放获取
2. 技术实现流程
2.1 数据获取与预处理
- OCR处理：
- 使用PDFA OCR数据集
- 基础数据包含210万份PDF文档
- 进行文本转录处理
- 图像转换：
- PDF文档转图像
- 统一分辨率：150 dpi
- 每个PDF文档对应一行数据
2.2 问答对生成
- 核心模型：采用Phi-3-small模型
- 生成策略：
- 基于文档转录内容生成问答
- 平均每页生成4对问答
- 强调问题多样性
- 质量控制：
- 剔除15%被识别为幻觉的问答对
- 确保答案的人性化特质
- 最小化问题重复率
3. 优化与改进
3.1 提示工程优化
- 目标导向：
- 引导模型基于文档具体信息提问
- 确保问题的独特性
- 减少问题重复现象
- 质量保证：
- 优化问答生成的提示模板
- 保持答案的自然流畅性
- 维持问题的多样化特征
4. 性能评估与实验
4.1 实验设置
- 评估模型：Florence-2模型
- 对比实验方案：
- 基准组：仅使用DocVQA数据集训练
- 实验组：Docmatix预训练(20%图像+4%问答对) + DocVQA微调
4.2 实验结果
- 性能提升：
- 模型对比：
- 0.7B参数Florence-2模型
- 8B参数Idefics2模型
- 性能差距仅5%，但模型体积显著减小
5. 重要意义
- 规模突破：建立了目前最大规模的DocVQA数据集
- 效率提升：即使使用较小比例的数据也能获得显著性能提升
- 模型优化：证明了小型模型在适当训练后可以接近大型模型的性能
