smell---Paddle-DI
跨模态文档智能大模型–Ernie-Layout
目标：提取文档中无结构或半结构化的知识
github项目地址
Paddle NLP
ERNIE-Layout基于Transformer Encode架构，并提出以下trick：
1、OCR工具提取信息
借助OCR工具提取图片中的文字及文字对应的坐标信息(bounding box)。例如：paddleOCR等.
2、复杂布局position_ids
ERNIE-Layout借鉴了 DeBERTa 的解耦注意力，依靠Layout-Parser来设计 position_ids。LayoutParser是借助于目标检测模型来提取重要的内容patch，从而避免了两列内容按行扫描的混乱结果。
参考文献
Layout-Parser：
论文
代码
文档智能之ERNIE-Layout 1
文档智能之ERNIE-Layout 2
写在RAGFlow开源2万星标之际
通用信息抽取 UIE
Paddle
参考1:
Paddlenlp与Paddlepaddle
参考2:
ERNIE预训练模型下载
参考3:
PaddleNLP 安装和配置指南
参考4:
paddlenlp教程文档