从数据提取到管理：TextIn平台的全面解析与产品体验
一、引言
在现代信息时代，文档解析和管理已经成为企业和开发者不可或缺的工具。TextIn是合合信息旗下的一款智能文档处理平台，为开发者和企业提供高效、精准的文档解析工具，帮助用户轻松应对各种复杂的文档处理需求。本文将深入探讨TextIn的主要功能、产品亮点及其广泛的应用场景，带领大家全面体验这款文档处理“百宝箱”。
二、TextIn智能文档处理概述
TextIn平台覆盖文档解析的多个环节，支持批量处理多种文档类型，并适配多语言环境。其核心工具包括：
| 核心工具 | 描述 |
|---|---|
| TextIn ParseX | 提供复杂文档的可视化解析能力，适合多种格式的文档展示和编辑。 |
| acge-embedding 向量化模型 | 提升长文本信息抽取的精度，适合大规模信息检索和内容审核。 |
| markdown_tester 文档解析测评工具 | 帮助开发者定量评估解析效果，降低工具选择和调试成本。 |
三、可视化文档解析前端TextIn ParseX
TextIn ParseX是TextIn推出的一款通用文档解析工具，支持多种文档格式的高效解析和可视化展示。它不仅可以将PDF、JPG等格式的文档转换为Markdown格式，还可以解析表格、公式等复杂文档元素，确保阅读顺序的准确性，支持多语言识别，并且提供缩放、旋转、编辑等丰富的交互功能。
TextIn ParseX的技术特点包括：
- 高效的解析速度：100页文档可在2秒内完成解析，适合需要快速处理大量文档的企业需求。
- 精确的元素识别：支持表格、公式、图片等文档元素的精确识别与还原，特别适用于年报、业务报告等复杂文档的处理。
- 灵活的可视化功能：用户可以通过目录树、预览图像、标注跳转等方式便捷地查看和编辑解析结果。
在线使用：【免费使用入口】
以下面的票据识别为例子，发票内容被准确识别，而且内容没有错误。
也可以使用通用文档解析，在获取结果后一键输出。
输出为markdown的结果如图：
同时，我们可以通过结合coze，调用textIn的api，使用coze完成图片信息提取，做成问答式的AI文本小助手，实际测试下来，流程比较简单，识别准确率也很高。
四、向量化acge-embedding模型
acge是一个通用的文本编码模型，是一个可变长度的向量化模型，使用了Matryoshka Representation Learning，专为提升长文档检索的精度和速度而设计。它通过将文本数据转换为数值向量，为搜索、聚类、推荐等任务提供坚实基础。acge-embedding模型通过高效的俄罗斯套娃表征学习（MRL）框架，支持多任务混合训练，帮助企业灵活地配置性能和资源，以应对不同应用场景的需求。
acge-embedding模型开源地址：https://huggingface.co/aspire/acge_text_embedding
技术架构上，acge_text_embedding采用了俄罗斯套娃表示学习（Matryoshka Representation Learning，MRL）编码不同粒度的信息，并让一个编码能够适应不同计算资源的下游任务。原理如下面GIF图所示：
acge-embedding的核心亮点：
- 高精度和高效率：凭借创新的MRL框架，acge模型在文本分类和情感分析等任务中表现优异，支持灵活的嵌入维度，适应多种业务需求。
- 支持多任务混合训练：模型通过对比学习技术，实现了数据的多场景混合训练，提升了泛化能力和检索效率。
五、文档解析测评工具markdown_tester
文档解析工具种类繁多，但缺乏统一的评估标准。TextIn开发的markdown_tester提供了定量评估机制，帮助用户客观地测评各类文档解析工具的性能。用户可以通过上传样本，查看段落、标题、表格等元素的识别效果，并通过直观的雷达图展示对比结果。
文档解析测评工具markdown _ tester开源地址：https://github.com/intsig-textin/markdown_tester
该测评脚本用于评价markdown文档相似性，从段落、标题、表格和公式四个维度进行评价：
| 指标 | 说明 |
|---|---|
| 段落识别率 | 段落匹配的个数（段落编辑距离小于0.2） / 预测出的总段落数 |
| 段落召回率 | 段落匹配的个数（段落编辑距离小于0.2）/ 总的段落数 |
| 段落f1 | 2 * (段落识别率 * 段落召回率) / (段落识别率 + 段落召回率) |
| 标题识别率 | 标题匹配的个数（标题编辑距离小于0.2） / 预测出的总标题数 |
| 标题召回率 | 标题匹配的个数（标题编辑距离小于0.2）/ 总的标题数 |
| 标题f1 | 2 * (标题识别率 * 标题召回率) / (标题识别率 + 标题召回率) |
| 标题树状编辑距离 | 所有标题树编辑距离分数之和（pred，包含文字）/ 总标题数量（gt） |
| 表格文本全对率 | 文本全对的表格个数（pred）/ 总表格个数（gt） |
| 表格树状编辑距离 | 所有表格树编辑距离分数之和（pred，包含文字）/ 总表格数量（gt） |
| 表格结构树状编辑距离 | 所有表格树编辑距离分数之和（pred，不包含文字）/ 总表格数量（gt） |
| 公式识别率 | 公式匹配的个数（公式编辑距离小于0.2） / 预测出的总公式数 |
| 公式召回率 | 公式匹配的个数（公式编辑距离小于0.2）/ 总的公式数 |
| 公式f1 | 2 * ( 公式识别率 * 公式召回率) / (公式识别率 + 公式召回率) |
| 阅读顺序指标 | 计算预测值和真值中，所有匹配段落的编辑距离 |
使用方法
运行install.sh，安装软件包：
./install.sh
待测评样本按照下述方式放置：
dataset/
├── pred/
│ ├── gpt-4o/
│ ├── vendor_A/
│ ├── vendor_B/
│ ├── ...
├── gt/
运行命令：
python run_test.py --pred_path path_to_pred_md --gt_path path_to_gt_md
其中：
path_to_pred_md：预测值文件所在文件夹。
path_to_gt_md：真值文件所在文件夹。
运行效果
结果表格：
结果雷达图：
markdown_tester工具的优势：
- 全面性：涵盖了文档解析的多个重要维度，提供细致的评测指标。
- 可视化结果：通过雷达图等形式直观展示各工具的解析效果，帮助用户快速筛选最合适的文档处理工具。
六、TextIn文档解析应用场景
TextIn平台的应用场景非常广泛，涵盖了从知识库构建到大规模语料处理等多个领域，助力企业实现更高效的信息管理和业务支持。
| 应用场景 | 描述 |
|---|---|
| 知识库构建 | 通过ParseX和acge模型配合，TextIn帮助开发者快速将企业内部文档自动解析，提升知识库构建的效率和准确性。 |
| 智能文档抽取 | 支持合同、招投标文件等结构化信息抽取需求，TextIn提供精准的数据解析与复用，适用于企业合同管理、财务报销等场景。 |
| 大模型预训练语料处理 | TextIn能够批量、高效解析多种版式文档，支持大模型语料的精准提取，提升预训练数据的质量。 |
| 多语言文档翻译 | TextIn支持多语言文档解析与翻译，帮助企业轻松实现跨语言业务扩展，同时保持原有文档格式。 |
七、总结
TextIn平台凭借其强大的文档解析和管理能力，为开发者和企业带来了显著的效率提升。TextIn ParseX、acge-embedding模型和markdown_tester工具的组合，构成了一个功能全面、灵活高效的文档处理“百宝箱”。TextIn在处理多种文档格式、语言环境、以及知识库建设和文档翻译等方面为用户提供了高效、便捷的解决方案。通过TextIn，企业能够轻松实现复杂文档解析和大规模信息管理，进而在业务支持和信息管理方面获得显著提升。
最后，小智诚挚地邀请大家一起体验TextIn产品为我们带来的便利之处！点击【免费体验】，即可在线使用，感受TextIn为我们带来的文档解析新体验！