NLP-语料库的相关知识整理
语料库（Corpus）
语料库相关知识
- 语料库（Corpus）
- 什么是语料库？
- 语料库的分类
- 1. 按语料来源
- 1.1 专业语料库
- 1.2 通用语料库
- 1.3 口语语料库
- 2. 按语料形式
- 2.1 单语语料库
- 2.2 双语语料库
- 2.3 多语语料库
- 2.4 并行语料库
- 2.5 标注语料库
- 语料库的用途
什么是语料库？
语料库（Corpus）是自然语言处理（NLP）领域中用于存储和处理语言数据的结构化文本集合。它是研究语言现象和训练机器学习模型的重要基础资源。语料库通常包含丰富的语言信息，可以用于语言建模、机器翻译、语义分析等多种任务。
语料库的分类
1. 按语料来源
1.1 专业语料库
- 定义：针对特定领域（如医学、法律、金融）收集的文本。
- 用途：支持特定领域的研究和应用，例如医学信息抽取、法律文件分析。
- 示例：PubMed语料库（医学领域）。
1.2 通用语料库
- 定义：包含广泛主题的文本，覆盖多种语言现象。
- 用途：构建通用的语言模型或完成多任务学习。
- 示例：Wikipedia语料库、新闻数据集。
1.3 口语语料库
- 定义：收集的口语对话或语音转录文本。
- 用途：语音识别、语音转文本任务。
- 示例：Switchboard语料库。
2. 按语料形式
2.1 单语语料库
- 定义：包含单一语言的文本数据。
- 用途：适用于单语言模型的训练和分析。
- 示例：中文维基语料、英文书籍数据集。
2.2 双语语料库
- 定义：包含两种语言的文本及其翻译对齐。
- 用途：用于机器翻译模型的训练。
- 示例：Europarl（欧洲议会语料库）。
2.3 多语语料库
- 定义：包含多种语言文本，可能具备翻译对齐信息。
- 用途：多语言研究和翻译任务。
- 示例：联合国语料库。
2.4 并行语料库
- 定义：同一文本在不同语言中的对齐版本。
- 用途：支持机器翻译任务。
- 示例：TED Talks Parallel Corpus。
2.5 标注语料库
- 定义：附加了语法、语义或其他语言信息的语料。
- 用途：为监督学习模型提供训练数据。
- 示例：
- 词性标注：
[北京/ns 是/v 中国/ns 首都/n] - 命名实体识别：
[苹果/ORG 在/SYD]
- 词性标注：
语料库的用途
- 语言模型训练：用于BERT、GPT等语言模型的预训练。
- 机器翻译：并行语料库是翻译模型的基础。
- 信息抽取：从文本中提取结构化信息。
- 语法分析：标注语料用于句法结构训练。
- 情感分析：基于情感标注的语料库构建分类器。