datasets 笔记:加载数据集（基本操作）

参考了huggingface的教程

1  了解数据集基本信息（ load_dataset_builder）

• 在下载数据集之前，通常先快速了解数据集的基本信息会很有帮助。
• 数据集的信息存储在 DatasetInfo 中，可能包括数据集描述、特征和数据集大小等信息。（不同的数据集提供的信息可能也不相同）
• 使用 load_dataset_builder() 函数加载数据集生成器，并在不下载数据集的情况下检查数据集的属性

from datasets import load_dataset_builder
ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

ds_builder.info.description
#''

from datasets import load_dataset_builder
ds_builder = load_dataset_builder("rotten_tomatoes")

ds_builder.info.description
#''

from datasets import load_dataset_builder
ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

ds_builder.info.features
'''
{'text': Value(dtype='string', id=None),
 'label': ClassLabel(names=['neg', 'pos'], id=None)}
'''

至于这个数据集的名字怎么来的，我的理解是，复制完整路径即可

2 加载数据集

2.1  加载所有

此时Datasets 将返回一个 DatasetDict 对象

from datasets import load_dataset

dataset = load_dataset("rotten_tomatoes")
dataset
'''
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})
'''

2.2 加载特定划分

2.2.1 数据集划分

• 数据集的划分是特定的子集，比如训练集（train）和测试集（test）
• 可以使用 get_dataset_split_names() 函数查看数据集的划分名称

from datasets import get_dataset_split_names

get_dataset_split_names("rotten_tomatoes")
#['train', 'validation', 'test']

2.2.2 读取单个

from datasets import load_dataset

dataset = load_dataset("rotten_tomatoes", split="train")
dataset
'''
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})
'''

2.3 读取配置

• 某些数据集包含多个子数据集。例如，MInDS-14 数据集包含多种语言的音频数据，这些子数据集被称为配置或子集。
• 加载这些数据集时，必须显式选择其中一个配置。
• 如果没有提供配置名称，Datasets 会抛出 ValueError

2.3.1 获取数据集的所有可用配置

from datasets import get_dataset_config_names

configs = get_dataset_config_names("PolyAI/minds14")
print(configs)
'''
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']
'''

2.3.2 加载需要的配置

from datasets import load_dataset

mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")

【这一步官网是这么说的，但是我自己是报错的】

2.4 主要参数