Huggingface load_dataset加载本地数据集
很简单
因我本地服务器可以翻墙,但远程服务器不能翻墙,然而内网的代码有需要执行load_dataset()从huggingface上拉数据。
因此,想着吧 HF上数据库下载传到内网上,然后再load——dataset()都本地内容。
根据官网(https://hugging-face.cn/docs/datasets/loading)的描述很简单
本地和远程文件
数据集可以从存储在您计算机上的本地文件和远程文件加载。数据集最有可能存储为 csv、json、txt 或 parquet 文件。 load_dataset() 函数可以加载每种文件类型。
CSV
🤗 Datasets 可以读取由一个或多个 CSV 文件组成的数据集(在这种情况下,将您的 CSV 文件作为列表传递)
比如 CSV:
from datasets import load_dataset
dataset = load_dataset("csv", data_files="my_file.csv")