当前位置: 首页 > article >正文

Huggingface load_dataset加载本地数据集

很简单

因我本地服务器可以翻墙,但远程服务器不能翻墙,然而内网的代码有需要执行load_dataset()从huggingface上拉数据。

因此,想着吧 HF上数据库下载传到内网上,然后再load——dataset()都本地内容。

根据官网(https://hugging-face.cn/docs/datasets/loading)的描述很简单

本地和远程文件

数据集可以从存储在您计算机上的本地文件和远程文件加载。数据集最有可能存储为 csv、json、txt 或 parquet 文件。 load_dataset() 函数可以加载每种文件类型。

CSV
🤗 Datasets 可以读取由一个或多个 CSV 文件组成的数据集(在这种情况下,将您的 CSV 文件作为列表传递)

比如 CSV:

from datasets import load_dataset
dataset = load_dataset("csv", data_files="my_file.csv")

在这里插入图片描述


http://www.kler.cn/a/402449.html

相关文章:

  • 用js实现点击抽奖
  • Matlab 深度学习工具箱 案例学习与测试————求二阶微分方程
  • 微信小程序下拉刷新与上拉触底的全面教程
  • 10大排序总结
  • go-web项目通用脚手架
  • 今天你学C++了吗?——C++中的类与对象(第二集)
  • 01 P1048 [NOIP2005 普及组] 采药
  • 02 P1734 最大约数和
  • 梧桐数据库加密算法支持与实践应用
  • 印刷物料学习Ⅰ~
  • 【Vue3组件通信方法】
  • elment-ui的折叠tree表单实现纯前端搜索,展开收起功能
  • 【C++习题】5.验证一个字符串是否是回文
  • 详解模版类pair
  • go channel中的 close注意事项 range取数据
  • MySQL数据库4——数据库设计
  • 基于YOLOv8深度学习的医学影像阿尔兹海默症检测诊断系统研究与实现(PyQt5界面+数据集+训练代码)
  • 【设计模式】行为型模式(四):备忘录模式、中介者模式
  • javaweb学习——Day2
  • 原生鸿蒙中实现RN热加载的详细步骤
  • gin源码阅读(2)请求体中的JSON参数是如何解析的?
  • 科技赋能-JAVA发票查验接口、智能、高效的代名词
  • 【springboot】配置文件加载顺序
  • 「四」体验HarmonyOS端云一体化开发模板——工程目录结构与云侧工程一键部署AGC云端
  • 【D01】网络安全概论
  • mySql修改时区完整教程