当前位置： 首页 > article >正文

megatron训练gpt

article 2025/1/22 9:24:26

一 安装docker环境

NVIDIA/Megatron-LM: Ongoing research training transformer models at scale (github.com)

1.1 拉镜像 

docker pull nvcr.io/nvidia/pytorch:24.08-py3

 1.2 下载megatron

git clone https://github.com/NVIDIA/Megatron-LM.git

切换为tag 为core 6的版本

执行命令：

git checkout tag

 1.3 复制数据集

数据集格式为：


http://www.kler.cn/a/350376.html

相关文章：

  • HarmonyOS NEXT：华为分享-碰一碰开发分享
  • Linux探秘坊-------3.开发工具详解（2）
  • leetcode 面试经典 150 题：合并区间
  • SSE 实践：用 Vue 和 Spring Boot 实现实时数据传输
  • 2024年度总结：从后端Java到全栈成长的蜕变
  • 【k8s面试题2025】1、练气期
  • Python画笔案例-085 绘制 3D效果文字
  • leetcode54:螺旋矩阵
  • 婴儿游泳馆会员管理软件试用版下载 佳易王儿童游泳会员次卡管理系统操作教程
  • GaussDB主备版 8 工具学习
  • SQL Server 基础查询语句
  • 【Linux】C文件头文件数裁剪前58644个，裁剪后9373个
  • jarvis OJ web浅析
  • 微信小程序路由跳转的区别及其常见的使用场景
  • springboot-网站开发-linux服务器部署jar格式图片存档路径问题
  • 堆排序（C++实现）
  • MySQL 之LRU 缓存管理算法
  • ESP32-S3芯片AI开发应用，图像识别与语音唤醒方案，启明云端乐鑫代理商
  • 24/10/12 算法笔记 NiN
  • Linux10-9
  • Git 深度解析 —— 从基础到进阶
  • [哈工大]战德臣 数据库系统 第3讲 关系模型之基本概念
  • 【时时三省】(C语言基础)函数介绍strcat
  • p20 docker自己commit一个镜像 p21 容器数据卷 p22mysql同步数据(国内镜像被封锁暂时往后放)p23具名挂载和匿名挂载
  • 代码随想录算法训练营第五十五天| 图论入门
  • C#源码安装ZedGraph曲线显示组件