书生大模型实战营5
文章目录
- L1——基础岛
- 书生大模型全链路开源开放体系
- 概览
- 书生大模型全链路的数据
- 书生大模型全链路的开源数据处理工具箱
- 预训练 InterEvo
- 微调 XTuner
- OpenCompass 评测体系
- 部署 LMDeploy
- 智能体 Lagent
- 智能体 MindSearch
- HuixiangDou
L1——基础岛
书生大模型全链路开源开放体系
概览
书生大模型全链路的数据
书生大模型全链路的开源数据处理工具箱
预训练 InterEvo
相较于其它预训练框架,主要进行了显存优化,包括分布式训练及分布式训练之间通讯方面的优化,降低了对硬件的要求。
微调 XTuner
自定义数据集只需要支持xtuner统一格式即可。默认开启 Flash Attention 优化加速模式。
OpenCompass 评测体系
评测体系得到了广泛应用,获得meta官方唯一推荐国内开源评测体系。
致力于构建科学、领先、公平的大模型评测体系。
部署 LMDeploy
支持丰富的接口
智能体 Lagent
可支持零样本泛化。
智能体 MindSearch
将大模型的思维可视化。
HuixiangDou