241130_MindNLP学习记录
241130_MindNLP学习记录
首先我们需要搞清楚MindNLP是什么
MindNLP是一个自然语言处理的开源库，包含了很多自然语言处理的常用方法以及很多模型
首先datasets方面，使用pytorch加载数据时是数据集全量加载到内存里，全部进行遍历并预处理，然后才进行打包batch，然后循环返回batch。
而MindNLP这边，他是每次按需取，我这个batch只需要batch size条数据，我就只拿batch size 条数据，然后进行遍历预处理，再返回batch。
在MindNLP上可以直接使用huggingface的模型以及pytorch的模型。
pytorch的模型文件（.bin，.pth，.safetensor）都是可以直接载入的，不需要做convert模型转换。
MindNLP可以支持国内多个镜像站的模型下载
MindSpore在昇腾卡上实际训练的精度会比pytorch在GPU上训练得到的精度高0.1%到1.0%，可以借此做一些微调之类的工作，比较好出成果。
通过一系列的优化手段，在910A上跑Llama 7b的模型，推理一个token的时间可以从330ms缩短到65ms。
分布式推理可以通过设置device_map来自动分配到每张卡上来推理。
推出Megatron的MindSpore版本。