Ollama使用感想
最近想尝试一下训练一个大模型，去找了一些资料，似乎很多都是用Ollama，自己这两天就试了一下，虽然没有我预想的那么难，但是也没有很简单。
首先就是安装Ollama了，这个网站的下载速度很慢，就700M的东西下了十几分钟才下好，但是Ollama是没有图形化界面的，需要再下载一个Open WebUI，这个Open webui需要在docker中运行，所以如果需要使用图形化界面的话需要先安装docker，然后就可以开始使用了。
在Ollama上有很多开源的模型，选择一个下载就可以了，与我们平常所使用的ai模型不同，ollama是运行在本地上的，不需要网络也能使用，但是如果设备的配置不行的话，可能会对使用产生一些影响。
再之后就是最重要的模型微调了，我所使用的是Unsloth，这是一个非常强大的模型微调工具，对于我这样的纯新手来说十分友好，代码都已经写好了，只需要做一些简单的修改就可以了，只需要把自己需要的数据添加到代码中，之后就可以开始进行训练了，在使用时需要用到Goole colab，谷歌提供免费的服务器，16GB的显存，但是是有限制的，用量有限制，如果只是想测试一下，直接使用谷歌提供的免费服务器就可以了，当然如果自己的硬件设备足够好，也可以在本地进行训练，我的电脑是办公本，配置比较低，我就直接使用了谷歌的服务器，训练完之后需要导出，这里就需要用到另一个东西了，hugging face，这是一个类似于github的托管网站，我们首先去hugging face中获取token，然后加到对应训练的代码中就可以了，训练时间大概在半个小时左右，因为我只是想测试一下，只加了一个比较简单的数据集，但后续继续训练时发现colab被禁止使用了，看来是被限额了。
这次模型训练给我自己的感觉就是，如果不去买一个服务器的话，个人似乎是很难训练出一个符合自己要求的模型的，当然这是因为我的电脑硬件不行，如果我的电脑配置高的话我应该会选择在本地进行训练，害，没钱搞什么大模型，看看以后能不能从老师那里借到服务器吧。虽然这次效果不好，但是其实我觉得这ai大模型挺有意思的，后续考上研究生了有机会再深入学习吧。