ollama迁移已下载的单个模型到服务器
ollama迁移已下载的单个模型到服务器
场景
ollama是面向用户级的，部署和运行都很简单，是否高效就另说了。但最起码，他能充分利用用户的硬件设备，在GPU不足也能调用cpu和内存去加持。
ollama运行的模型基本是量化版本的，一般是Q4_K_M，也就是说正常部署一个14b模型是需要40G左右的显存，经过这么一量化，只需要10G显存就差不多了，虽然效果欠缺了很多哈。
模型文件很大，而且要链接ollama的服务器，基本事业单位都不行。那如何把电脑下载的模型拷贝运行就很重要了，这个教程就是解决这个问题。
方案
- 联网的电脑傻瓜式安装ollama
- 拉取镜像，执行下面命令：
ollama pull qwen2.5:14b - 下载完成后，执行下面命令，导出配置文件manifest：
ollama show --modelfile qwen2.5:14b > ./Modelfile - 配置文件Modelfile生成在当前目录下, 用文本打开如下：
- 按指向的位置，拷贝模型文件。
- 把模型文件和配置文件一起拷贝到目标服务器。
- 在目标服务器修改配置文件的模型文件路径（填写实际路径，看上面步骤截图标红框部分）。
- 在目标机器执行以下命令进行模型文件载入。
ollama create mymodelname -f ./Modelfile - 到这里就迁移成功了，可以ollama list查一下了。
结语
其他博客一堆直接找blobs和manifests文件夹拷贝的方法很不靠谱，会出现各种异常，尤其是windows\linux字符问题。而我们这种方式基本等于手动加载模型，还能命名模型。