如何将使用unsloth微调的模型部署到ollama？
目录
一、将模型保存为gguf格式
二、下载llama.cpp
三、生成 llama-quantize 可执行文件
四、使用llama-quantize
五、训练模型
六、将模型部署到ollama
一、将模型保存为gguf格式
在你的训练代码 trainer.train() 之后添加：
model.save_pretrained_gguf("model", tokenizer,)二、下载llama.cpp
网址：GitHub - ggerganov/llama.cpp: LLM inference in C/C++
git clone GitHub - ggerganov/llama.cpp: LLM inference in C/C++ 或者 下载.zip解压。注意llama.cpp需要与训练代码同目录。
三、生成 llama-quantize 可执行文件
①打开 PowerShell 或命令提示符
②切换到 llama.cpp 文件夹
cd llama.cpp③创建构建目录并配置
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
④执行构建
cmake --build . --config Release
⑤生成的可执行文件应位于
...llama.cpp\build\bin\Release四、使用llama-quantize
在 llama.cpp 下创建 llama-quantize 文件夹并将 Release 粘贴进 llama-quantize 文件夹。
五、训练模型
进入 train.py 所在路径 python train.py。
六、将模型部署到ollama
①启动ollama
ollama serve
②进入训练后生成的 model 目录
③部署模型到ollama
ollama create your-model-name -f Modelfile
④测试模型
