通过LlaMA-Factory导出的模型部署到Ollama
LlaMA-Factory导出的模型转换格式
仓库地址：https://github.com/ggerganov/llama.cpp
git clone仓库之后，下载相关依赖：
cd /opt/gl/llama.cpp-master/llama.cpp-master
pip install -r requirements.txt
转换大模型格式
转换为gguf格式
python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0
创建ModelFile文件
FROM D:\ollama\models\lin_model\lin_model.gguf
添加自定义模型
ollama create lin_model -f D:\ollama\models\lin_model\ModelFile
查看本地模型
运行本地大模型
ollama run lin_model:latest