当前位置：首页 > article >正文

10、ollama启动LLama_Factory微调大模型（llama.cpp）

article 2024/9/21 3:36:50

在前面章节中介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。

1、llama.cpp

LLama_Factory训练好的模型，ollama不能直接使用，需要转换一下格式，我们按照ollama官网的提示使用llama.cpp来进行实现。
在这里插入图片描述

1.1 安装llama.cpp

下载 llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git


cd llama.cpp


# 安裝 Python 相依套件
pip install -r requirements.txt

在这里插入图片描述

1.2 格式转换

python convert_hf_to_gguf.py  /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all \
> --outfile /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf

/root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all ：微调后合并的模型文件路径
/root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf ：转换后的文件路径和名称

在这里插入图片描述
速度很快

2、ollama启动模型

2.1 Linux安装ollama

在这里插入图片描述

curl -fsSL https://ollama.com/install.sh | sh

如果服务器网络不好无法下载，可以先下载到本地再上传
下载地址：https://ollama.com/download/ollama-linux-amd64.tgz
解压安装：sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local/
在这里插入图片描述

2.2 加载模型

要导入 GGUF 模型到 Ollama 中，您需要创建一个名为 ModelFile 的文件，并在其中包含指定的内容。以下是如何创建这个文件的步骤：

选择创建文件的目录
需要确定把ollama相关的配置文件放在那个目录，比如在主目录中创建一个专用目录来存放模型文件：
```
mkdir -p ~/ollama_models/my_model
cd ~/ollama_models/my_model
```
创建 ModelFile 文件
在进入目标目录后，使用以下命令创建一个名为 ModelFile 的文件：
```
touch ModelFile
```
编辑 ModelFile 文件

接下来，使用您熟悉的文本编辑器（如 nano、vi 或 vim）打开并编辑 ModelFile 文件。例如，使用 nano 编辑：
```
nano ModelFile
```
在文件中输入以下内容，将 /path/to/file.gguf 替换为 GGUF 文件的实际路径：
```
FROM /path/to/file.gguf
```
例如，我的 GGUF 文件位于 FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf，则内容应为：
```
FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
```
保存并关闭文件

在编辑完成后，保存文件并退出编辑器：
- 在 nano 中，按 Ctrl + O 保存，按 Enter 确认保存路径，然后按 Ctrl + X 退出编辑器。
- 在 vi 或 vim 中，按 Esc 键，然后输入 :wq 保存并退出。
使用 Ollama 导入模型

完成 ModelFile 文件的创建后，使用 Ollama 的命令来导入该模型：
```
ollama create my-model -f /root/ollama_models/my_model/ModelFile
```
在上述命令中，my-model 为模型选择的名称。
查看创建的模型
运行模型