LLaMa-Factory部署及llamafactory-cli webui命令无法打开ui界面问题解决记录
最近想学习一下大模型微调,记录一下llama-factory的部署过程及遇到的一些问题。
LLaMa-Factory官方地址:hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)
LLaMa-Factory服务器部署
部署部分参考如下:
【喂饭教程】20分钟学会微调大模型Llama3,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~_哔哩哔哩_bilibili
LLaMA-Factory:手把手教你从零微调大模型!_llamafactory-CSDN博客
目录
LLaMa-Factory服务器部署
1、获取LLaMA-Factory
2、创建虚拟环境
3.环境配置
4.启动Web UI
解决方案:将链接转为公共链接。
1、获取LLaMA-Factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
2、创建虚拟环境
conda create -n llama python=3.11.1
conda activate llama
3.环境配置
pip install -e ".[torch,metrics]"
安装过程中出现了超时错误(ReadTimeoutError
),这通常意味着在尝试从 Python 包索引(PyPI)或其他源下载包时,连接超时了。
加上清华镜像源重新执行即可。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"
安装完成后检查是否安装成功,在终端执行:
llamafactory-cli version
结果输出如下:
4.启动Web UI
启用命令:
export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui
这将启动一个本地Web服务器,可以通过访问http://0.0.0.0:7860
来使用Web UI。
今天在这个地方卡了很久,直接打开弹出的链接一直处于加载中的空白页面,复制链接在浏览器打开显示无法访问,下面是解决方法。
这部分主要参考:服务器使用llama-factory 无法在本地打开webui问题处理_llamafactory 本地访问-CSDN博客
解决方案:将链接转为公共链接。
llamafactory-cli webui执行之后会出来一行信息:
Running on local URL: http://0.0.0.0:7860
To create a public link, set `share=True` in `launch()`.
转为公共链接,将launch()中的share参数改为True即可。
打开interface.py文件,路径为:LLaMA-Factory-main/src/llamafactory/webui/interface.py
将share参数修改为True
再次执行:
llamafactory-cli webui
这个时候还是私有链接,需要再进行一些修改。
Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps:
1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location:/home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio
按照提示的步骤操作即可。
- 从https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64下载文件
- 将文件重命名为:frpc_linux_amd64_v0.2
- 将文件移动到指定路径,在终端输入:
mv /LLaMA-Factory-main/frpc_linux_amd64_v0.2 /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
注:第一个路径为文件当前路径,第二个为目标路径。
最后,转到移动后的路径,设定权限
cd /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
chmod +x frpc_linux_amd64_v0.2
再次执行命令:
llamafactory-cli webui
结果如下:
成功打开!