当前位置: 首页 > article >正文

LLaMa-Factory部署及llamafactory-cli webui命令无法打开ui界面问题解决记录

最近想学习一下大模型微调,记录一下llama-factory的部署过程及遇到的一些问题。

LLaMa-Factory官方地址:hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

LLaMa-Factory服务器部署

部署部分参考如下:

【喂饭教程】20分钟学会微调大模型Llama3,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~_哔哩哔哩_bilibili

LLaMA-Factory:手把手教你从零微调大模型!_llamafactory-CSDN博客

目录

LLaMa-Factory服务器部署

1、获取LLaMA-Factory

2、创建虚拟环境

3.环境配置

4.启动Web UI

解决方案:将链接转为公共链接。


1、获取LLaMA-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

2、创建虚拟环境

conda create -n llama python=3.11.1
conda activate llama

3.环境配置

pip install -e ".[torch,metrics]"

安装过程中出现了超时错误(ReadTimeoutError),这通常意味着在尝试从 Python 包索引(PyPI)或其他源下载包时,连接超时了。

加上清华镜像源重新执行即可。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"

安装完成后检查是否安装成功,在终端执行:

llamafactory-cli version

结果输出如下:

4.启动Web UI

启用命令:

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

这将启动一个本地Web服务器,可以通过访问http://0.0.0.0:7860来使用Web UI。

今天在这个地方卡了很久,直接打开弹出的链接一直处于加载中的空白页面,复制链接在浏览器打开显示无法访问,下面是解决方法。

这部分主要参考:服务器使用llama-factory 无法在本地打开webui问题处理_llamafactory 本地访问-CSDN博客

解决方案:将链接转为公共链接。

llamafactory-cli webui执行之后会出来一行信息:

Running on local URL: http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

 转为公共链接,将launch()中的share参数改为True即可。

打开interface.py文件,路径为:LLaMA-Factory-main/src/llamafactory/webui/interface.py

将share参数修改为True

 再次执行:

llamafactory-cli webui

 这个时候还是私有链接,需要再进行一些修改。

Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps: 

1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64  
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location:

/home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio

 按照提示的步骤操作即可。

  1. 从https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64下载文件
  2. 将文件重命名为:frpc_linux_amd64_v0.2
  3. 将文件移动到指定路径,在终端输入:
mv /LLaMA-Factory-main/frpc_linux_amd64_v0.2 /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/

注:第一个路径为文件当前路径,第二个为目标路径。 

最后,转到移动后的路径,设定权限

cd /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
chmod +x frpc_linux_amd64_v0.2

再次执行命令:

llamafactory-cli webui

结果如下:

成功打开!


http://www.kler.cn/a/552512.html

相关文章:

  • 【触想智能】工业显示器和普通显示器的区别以及工业显示器的主要应用领域分析
  • Leetcode2080:区间内查询数字的频率
  • SpringCloud面试题----为什么会产生Eureka的自我保护, 如何关闭自我保护机制
  • docker 安装的open-webui链接ollama出现网络错误
  • 阿里云大文件ossutil工具进行上传下载,该工具支持断点续传
  • mysql开启gtid并配置主从
  • eNSP防火墙综合实验
  • AI与大数据:双剑合璧的智能革命
  • 什么是UV环形光源
  • Flutter 状态管理:详细分析与实战
  • python爬虫系列课程2:如何下载Xpath Helper
  • 文件夹上传到github分支最后github上面还是没有文件和文件夹
  • liunx服务器本地部署deepseek-r1:1.5b通过网页链接使用
  • c/c++蓝桥杯经典编程题100道(23)最小生成树
  • 【设计模式】 代理模式(静态代理、动态代理{JDK动态代理、JDK动态代理与CGLIB动态代理的区别})
  • 垃圾回收器深度对比与调优策略
  • 传输层协议UDP,TCP
  • 进制和编码
  • 如何利用国内镜像从huggingface上下载项目
  • MacOS 15.3 卸载系统内置软件