茴香豆 + Qwen-7B-Chat-Int8
今天 打开config.ini 发现 茴香豆 支持 qwen/qwen-7b-chat-int8
1.0 拉取qwen/qwen-7b-chat-int8
cd /root/models
git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git1.1 更改配置文件
茴香豆的所有功能开启和模型切换都可以通过 config.ini 文件进行修改
/root/huixiangdou/config.ini
local_llm_path = "/root/models/Qwen-7B-Chat-Int8"茴香豆助手搭建在远程服务器上，因此需要先建立本地和服务器之间的透传，透传默认的端口为 7860，在本地机器命令行中运行如下命令：
ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>
在运行茴香豆助手的服务器端，输入下面的命令，启动茴香豆 Web UI：
conda activate huixiangdou cd /root/huixiangdou python3 -m huixiangdou.gradio
本地浏览器中输入 127.0.0.1:7860 打开茴香豆助手测试页面：
Ollama
