当前位置: 首页 > article >正文

Xinference大模型配置介绍并通过git-lfs、hf-mirror安装

在这里插入图片描述

文章目录

  • 一、Xinference开机服务systemd
  • 二、语言(LLM)模型
    • 2.1 配置介绍
    • 2.2 DeepSeek-R1-Distill-Qwen-32B(大杯)
      • 工具下载git-lfs(可以绕过Hugging Face)
    • 2.3 DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF(小杯)
  • 三、嵌入(Embedding)模型
    • 3.1 安装BAAI/bge-large-zh-v1.5
  • 四、重排序(Rerank)模型
    • 4.1 git
    • 4.2 wget
  • 五、接入dify
  • 六、多模态模型支持


通过HF-Mirror镜像wget下载,常用的模型。


一、Xinference开机服务systemd

使用 systemd(适用于服务器长期运行)

  1. 创建 systemd 服务:
sudo vi /etc/systemd/system/xinference.service

填入:

[Unit]
Description=Xinference Service
After=network.target

[Service]
ExecStart=/root/anaconda3/envs/xinference_env/bin/xinference --host 0.0.0.0 --port 9997
WorkingDirectory=/root
Restart=always
User=root

[Install]
WantedBy=multi-user.target

  1. 重新加载 systemd 并启动服务:
sudo systemctl daemon-reload
sudo systemctl start xinference
sudo systemctl enable xinference  # 开机自启
  1. 查看日志:
sudo journalctl -u xinference -f
  1. 停止服务:
sudo systemctl stop xinference

二、语言(LLM)模型

2.1 配置介绍

模型引擎

在这里插入图片描述

分别是:

  1. Transformers

    • 依赖 Hugging Face Transformers 库,适用于标准 PyTorch 或 TensorFlow 部署,通常兼容性较好,支持多种硬件加速(如 GPU)。
  2. vLLM

    • 适用于高吞吐量推理,利用 PagedAttention 进行优化,推荐用于大规模推理场景,减少显存占用。
  3. SGLang

    • 可能是专门优化的推理引擎,具体表现需要查看官方文档或测试。
  4. llama.cpp

    • 适用于 CPU 运行,优化了低资源设备上的 LLM 推理,适合本地运行或嵌入式环境。

选择建议:

  • 高性能 GPU 推理vLLM
  • 通用部署(PyTorch / TensorFlow 支持):Transformers
  • 低资源或本地运行(CPU 推理)llama.cpp
  • 特定优化需求SGLang(需要进一步了解其特点)

模型格式

在这里插入图片描述

现在的 模型格式 选项增加了 gptq,它与 awq 一样是 量化推理优化 方案,但两者在优化策略上有所不同:

  1. pytorch

    • 原生 PyTorch 格式,未量化,最高精度但占用更多显存。
    • 适用于 高精度推理,但对硬件要求较高。
  2. awq (Activation-aware Weight Quantization)

    • 量化方案,主要优化 激活值感知权重量化,可以减少推理时的计算开销,同时保持较高的精度。
    • 适用于 低显存 GPU 或高吞吐场景,如 vLLMllama.cpp
    • 更适合多种硬件,特别是 NVIDIA GPU 运行。
  3. gptq (Generalized Post-Training Quantization)

    • 另一种 后训练量化 方法,目标是 最小化量化误差,尤其对 Transformer 模型进行优化。
    • GPTQ 量化后的模型通常比 AWQ 更轻量,适用于 极限压缩场景(如 4-bit GPTQ)。
    • 适用于 低功耗设备超大模型的轻量化部署

选择建议:

  • 如果显存足够,追求最佳模型精度pytorch
  • 如果需要在低显存 GPU(如 24GB 以内)高效推理awq
  • 如果显存极其受限(如 16GB 或更低),或需要极端优化gptq

如果你打算在 Deepseek高效部署一个大模型,建议选择 awqgptq


2.2 DeepSeek-R1-Distill-Qwen-32B(大杯)

工具下载git-lfs(可以绕过Hugging Face)

解决方案:安装 git-lfs

你需要先安装 git-lfs,然后才能正确克隆和下载模型。

步骤 1:安装 git-lfs

根据你的系统类型选择对应的安装方法:

Ubuntu / Debian

apt update && apt install -y git-lfs

CentOS / RHEL

yum install -y epel-release
yum install -y git-lfs

Mac (如果你在本地 Mac 运行)

brew install git-lfs

Windows(如果你在 Windows 本地)
直接去官网下载安装:https://git-lfs.github.com/


步骤 2:启用 git-lfs

安装完成后,执行:

git lfs install

如果成功,你会看到:

Git LFS initialized.

步骤 3:克隆模型

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B.git

然后进入目录:

cd DeepSeek-R1-Distill-Qwen-32B
ls -lh

如果 .safetensors 还没有下载完整,执行:

git lfs pull

这将确保所有 LFS 文件正确下载。

当然可能git: ‘lfs’ is not a git command. See ‘git --help’.

问题分析
系统 无法安装 git-lfs,因为 apt update 过程中出现了 GPG 错误无法解析某些仓库地址 的问题:

  1. NO_PUBKEY A4B469963BF863CC
    • 说明你的系统缺少 NVIDIA CUDA 仓库的 GPG 公钥
  2. Could not resolve 'mirror.rightscale.com'
    • 这个仓库地址已经不可用或 DNS 解析失败。

解决方案

1. 先修复 apt update 失败的问题

① 删除无效的 RightScale 仓库

sudo rm -f /etc/apt/sources.list.d/rightscale*

② 添加缺失的 NVIDIA 公钥

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub

③ 再次更新 apt

sudo apt update

2. 安装 git-lfs
如果 apt update 修复成功,你可以尝试:

sudo apt install -y git-lfs

安装完成后,运行:

git lfs install

如果成功,你会看到:

Git LFS initialized.

3. 如果 apt 仍然无法安装 git-lfs,尝试手动安装

① 下载 Git LFS 安装包

wget https://github.com/git-lfs/git-lfs/releases/latest/download/git-lfs-linux-amd64.tar.gz

② 解压并安装

tar -xvzf git-lfs-linux-amd64.tar.gz
sudo ./install.sh

③ 验证安装

git lfs --version

④ 启用 Git LFS

git lfs install

最终测试

如果 git-lfs 安装成功,你可以尝试重新克隆模型:

git clone https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B.git
cd DeepSeek-R1-Distill-Qwen-32B
git lfs pull

如果下载仍然不完整,可以尝试 wgetaria2c 下载 .safetensors 文件。


在这里插入图片描述

下载很慢,下完还要等一会,因此建议用宝塔(两个网页),方便看情况

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

下载完后,.git会很大
在这里插入图片描述
如果只是使用模型,直接删除 .git 目录 ✅
如果还想更新模型,建议保留 .git 目录 🔄
如果要节省空间但保留 git-lfs 更新能力,可精简 .git 目录 🛠
Xinference配置:GPU索引根据机器情况设置。

!!! 大模型启动较慢,且Xinference用网页打开有缓存问题,因此不要着急。
在这里插入图片描述

2.3 DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF(小杯)

通过hf-mirror

wget https://hf-mirror.com/roleplaiapp/DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF/resolve/main/deepseek-r1-distill-qwen-32b-q4_k_m.gguf

三、嵌入(Embedding)模型

嵌入(Embedding)模型,选择合适的模型取决于你的具体需求,例如 语言支持维度大小最大 token 数应用场景。以下是对比分析:
在这里插入图片描述

模型对比分析

模型名称语言支持维度最大 Token 数适用场景
bge-large-zh-v1.5中文1024512适用于中文语义搜索、文本匹配
bge-large-en-v1.5英文1024512适用于英文文本匹配
bge-m3中文+英文10248192适用于多语言检索,支持更长文本
gte-Qwen2中文+英文358432000适用于大规模检索、高质量向量表示
jina-embeddings-v3中文+英文10248192适用于跨语言检索、语义匹配

推荐选择

  1. 如果你的任务是中文语义检索

    • 选择 bge-large-zh-v1.5,它是专门针对中文优化的。
  2. 如果是英文语义检索

    • 选择 bge-large-en-v1.5,它是英文版本的最佳选择。
  3. 如果需要中英混合检索,且输入文本较短

    • 选择 bge-m3,支持多语言,最大 token 数较大。
  4. 如果是超长文本、高精度应用(如搜索引擎)

    • 选择 gte-Qwen2,它的 维度 更高(3584),最大 token 也更长(32000)。
  5. 如果是跨语言检索

    • 选择 jina-embeddings-v3,在多语言场景下表现不错。

总结

  • 轻量级中文嵌入bge-large-zh-v1.5
  • 轻量级英文嵌入bge-large-en-v1.5
  • 通用多语言支持bge-m3
  • 高性能长文本支持gte-Qwen2
  • 跨语言匹配jina-embeddings-v3

如果你的应用场景是 大规模检索、向量数据库存储(如 FAISS),那么 gte-Qwen2bge-m3 是更好的选择。

如果仅是 普通文本匹配或短文本搜索bge-large-zh-v1.5(中文)或 bge-large-en-v1.5(英文)就足够了。

3.1 安装BAAI/bge-large-zh-v1.5

git clone https://hf-mirror.com/BAAI/bge-large-zh-v1.5.git

四、重排序(Rerank)模型

4.1 git

git clone https://hf-mirror.com/BAAI/bge-reranker-v2-m3.git

4.2 wget

你可以按照以下步骤在 /usr/local 目录下新建文件夹,并下载模型:

  1. 创建目录并赋权
sudo mkdir -p /usr/local/models/bge-reranker-v2-m3
sudo chmod -R 777 /usr/local/models/bge-reranker-v2-m3
cd /usr/local/models/bge-reranker-v2-m3
  1. 使用 wget 从 HF Mirror 下载模型
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/model.safetensors
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/sentencepiece.bpe.model
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/config.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/tokenizer.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/tokenizer_config.json
wget -c https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/special_tokens_map.json

-c 选项用于支持断点续传,防止下载中断后需要重新开始。

  1. 检查下载文件的大小
ls -lh /usr/local/models/bge-reranker-v2-m3

确认 model.safetensors 大小是否接近 2.27 GB,其余文件大小也要和 HF Mirror 网站上保持一致。

  1. 修改 Xinference 配置

Xinference 的模型路径参数中,填写:

/usr/local/models/bge-reranker-v2-m3

然后重新加载模型。

这样,你的 bge-reranker-v2-m3 模型应该就能正确运行了! 🚀

五、接入dify

以上就是常用的大模型了,我们可以介入dify使用了。

在这里插入图片描述

六、多模态模型支持

FLUX.1-dev

git clone https://hf-mirror.com/black-forest-labs/FLUX.1-dev.git
cd FLUX.1-dev
git lfs pull

以下是支持的,可去自行探索;hf-mirror
在这里插入图片描述


http://www.kler.cn/a/588865.html

相关文章:

  • 【Node.js入门笔记4---fs 目录操作】
  • 【华为OD-E卷 -121 消消乐游戏 100分(python、java、c++、js、c)】
  • 9种Python数据可视化方案,让财务数据焕发生命力
  • 基于Spring Boot的网上蛋糕售卖店管理系统的设计与实现(LW+源码+讲解)
  • 谷云科技RestCloud智能体搭建平台助力企业快速搭建AI Agent
  • spring boot连接clickhouse集群,实现故障节点自动切换
  • Python基于深度学习的多模态人脸情绪识别研究与实现
  • 【TCP】三次挥手,四次挥手详解--UDP和TCP协议详解
  • 【LeetCode110】平衡二叉树
  • 爬虫获取 item_get_video 接口数据:小红书笔记视频详情的深度解析
  • Docker 端口映射的 “隐藏炸弹“ 与安全访问方案
  • 第二十七天 实践分布式任务调度,实现一个简单的分布式任务
  • Linux内核邻接子系统分析
  • PHP与前端框架的无缝集成:最佳实践与案例分析
  • 【Linux篇】初识Linux指令(下篇)
  • 【部署】ubuntu部署olmOCR
  • DICT领域有哪些重要的技术标准和规范?
  • 国科大——计网(0812)——考试真题
  • 96.HarmonyOS NEXT工具类设计模式教程:最佳实践与实现
  • 项目--五子棋(前置知识)