当前位置： 首页 > article >正文

通义Qwen实战(2): vllm框架部署实战

article 2025/3/31 0:02:03

文章目录

    • 1. 环境安装
      • 1.1 基础环境
      • 1.2 vllm-gptq库安装
    • 2. vllm 原理
      • 2.1 vllm介绍
      • 2.2 vllm 框架的使用
    • 3 vllm 部署实战
      • 3.1 离线推理
      • 3.2 chat 方法实现
        • 3.2.1 初始化函数
        • 3.2.2 chat方法实现
        • 3.2.3 效果展示
    • 4. 服务端部署
      • 4.1 效果演示
      • 4. 2 代码详解
      • 4.3 聊天可视化

1. 环境安装

1.1 基础环境

conda create -n vllm python=3.10 -y
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda

http://www.kler.cn/a/611808.html

相关文章：

  • Python----数据分析（电影数据分析）
  • 基于springboot+vue的凉州区助农惠农服务平台
  • 在 Ubuntu 上安装 Docker 的完整指南
  • 多网络选择路由（windows环境）
  • 5G NR PRACH格式
  • 青少年编程与数学 02-012 SQLite 数据库简介 01课题、数据库概要
  • scikit-learn 学习路线与知识结构全解析
  • 蓝桥杯高频考点——搜索（含C++源码）
  • 原型验证后客户推翻原有需求，如何止损
  • VMware Workstation 不支持在此主机上使用虚拟化性能计数器
  • 【AI学习】人工神经网络
  • Tomcat 与 WebLogic：企业级 Web 应用服务器的全面比较
  • AIP-192 文档
  • Manus的开源替代者之一：OpenManus通用AI智能体框架解析及产品试用
  • JBDev - Theos下一代越狱开发工具
  • 【C++ 继承】—— 青花分水、和而不同，继承中的“明明德”与“止于至善”
  • 神经网络基础（NN）
  • 基于云服务器的数仓搭建-集群安装
  • Pytorch学习笔记（十二）Learning PyTorch - NLP from Scratch
  • 禅道后台命令执行漏洞