当前位置： 首页 > article >正文

Docker lmdeploy 快速部署Qwen2.5模型openai接口

article 2024/11/14 12:21:43

启动服务

我已经把模型下载到/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

所以docker直接启动：

docker run --runtime nvidia --gpus device=0 \
    -p 23333:23333 \
    --ipc=host -v /data/xiedong:/data/xiedong/ \
    openmmlab/lmdeploy:latest \
    lmdeploy serve api_server /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

浏览器访问接口文档：http://101.136.8.66:23333


http://www.kler.cn/a/387096.html

相关文章：

  • 普通电脑上安装属于自己的Llama 3 大模型和对话客户端
  • 《深度解析 C++中的弱引用（weak reference）：打破循环依赖的利器》
  • GISBox VS ArcGIS：分别适用于大型和小型项目的两款GIS软件
  • 若依笔记（八）：Docker容器化并部署到公网
  • vue2或vue3的name属性有什么作用？
  • 【学习笔记】数据结构（七）
  • PHP静默活体识别API接口应用场景与集成方案
  • 常用的c++新特性--＞day03
  • 持续集成（Continuous Integration, CI）和持续部署（Continuous Deployment, CD）
  • C++高级编程（8）
  • unity3d————屏幕坐标，GUI坐标，世界坐标的基础注意点
  • PHP API的数据交互类型设计
  • 短视频矩阵系统的源码， OEM贴牌源码
  • LSM树 (Log-Structured Merge Tree)、Cuckoo Hashing详细解读
  • ubuntu 22.04 server 安装 和 初始化 LTS
  • 基于Springboot+Vue的心理咨询系统 （含源码数据库）
  • Qt的C++中实现一个文本转语音（TTS）系统
  • XXL-TOOL v1.3.1 发布 | Java工具类库（Excel、Pipeline、Fiber…）
  • Kafka中如何做到数据唯一，即数据去重？
  • 新手用docker真**难受
  • react 18 react-router-dom V6 路由传参的几种方式
  • 前端实现json动画（附带示例）
  • unplugin-vue-components 库作用
  • MyBatis 返回 Map 或 List＜Map＞时，时间类型数据，默认为LocalDateTime，响应给前端默认含有‘T‘字符
  • 【STM32F1】——舵机角度控制与TIM定时器
  • MySQL性能测试方案设计