当前位置： 首页 > article >正文

Docker部署Meta-Llama-3.1-70B-Instruct API openai格式，vLLM速度对比

article 2024/12/25 1:47:54

下载模型

modelscope环境，国内下载更快：

conda create -n modelscope python=3.10
conda activate modelscope

pip install modelscope

命令行下载：
https://modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B-Instruct

modelscope download --model 'LLM-Research/Meta-Llama-3.1-70B-Instruct' --local_dir '/data/xiedong/LLM-Research/Meta-Llama-3.1-70B-Instruct'

</

http://www.kler.cn/a/382034.html

相关文章：

  • Vue.js 响应接口
  • 机器学习04-为什么Relu函数
  • CAN201 Introduction to Networking（计算机网络）Pt.1 导论和应用层
  • iOS从Matter的设备认证证书中获取VID和PID
  • vsCode怎么使用vue指令快捷生成代码
  • Kubeadm+Containerd部署k8s(v1.28.2)集群（非高可用版）
  • [ DOS 命令基础 2 ] DOS 命令命令详解-网络相关命令
  • lanqiaoOJ 1112：小王子双链表 ← STL list
  • “微软蓝屏”事件暴露了网络安全哪些问题？
  • Python网络爬虫入门篇！
  • Python小白学习教程从入门到入坑------第二十七课 魔法方法（语法进阶）
  • 【数据结构】堆：TOK问题
  • Spring Boot 与 Vue 共筑二手书籍交易卓越平台
  • 可选链操作符（Optional Chaining）
  • unity3d——关于GetComponent＜T＞()
  • 解决Knife4j 接口界面UI中文乱码问题
  • 扩展卡尔曼滤波（EKF）的限制
  • 西南科技大学C++实验作业3——容器使用和文件输入输出流
  • 实现数传数据转网口（以太网）和遥控器SBUS信号转串口的功能
  • leetcode 75.颜色分类
  • Python的struct打包通讯数据头文件
  • 杨辉三角——c语言
  • 浏览器内核版本更新：Chrome 130✔
  • 【MySQL】函数
  • 网络安全求职指南_看完这篇就足够了~
  • c++设计模式demo