当前位置: 首页 > article >正文

db-gpt部署问题

1. 默认安装cpu版torch,可重新安装为gpu版

教程:本地安装torch2.3.1,cuda12.1,python3.10-CSDN博客

2.安装vllm失败,不支持window系统

首次安装缺少dll文件,下载并放到win32目录下解决

PyTorch之loading fbgemm.dll异常的解决办法_pytorch fbgemm-CSDN博客

下载速度超级慢,最后还是下载完了,但把torch对应的版本升级为2.4,还是cpu版的,运行失败,现在项目缺少vllm引擎

卸载vllm,重装gpu版本torch,重新安装了vllm0.5.1版本,显示vllm不支持window

pip install VLLM_VERSION=0.5.1


http://www.kler.cn/news/330834.html

相关文章:

  • 【数据库】 MongoDB 撤销用户的角色和权限
  • leetcode-32. 最长有效括号
  • 软件测试学习笔记丨Mock的价值与实战
  • centos7系统安装宝塔面板
  • C++之多线程
  • 14.数据结构与算法-栈的表示和实现(顺序栈和链栈)/栈和递归
  • C/C++进阶(一)--内存管理
  • Java-并发基础
  • Nacos笔记
  • 论文笔记(四十七)Diffusion Policy: Visuomotor Policy
  • 【C++复习】C++11经典语法
  • 将模板引擎用于 Express
  • 65 注意力分数_by《李沐:动手学深度学习v2》pytorch版
  • 前端开发技术框架选型
  • 每日一题|1928. 规定时间内到达终点的最小花费|动态规划、最小路径
  • 强弱依赖(含示例)
  • ANTLR4 与 flex/bision、lex/yacc 的比较
  • Electron 进程通信
  • Spring MVC系统学习(二)——Spring MVC的核心类和注解
  • 五子棋双人对战项目(5)——对战模块