当前位置: 首页 > article >正文

vLLM专题(二):安装-CPU

vLLM 是一个 Python 库,支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明:
Intel/AMD x86
vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务,支持的数据类型包括 FP32、FP16 和 BF16。

注意
此设备没有预构建的 wheel 包或镜像,因此您必须从源代码构建 vLLM。

1. 要求

Python 版本 3.9 至 3.12"
Intel/AMD x86
操作系统: Linux
编译器: gcc/g++ >= 12.3.0(可选,推荐)
指令集架构(ISA): AVX512(可选,推荐)

提示
Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化,以在 Intel 硬件上提供额外的性能提升。

2. 使用 Python 设置

2.1 创建一个


http://www.kler.cn/a/548715.html

相关文章:

  • 【Python】Python入门基础——环境搭建
  • Ubuntu20.04部署stable-diffusion-webui环境小记
  • Leetcode100-春招-矩阵题类
  • 【06】泛型
  • Httprint 指纹识别技术:网络安全的关键洞察
  • [高等数学] 分部积分法
  • 大模型开发实战篇5:多模态--文生图模型API
  • Flask中获取请求参数的一些方式总结
  • DeepSeek在linux下的安装部署与应用测试
  • 基于Python的Flask微博话题舆情分析可视化系统
  • Dify+Ollama+DeepSeek部署本地大模型+知识库搭建
  • Typescript class中的方法和函数类型的属性有何不同?
  • 每日一题——47. 全排列 II
  • Linux系统Centos安装部署nginx代理
  • 数字内容体验未来趋势:五大平台横向对比与深度解析
  • 惠普HP Color LaserJet CP1215/1210彩色打印机打印校准方法
  • . Unable to find a @SpringBootConfiguration(默认软件包中的 Spring Boot 应用程序)
  • AI大模型学习(二): LangChain(一)
  • SpringBoot+数据可视化的奶茶点单购物平台(程序+论文+讲解+安装+调试+售后)
  • GMSL 实例1:当 MAX96717 遇上 MAX96724,打通 Camera 视频数据传输