当前位置: 首页 > article >正文

windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤(以及遇到的坑):

如果你要使用CUDA,请确保已安装。

1.安装 最新的 cmake,   git,  anaconda, pip 配置pytorch环境

2.下载llama.cpp源代码,一定要用git clone

     git clone https://github.com/ggerganov/llama.cpp.git

3. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

4. CMake“cmake is not able to compile a simple test program”错误

解决方法  修改文件, 屏蔽掉 cmake 报警

5. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

prerequire配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成,编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表!把这些文件复制到llama.cpp主目录。


http://www.kler.cn/a/463886.html

相关文章:

  • STM32 和 ESP32
  • HackMyVM-Airbind靶机的测试报告
  • Golang的容器编排实践
  • 数字孪生:物联+数据打造洞察世界新视角
  • 多文件比对
  • 信息学奥赛一本通:1311:【例2.5】求逆序对
  • Java Web开发基础——Java Web项目中的MVC设计模式
  • Leetcode打卡:二叉树中的链表
  • C++进阶重点知识(一)|智能指针|右值|lambda|STL|正则表达式
  • 《深入浅出HTTPS​​​​​​​​​​​​​​​​​》读书笔记(23):密钥协商算法(续)
  • ChatGLM2-6B模型推理流程和模型架构详解
  • SpringBoot_第二天
  • 机器学习中回归预测模型中常用四个评价指标MBE、MAE、RMSE、R2解释
  • 【从零开始入门unity游戏开发之——C#篇38】C#预处理器指令
  • locate() 在MySQL中的用法
  • 关于部署异常的处理问题
  • 网络渗透测试实验四:CTF实践
  • Spring Boot 嵌套事务详解及失效解决方案
  • leetcode hot 100 杨辉三角
  • python-leetcode-轮转数组
  • JVM实战—G1垃圾回收器的原理和调优
  • java下载文件流,不生成中间文件。
  • deepFM模型pytorch实现
  • Docker常用场景
  • ubuntu24.04配置IPV6
  • react中实现拖拽排序