当前位置: 首页 > article >正文

数字人本地部署之llama-本地推理模型

llama 本地服务命令

llama-server.exe -m "data/LLM/my.gguf" --port   8080

-m data/LLM/my.gguf

-m 属于命令行选项,一般用来指定要加载的模型文件。

data/LLM/my.gguf 是模型文件的路径。gguf 格式的文件是一种用于存储语言模型权重的文件格式,服务器会加载这个文件里的模型权重,从而使用对应的语言模型开展任务。

--port 8080

--port 也是命令行选项,其作用是指定服务器要监听的端口号。

二、llama帮助命令

llama-server.exe --help

三、llama命令工具下载

https://github.com/ggml-org/llama.cpp/releases

 

如何选择下载版本

 cuda

cudart-llama-bin-win-cu11.7-x64.zip

四、如何查看自己电脑CPU指令

未来商城—APPSTORE 


http://www.kler.cn/a/588028.html

相关文章:

  • Skema:AI 驱动的方案到 BIM 加速工具,重塑早期设计工作流
  • superset部署记录
  • 奇安信二面
  • SpringMVC(六)异常:全局捕获与错误响应
  • Android (Kotlin) 高版本 DownloadManager 封装工具类,支持 APK 断点续传与自动安装
  • 【模拟面试】计算机考研复试集训(第五天)
  • 自然语言处理 | 文本清洗的20种核心策略:从数据噪声到信息价值
  • 7、标准库的string的常见使用
  • 加固脱壳技术:DEX动态加载对抗
  • Matlab 矢量控制和SVPWM的感应电机控制
  • 二.使用ffmpeg对原始音频数据重采样并进行AAC编码
  • 【Linux】learning notes(4)cat、more、less、head、tail、vi、vim
  • 设计模式--单例模式(Singleton)【Go】
  • LLM自动化评测
  • WEB前端学习JAVA的一些建议
  • 【Hestia Project 数据集】美国化石燃料 CO₂ 排放数据
  • 文生图技术的演进、挑战与未来:一场重构人类创造力的革命
  • 34个适合机械工程及自动化专业【论文选题】
  • 理解langgraph.graph.StateGraph中 State 的 Annotated 以函数作为元数据(meta)如何影响State传递
  • DEEPSEEK能代替数字孪生或生产情况数据展示吗?