当前位置: 首页 > article >正文

【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决

背景:

     本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f  ds7b.mf加载模型启动后回答混乱,无法使用。

解决方法

   重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

    重新编写ds7b.mf文件,文件内容如下:

FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""

PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"

再次加载模型后启动正常


http://www.kler.cn/a/554310.html

相关文章:

  • 电容五大基本作用详解
  • 【Leetcode 每日一题】2080. 区间内查询数字的频率
  • 【Dubbo+Zookeeper】——SpringBoot+Dubbo+Zookeeper知识整合
  • VSCode AI提效工具,通义灵码前端开发体验
  • GUI编程(window系统→Linux系统)
  • 【JavaScript】《JavaScript高级程序设计 (第4版) 》笔记-Chapter18-动画与 Canvas 图形
  • 微信小程序(uni)+蓝牙连接+Xprint打印机实现打印功能
  • 【嵌入式Linux应用开发基础】进程间通信(2):消息队列
  • 汽车免拆诊断案例 | 2013 款奔驰 S300L 车起步时车身明显抖动
  • 为AI聊天工具添加一个知识系统 之113 详细设计之54 Chance:偶然和适配 之1
  • 【蓝桥】二分法
  • HTML第一节
  • 使用 FFmpeg 剪辑视频指南
  • joint_info smpl
  • SpringCloud-Eureka初步使用
  • 本地部署deepseek条件
  • mysql索引为什么用B+树不用,B树或者红黑树
  • Debezium:实时数据捕获与同步的利器
  • qt:常见标签操作,倒计时功能,进度条与日历
  • 为什么 MySQL 选择使用 B+ 树作为索引结构?MySQL 索引的最左前缀匹配原则是什么?MySQL 三层 B+ 树能存多少数据?