当前位置: 首页 > article >正文

ollama docker离线安装本地大模型

1、下载想要的模型:魔塔社区
2、我这边以qwq-32B为例,在ollama官网中,一一对应,注意,这边要下载gguf文件
在这里插入图片描述在这里插入图片描述
3、下载完成,上传至docker部署的ollama目录,我这边放在了/home下,home目录下新建一个名为Modelfile的文件,参考ollama中的params和template文件
在这里插入图片描述

FROM ./Qwq-33B-F16.gguf.gguf
# 直接复制 ollama 上的 Template 到如下三个双引号中间
TEMPLATE """
{{- if or .System .Tools }}<|im_start|>system
{{- if .System }}
{{ .System }}
{{- end }}
{{- if .Tools }}

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{{- range .Tools }}
{"type": "function", "function": {{ .Function }}}
{{- end }}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>
{{- end }}<|im_end|>
{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 -}}
{{- if eq .Role "user" }}<|im_start|>user
{{ .Content }}<|im_end|>
{{ else if eq .Role "assistant" }}<|im_start|>assistant
{{ if .Content }}{{ .Content }}
{{- else if .ToolCalls }}<tool_call>
{{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{ end }}</tool_call>
{{- end }}{{ if not $last }}<|im_end|>
{{ end }}
{{- else if eq .Role "tool" }}<|im_start|>user
<tool_response>
{{ .Content }}
</tool_response><|im_end|>
{{ end }}
{{- if and (ne .Role "assistant") $last }}<|im_start|>assistant
{{ end }}
{{- end }}
"""

# 这一步参考 ollama 上的 parameters, 但是 ollama 上的Qwq-33B-F16 是没有参数的, 按照下面的格式添加即可
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

4、进入终端,创建大模型

ollama create 《your model name》 -f Modelfile

5、查看是否安装成功

ollama list 
ollama run 《your model name》

6、移除大模型

ollama rm 《your model name》

7、至此安装完成


http://www.kler.cn/a/584641.html

相关文章:

  • 如何解决Redis的缓存雪崩、缓存击穿、缓存穿透?
  • Flink状态管理深度探索:从Keyed State到分布式快照
  • 在 Windows 系统下使用 VMware 安装 Ubuntu 24.04 LTS 系统
  • unittest vs pytest区别
  • 分布式存储学习——HBase表结构设计
  • ESP32芯片模组方案,设备物联网无线通信,WiFi蓝牙交互控制应用
  • 25年3月重磅--聊聊OpenManus
  • Go语言 vs Java语言:核心差异与适用场景解析
  • 文档在线协同工具ONLYOFFICE教程:如何使用宏对 PDF 表单中的特定字段执行计算
  • Haskell爬虫:为电商运营抓取京东优惠券的实战经验
  • LLM论文笔记 23: Meta Reasoning for Large Language Models
  • 【算法】数组、链表、栈、队列、树
  • 饮食调治痉挛性斜颈,开启健康生活
  • 《C#上位机开发从门外到门内》2-4:Modbus协议
  • WEB-CTFyj解题视频笔记(持续更新)
  • 机器学习之距离度量方法
  • 欧姆龙PLC学习的基本步骤
  • 高并发场景下如何实现消息精准一次消费?实战Java幂等性设计
  • PyTorch中前身传播forward方法调用逻辑
  • AI赋能铁道安全巡检探索智能巡检新时代,基于YOLOv7全系列【tiny/l/x】参数模型开发构建铁路轨道场景下轨道上人员行为异常检测预警系统