『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)？
| 『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)？ |
文章目录
- 一. 怎样让Ollama启动的大模型常驻内存(显存)？
-
- 方法一：请求时设置keep_alive
- 方法二：设置环境变量OLLAMA_KEEP_ALIVE
-
- 1. 镜像运行方式
- 2. 普通直接安装方式
- 二. 参考文献
一. 怎样让Ollama启动的大模型常驻内存(显存)？
ollama有keep_alive参数用来控制模型在内存中保留的时间。
keep_alive参数可以设置为：
- 一个持续时间字符串（例如 “10m” 或 “24h”）
- 一个以秒为单位的数字（例如 3600）
- 任何负数，这将使模型无限期地保留在内存中（例如 -1 或 “-1m”）
- ‘0’ 这将使模型在生成响应后立即卸载