当前位置: 首页 > article >正文

ollama部署教程

目录

一,官网 

二、安装方式一:window10版本下载

三,配置环境

四、安装方式二:linux版本docker


一,官网 

在 macOS 上下载 Ollama - Ollama 中文https://ollama.org.cn/downloadhttps://ollama.org.cn/downloadhttps://ollama.org.cn/downloadhttps://ollama.org.cn/download

二、安装方式一:window10版本下载

安装完成没有提示。 接下来配置环境变量!

Ollama的安装过程,与安装其他普通软件并没有什么两样,安装完成之后,有几个常用的系统环境变量参数建议进行设置:

  1. OLLAMA_HOST:Ollama 服务监听的网络地址,默认为127.0.0.1,如果允许其他电脑访问 Ollama(如:局域网中的其他电脑),建议设置0.0.0.0,从而允许其他网络访问
  2. OLLAMA_PORT:Ollama 服务监听的默认端口,默认为11434,如果端口有冲突,可以修改设置成其他端口(如:8080等)
  3. OLLAMA_ORIGINS:HTTP 客户端请求来源,半角逗号分隔列表,若本地使用无严格要求,可以设置成星号,代表不受限制
  4. OLLAMA_MODELS:模型文件存放目录,默认目录为当前用户目录(Windows 目录:C:\Users%username%.ollama\models,MacOS 目录:~/.ollama/models,Linux 目录:/usr/share/ollama/.ollama/models),如果是 Windows 系统建议修改(如:D:\OllamaModels),避免 C 盘空间吃紧

  5. OLLAMA_KEEP_ALIVE:大模型加载到内存中后的存活时间,默认为5m即 5 分钟(如:纯数字如 300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活);我们可设置成24h,即模型在内存中保持 24 小时,提高访问速度
  6. OLLAMA_NUM_PARALLEL:请求处理并发数量,默认为1,即单并发串行处理请求,可根据实际情况进行调整
  7. OLLAMA_MAX_QUEUE:请求队列长度,默认值为512,可以根据情况设置,超过队列长度请求被抛弃
  8. OLLAMA_DEBUG:输出 Debug 日志标识,应用研发阶段可以设置成1,即输出详细日志信息,便于排查问题
  9. OLLAMA_MAX_LOADED_MODELS:最多同时加载到内存中模型的数量,默认为1,即只能有 1 个模型在内存中

三,配置环境

 

如果没有,则去打开一下

浏览器查看一下API服务:127.0.0.1:11434

四、安装方式二:linux版本docker

Olama现已作为官方Docker镜像提供 · Olama博客 - Ollama 中文

docker run -d -v /home/ollama:/root/.ollama -p 11435:11434 --name ollama ollama/ollama

主机的/home/ollama文件夹映射到容器的/root/.ollama文件夹

主机的11435端口映射到容器的11434端口 

 

进入容器内部:

docker exec -it ollama /bin/bash

 查看ollama执行

ollama

ollama serve    # 启动ollama
ollama create    # 从模型文件创建模型
ollama show        # 显示模型信息
ollama run        # 运行模型,会先自动下载模型
ollama pull        # 从注册仓库中拉取模型
ollama push        # 将模型推送到注册仓库
ollama list        # 列出已下载模型
ollama ps        # 列出正在运行的模型
ollama cp        # 复制模型
ollama rm        # 删除模型


http://www.kler.cn/a/539001.html

相关文章:

  • 2.1 Mockito核心API详解
  • ffmpeg -formats
  • at coder ABC 392
  • 我们来学人工智能 -- 将Ollama已下载的模型从C盘迁出
  • 数据库5(MySQL版)
  • Qt:Qt Creator项目创建
  • Logo语言的测试开发
  • Rust语言的安全开发
  • 硬核技术:小程序能够调用手机的哪些传感器
  • LeetCode热题100- 合并区间【JavaScript讲解】
  • Ubuntu如何开启VNC远程桌面连接
  • Vllm进行Qwen2-vl部署(包含单卡多卡部署及爬虫请求)
  • 解锁国内主流前端与后端框架
  • Java数据结构 | TreeMap 和 TreeSet
  • GPU、CUDA 和 cuDNN 学习研究【笔记】
  • iOS 自动翻滚广告条(榜单条)实现方案
  • CF998A Balloons​ 构造 ​
  • 牛客寒假集训营1
  • 基于Java的远程视频会议系统(源码+系统+论文)
  • 数据库如何清空重置索引,MySQL PostgreSQL SQLite SQL Server
  • ToDesk云电脑将终结显卡溢价,Web端浏览器、安卓、IOS免费试用
  • 【C++学习篇】C++11
  • Mac电脑修改hosts文件内容
  • 高效知识管理与分类优化指南:从目录设计到实践应用
  • SSA-TCN麻雀算法优化时间卷积神经网络时间序列预测未来Matlab实现
  • 力扣-字符串-28 找出字符串中第一个匹配项的下标