当前位置： 首页 > article >正文

[linux本地部署ai 未完成]

article 2024/11/28 19:34:52

ollama

Ollama 是一款本地大模型运行框架，旨在帮助用户在无需云服务的情况下，利用个人设备部署并运行各种大模型。相比于依赖云计算资源，Ollama 能够直接在本地实现大模型推理，适合那些对数据隐私要求较高的场景，如医疗、金融或企业内部数据处理。

官网

点击download后

复制下面命令 终端执行即可

安装完成后我们访问127.0.0.1:11434

此时他已经运行

命令行输入ollama 会看到参数和用法

ollama list 查看本地安装的大模型

现在需要选择模型了我这里选择的是

直接复制蓝色的代码

完成

ollama list 查看模型

ollama run 模型名字

ollama rm 删除模型

docker

安装

开机自启动 和启动docker

创建docker组 并将当前用户加入docker组

重启一下

MaxKB

MaxKB - 基于大语言模型和 RAG 的知识库问答系统 - 官网

运行在线部署

完成后就访问8080端口

账号密码admin MaxKB@123..

进去后需要修改密码

首先需要

可以直接复制ollama list中name字段


http://www.kler.cn/a/413181.html

相关文章：

  • 笔记mfc11
  • 【Android】静态广播接收不到问题分析思路
  • 【计算机网络】多路转接之select
  • 研0找实习【学nlp】15---我的后续，总结（暂时性完结）
  • 数据库编程（sqlite3）
  • 计算机毕业设计Python+大模型美食推荐系统 美食可视化 美食数据分析大屏 美食爬虫 美团爬虫 机器学习 大数据毕业设计 Django Vue.js
  • 【Linux 篇】Docker 启动和停止的精准掌舵：操控指南
  • 2024年11月23日Github流行趋势
  • Golang runtime/trace包实战：深度性能分析与优化技巧
  • 汽车免拆诊断案例 | 2017款捷豹F-PACE车发动机偶尔怠速不稳
  • 如何在 Ubuntu 22 04 上安装和配置 Ansible 自动化平台
  • Spring Boot的JdbcTemplate实现“不存在即插入，存在即更新”
  • python学opencv|读取图像
  • 参加面试被问到的面试题
  • go语言里的mkdir mkdirall有什么区别？
  • mysql批量插入并忽略重复的数据
  • 缓存使用规范学习
  • A050-基于spring boot物流管理系统设计与实现
  • 代码美学3：RGB转化+MATLAB制作渐变色
  • nodejs import 导入module.exports = xxx的模块, 在ES6项目中导入commonJs规范的require模块
  • 物联网实验室建设方案
  • （长期更新）《零基础入门 ArcGIS(ArcMap) 》实验二----网络分析（超超超详细！！！）
  • 鸿蒙本地模拟器 模拟TCP服务端的过程
  • python简单算法
  • java全栈day10--后端Web基础(基础知识)
  • Nginx 架构与设计