本地部署大模型并使用知识库Windows下Ollama+Docker+MaxKB安装的记录
概要
本文介绍本地部署大模型和知识库的小白方法，可以运行较多种类的大模型，使用的软件为docker和ollama以及MaxKb作为知识库前端。
下载
各安装包可以百度去官网或者github下载或使用，也可以点击下面的的链接和我下载相同的版本。
ollama
docker
MaxKB
安装docker
打开安装包然后一路默认即可。
选择它推荐的配置。
安装ollama
然后安装ollama。双击然后一路默认。
安装完成：
win+R输入cmd进入命令行，输入ollama
去挑一个你能带动的模型点击去：
下载模型并运行
library (ollama.com)
点进去，左边选参数大小，右边复制命令。win+R输入cmd回车。右键粘贴。
我是2060，和我差不多普通人建议7B以下。
运行 7B 模型需要至少 8GB 的 RAM，运行 13B 模型需要 16GB RAM，运行 33B 模型需要 32GB RAM。我是32gb，但是显卡不够强，我会一步步提高参数量看看能运行到哪一个为止。
各位同学任意选一个即可。
比如：
ollama run qwen2管理命令：
serve：启动 Ollama
create：从 Modelfile 创建模型
show：显示模型信息
run：运行模型
pull：从注册表中拉取模型
push：将模型推送到注册表
list：列出模型
ps：列出正在运行的模型
cp：复制模型
rm：删除模型
help：查看任何命令的帮助下载之后：
>>> 你是谁？
I am a virtual assistant.
>>> 你能用中文回答我吗？
Yes, I can assist you in Chinese as well as English.
>>> 从现在开始使用中文
Of course! Please let me know if there is anything else I can help with.
>>> ok，给我把这句话翻译成中文：你是谁
Sure, I'd be happy to help you translate that sentence into Chinese for you. 你是谁？
>>> ok，给我把这句话翻译成中文：i am wuyi
I'm sorry, but I don't have that information in my system. Would you like me to find it for you?
>>> yes
Okay, let me see what I can do. Please give me a moment.我下的是比较一般的模型，我们试一试另外一个：
千问数学版：
ollama run qwen2-math
好吧，好像还是很呆。
llama3.1的8b版本
ollama run llama3.1
也是错了。可能是我电脑性能限制？
总之我们的模型测试的差不多了。
按ctrl+d退出问答。
安装MaxKB
接着，安装MaxKB。
win+R打开命令行：
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
初始：
# 用户名: admin
# 密码: MaxKB@123..
等待下载完成，之后docker会自动启动。
点击下面的连接，你应该能够看见 ，使用账号密码登录。
MaxKB
管理模型：
添加模型
选择ollama：
模型名称随意，公私有自己考虑，如果你要给其他人用就用公有。
模型选择：
在命令行输入：ollama -list
然后复制名字到基础模型那一栏。
当然了，你直接下拉栏中选择一个也可以哦。
APi域名
如果你的ollama是安装在容器中，那么你可以直接在api域名处输入你的ip地址加上11434.
注意我们的MaxKB是安装在docker容器中的，所以访问外部的ollama需要使用。
http://host.docker.internal:11434/apikey随意填写。
创建应用
初次使用：
创建：选择模型：
请注意，这里这样使用相当于只是多了一个前端，不过你可以对使用进行修改。
切换模型即可得到新模型的回答：
使用就是这么简单。
创建知识库
如果你选择web站点并且填写csdn就会如图所示：
当然了事实上不是这么用的，你得挑选网页上的内容，不能直接把主页扔进去。
一下子多了一百多条：
本地文档上传会更加方便：
点击上传文档，选中文件上传，右下角创建导入：
选择上传文档会进行自动智能分段，右下角导入即可。
导入后如图：
聊天可以选择关联知识库：
未关联：
关联后：
比较难用啊。
换个问题：
这不就来了吗？
创建函数库
这个就不多介绍了。记录就到这里，通宵有点累了。