从0开始本地部署大模型
这就开始从0开始本地部署大模型
下载Ollama
下载地址：https://ollama.com/download/windows
适用于MacOS、Linux和Windows，这里我下载Windows的安装包。
直接打开安装包，点击install即可，安装完成后可以在任务栏中看到Ollama程序已经启动。
此时，可以通过Windows terminal或其他Windows终端应用输入ollama即可验证是否安装成功。
安装MaxKB
未来能够有一个更加友好的交互页面，总不能一直都用命令行交互吧。
那么就可以使用MaxKB了，这是一个基于大语言模型和RAG的知识库问答系统。
官方网址：https://maxkb.cn/
这里我们可以通过docker来一键部署：
Windows上：docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
安装成功后，可通过浏览器访问 MaxKB：
http://目标服务器 IP 地址:8080
默认登录信息
用户名：admin
默认密码：MaxKB@123…
docker拉取完成后会自动启动，我们通过上面的默认地址和账号秘密即可登录。
在系统管理中可以找到模型设置，其中就可以添加私有Ollama模型了。
配置如下，其中API域名处不能使用127.0.0.1和localhost，因此改用你的本机IP地址即可。API key随意填写。
接下来，我们添加一个应用，选择这个下载的Llama3模型。
发布后的应用效果如下：
这样你就拥有了一个本地大模型了。