anythingllm服务器部署+ollama+deepseek+实现本地知识库问答

一、docker安装anythingllm

1、拉取镜像

docker pull mintplexlabs/anythingllm:latest

2、创建db目录和配置文件并运行 anythingLLM 容器

export STORAGE_LOCATION=/data/ai/wjh_team/anythingllm && \

mkdir -p $STORAGE_LOCATION && \

touch "$STORAGE_LOCATION/.env" && \

docker run -itd -p 3001:3001 \

--cap-add SYS_ADMIN \

--add-host=host.docker.internal:192.168.100.101 \

-v ${STORAGE_LOCATION}:/app/server/storage \

-v ${STORAGE_LOCATION}/.env:/app/server/.env \

-e STORAGE_DIR="/app/server/storage" \

--name anythingllm \

--gpus all \

--memory="16g" --cpus="4" \

--privileged \

mintplexlabs/anythingllm:latest

• /app/server/storage：容器内部路径，容器运行时会将文件存储在这个目录中。
• /data/ai/wjh_team/anythingLLM_server/storage: 你的本地存储路径，用于存储模型、数据等。
• /data/ai/wjh_team/anythingLLM_server/env: 配置文件路径，包含必要的环境变量。
• 3001:3001: 将容器的 3001 端口映射到宿主机的 3001 端口。

3、查看Docker log

docker logs anythingllm -f

4、进入容器

docker exec -it anythingllm /bin/bash

5、本地运行

http://宿主机ip地址:3001/

anythinllm功能丰富，可以设置自定义的图标工具箱等。

二、docker安装ollama并运行deepseek

1、拉取镜像

docker pull ollama/ollama

2、运行容器

docker run -d --gpus=all -v /data/ai/wjh_team/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3、直接进入容器

docker exec -it ollama /bin/bash

4、运行模型

docker exec -it ollama ollama run deepseek-r1:32b

5、在anythingllm上使用

三、搭建本地知识库

最后就可以基于你上传的文档进行提问了。