大模型本地部署使用方法（Ollama脚手架工具、FisherAI浏览器大模型插件、AnythingLLM大模型集成应用平台）

一、Ollama

（一）Ollama简介

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供简单高效的接口，用于创建、运行和管理这些模型，方便用户直接使用，也方便用作后台服务支撑其它应用程序。熟悉网络应用开发的工程师可以将Ollama理解为脚手架工具，或k8s的kubectl。

（二）Ollama安装

下载地址：https://ollama.com/download

安装完后，在命令行输入ollama并回车，可以看到提醒列表，列出了所有的可用命令。

$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

安装完ollama后，ollama服务器默认后台已启动，使用ollama serve命令会提示11434端口被占用。可以在任务管理器中搜索ollama.exe，结束该进程。再通过ollama serve命令，就可以以前台运行的方式观察ollama在运行过程中的实时反馈日志。

注意：
若要让ollama支持第三方应用访问，需要将其配置为可跨域访问，否则第三方应用访问ollama会出现403错误。
配置方法为添加两个环境变量，OLLAMA_HOST=0.0.0.0，OLLAMA_ORIGINS=*

（三）安装和使用大模型

1. 下载大模型

$ ollama pull deepseek-r1:8b #下载大模型
$ ollama list #查看已下载的大模型

在https://ollama.com/search查看可供下载的大模型列表.

2. 打开大模型对话界面

$ ollama run deepseek-r1:8b
>>> Send a message (/? for help)

3. 查看正在运行的大模型

$ ollama ps
NAME                ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:8b      a42b25d8c10a    4.9 GB    100% GPU     4 minutes from now

二、FisherAI

（一）FisherAI简介

FisherAI是一款Chrome浏览器的AI大模型插件，可以利用各种大模型为网页提供自动摘要、网页翻译、视频翻译等功能。

（二）FisherAI下载安装

下载地址：直通车

下载后解压可得到crx文件，将该文件的后缀改为.zip，再解压。

在chrome中打开扩展程序管理页面：chrome://extensions。首先将开发者模式打开，再点击“加载已解压的扩展程序”，选择刚才解压的文件夹。安装成功后，点击浏览器右上角的扩展程序按钮，可看到FisherAI图标。

（三）FisherAI配置

点击FisherAI图标，可打开右侧扩展栏。（安装之前已打开的页面，需要刷新后再点击该图标才能打开扩展栏。）

由于之前已经启动了ollama服务，在扩展栏对话框上方有一个选择大模型的下拉列表，可以找到刚才安装在ollama上的deepseek-r1:8b。选择好模型后，则可使用FisherAI提供的各种功能。

注意：
若仍无法使用，记得要将ollama设置为支持跨域访问，具体方法见前文。

若要使用其它大模型，需要先到配置页面设置云端大模型的api key。点击扩展栏上方的设置按钮，进入FisherAI后台配置页面。根据您需要使用的云端大模型，申请并填入api key。

划词翻译无法使用ollama本地部署的大模型，需要配置至少一个云端大模型，并在划词翻译配置项中选择该模型。

三、AnythingLLM

（一）AnythingLLM简介

AnythingLLM可以帮助用户在本地或云端搭建个性化的聊天机器人系统，将本地文档、资源或内容转化为大语言模型在聊天过程中可以用作参考的上下文（RAG），可用于文档处理、代码生成、创意写作、数据分析、项目管理等多种场景，是一款功能强大、易用、可本地部署的大模型集成应用平台。

下载网址：直通车

（二）配置

安装后，需要进行三方面的配置。

1. 全局设置

点击左下角扳手图标，进入全局设置页。

LLM首选项中，提供商选择Ollama，并选择Ollama中已经部署在本地的deepseek-r1模型。

向量数据库直接使用AnythingLLM默认自带的就行。

Embedder首选项，可以选择nomic-embed-text，该模型需要使用ollama安装到本地。$ ollama pull nomic-embed-text:latest

代理技能中，可以根据需要将相关代理设置为On，比如RAG打开后，可通过agent检索本地文档内容，Web Search打开后，可以通过agent检索互联网内容。

注意：
Web Search需要进行额外配置，这里推荐使用Tavily Search，需要到Tavily官网注册用户，并申请一个API Key，每个月可以免费使用1000次查询。

2. 工作区本地库管理

新建一个工作区，点击工作区右侧上传文件图标，可进入本地库管理页面。本地库可上传本地的文档，这些文档会被解析为向量，并保存到向量库中。对于需要在查询时参考的文档，需要从本地库中选种，并点击Move to Workspace按钮，下方的Workspace库中就可看到新增的参考文档，点击右下方的Save and Embed，完成RAG构建。

3. 工作区配置

点击工作区右侧齿轮按钮，进入工作区配置页，可对工作区进行独立配置，配置将覆盖全局配置。

工作区配置中，代理配置最重要。选择工作区代理LLM提供商，仍然选择Ollama，并选择已经部署在本地的deepseek-r1:8b模型。

（三）使用AnythingLLM

在工作区中，可以对大模型进行提问。但为了能让大模型回答问题更有针对性，要善于使用agent调用本地RAG库和调用网络查询。

使用agent的方法是在问题的前面添加@agent 。

为了调用本地RAG库，可如下组织问题：

@agent 根据所提供的文档，xxx

为了调用网络查询，可如下组织问题：

@agent 请搜索网页，xxx

如果配置了数据库agent，也可调用数据库查询：

@agent 请搜索数据库，xxx