保姆级离线+windows环境+私有化部署大模型

基于gis数据的高敏感高保密性要求，相信gis的小伙伴都有如下的需求：在内网，无外网环境下，部署自己的私有化大模型。

1.环境背景：

没有Linux环境，只是windows

无外网，内网环境

2.安装部署过程：

一、Ollama下载安装
进入官网：github.com
点击Download
选择Windows，点击Download for Windows (Preview)
默认安装。

安装完成以后在win+r，输入cmd，弹出dos命令界面。输入ollama。

右侧状态栏出来小绵羊就算成功了。

二、创建环境变量

OLLAMA_MODELS，随意指定变量值，如图所示：

二、支持的模型

三、下载模型的地址

（1）国内大模型源文件下载地址https://modelscope.cn/models

（2）国外大模型源文件下载地址https://huggingface.co/models

三、大模型下载安装

1.我选择的阿里qwen2，下载Qwen2

我这是离线部署，只能把几个g的模型下载到本地，然后安装，如果不是离线，一个命令就搞定了，别在我这个文章晃了。

进入魔塔社区下载：通义千问2-7B-Instruct-GGUF · 模型库 (modelscope.cn)

Qwen2是刚出来的号称国内最强开源大模型。之前还有1.5的，肯定要选2的吧，选择instruct就是内含训练好的模型。不带的需要自己训练。 GGUF文件就是模型文件。有0.5B，7B，14B……72B，前面的数字是存储权重的位数（精度）参数越大越费显存，数字越大性能越强。

k是在所有的attention和feed_forward张量上将精度提升2位，m是在一半的attention和feed_forward张量上将精度提升2位。

instruct是训练好的模型，包含从0.5亿到720亿参数的指令调优语言模型，包括一个专家混合模型。具体来说，这里有一个指令调优的7亿参数Qwen2模型。

废话一下：传说又有2.5更牛，通义千问2.5是一个集成了通义大模型全栈能力的全能AI助手。它支持多种文件格式进行处理，包括PDF、Word、Excel等，且在文档处理方面，支持单次处理最长1000万字、100个文档。此外，于2024年，该APP更名为“通义APP”，其基模的性能可与GPT-4 Turbo相媲美。

模型可以去ollama gallary里面选择支持哪些模型都可以自己去选。

在下面列表按照自己的机器内存选一个合适自己的，选好以后，在右侧“下载”下载到本地就行，不用注册。怎么选呢？前面tab页有“模型介绍”可以翻过去查一下。

前面可以看模型介绍：
先在最下面点击效率评估，看下各个模型占的显存，选择适合自己的，比如我的显卡内存是8g显存，我选择的模型就是Qwen2-7B-Instruct GPTQ-Int4

2、准备Modelfile文件

（1）Modelfile参数说明

新建一个txt文件，改名成modelfile，去掉扩展名。在里面贴上这么一句

新建一个文件夹叫qwenmodel，把模型和modelfile都放进去

（2）执行命令

等待差不多10分钟，出现success表示成功。

 3.运行安装qwen2模型

进到cmd命令下面。

输入“cd d:/qwenmodel”

进入这个目录下面，然后在这个目录下，开始运行ollama安装

输入命令“ollama run qwenmodel”

输入ollama list查看大模型列表

输入ollama run 模型名称我这里装了两个，直接运行启动一个就行，ollama run+模型名称就从服务器端，把大模型启动起来了。这里犯了错，搞了好久才明白，如果下次开机还行用模型，直接在cmd命令页面下，使用命令“ollama run 模型名”就可以启动了，跟tomcat启动一个道理。