当前位置：首页 > article >正文

Windows下从零开始基于Ollama与Open-WebUI本地部署deepseek R1详细指南（包含软件包和模型网盘下载）

article 2025/2/6 22:04:55

0. 概述

最近国产大模型DeepSeek很火，但有时因为访问人数过多导致反应慢甚至宕机。
在这里插入图片描述
但好在DeepSeek是开源的，可以本地部署，这样就不用联网也能用了。但本地部署需要考虑硬件需求，比如是否有足够的GPU资源，存储空间，以及是否熟悉相关的技术步骤。本地部署的优势，比如离线使用、数据隐私、响应速度。
是于本地部署，对硬件有一定的要求，特别是GPU，显然，GPU显存越大，就能部署参数更多的模型，通俗的讲，显存越大，模型越聪明。
下面是模型大小与所需硬件的关系：
在这里插入图片描述

1. 环境配置

我这里的使用远程服务器进行部署，系统是Windows,GPU是V100，32G显存，机子信息如下图（Windows下的模型部署步骤是一样的），要本地部署deepseek R1,首先要GPU驱动，Cuda,Cudnn,Ollama,Anaconda,Open-webui，这些我之前都打包放在网盘上。
在这里插入图片描述

1.1 显卡驱动

要使用GPU推理，首先要有GPU，其次就是要装上驱动，N卡驱动下载地址：https://www.nvidia.cn/drivers/lookup/
在这里插入图片描述
下载完成之后选择精简安装：

执行清洁安装：

1.2 CUDA

CUDA（Compute Unified Device Architecture，计算统一设备架构）是由全球知名的显卡制造商NVIDIA精心打造的通用并行计算架构。它为GPU（图形处理单元）赋予了强大的通用计算能力，使其能够高效地处理复杂而庞大的计算任务。借助CUDA，开发者可以充分利用GPU的并行处理优势，将原本需要耗费大量时间的计算任务分解为多个子任务并同时执行，从而显著提升计算效率，广泛应用于科学计算、数据分析、图形渲染等诸多领域。cuda下载地址：https://developer.nvidia.com/cuda-toolkit-archive，我这里使用了cuda 11.8:
在这里插入图片描述
下载完成之后安装：

选择自定义安装：

1.3 CUDNN

NVIDIA cuDNN（CUDA Deep Neural Network library）是专为深度神经网络设计的GPU加速库。它以卓越的性能、简洁的易用性以及低内存开销为显著特点，为深度学习领域的开发者提供了强大的支持。cuDNN能够无缝集成到众多高级别的机器学习框架中，例如谷歌的TensorFlow、加州大学伯克利分校开发的Caffe等。其简洁高效的插入式设计架构，使得开发人员可以将精力集中于深度神经网络模型的设计与实现，无需为底层的性能优化耗费过多精力。通过cuDNN，开发者能够在GPU上轻松实现高性能的现代并行计算，加速深度学习模型的训练与推理过程，为人工智能技术的快速发展提供了有力的硬件支撑。cudnn下载地址：https://developer.nvidia.cn/rdp/cudnn-archive 。
在这里插入图片描述
下载完成之后解压:

把目录下的bin,include,lib复制到cuda安装目录：

CUDA与cuDNN的关系

若将CUDA比作一个功能完备、工具齐全的工作台，那么它上面配备的各种工具（如锤子、螺丝刀等）就如同CUDA所提供的丰富计算资源和底层架构支持，为开发者搭建了一个强大的通用计算平台。而cuDNN则是基于CUDA平台开发的深度学习专用工具，它就像是一个高效精准的扳手。尽管CUDA这个工作台本身已经具备强大的基础功能，但要完成深度神经网络的高效计算任务，还需要借助cuDNN这个专业工具。换句话说，只有在安装了cuDNN之后，CUDA平台才能真正实现深度神经网络的快速计算，其运行速度相比传统的CPU计算方式，能够实现质的飞跃，极大地提升了深度学习模型的训练和推理效率，为人工智能领域的研究与应用提供了强大的动力。

1.4 Ollama

Ollama 是一个开源框架，专门用于在本地机器上便捷地部署和运行大型语言模型（LLM),Ollama 是一个轻量级、可扩展的框架，旨在简化在本地运行大型语言模型的复杂过程。它支持多种流行的 LLM 模型，如 LLaMA、Falcon、Mistral 等，并提供了一个简单易用的命令行界面。Ollama 的核心价值在于降低使用门槛，使得开发者、研究人员和爱好者能够在本地环境中轻松运行和管理各种大语言模型。
下载地址：https://ollama.com/download
在这里插入图片描述
安装：

安装完成之后，打开控制窗口：

输入：

ollama -v

在这里插入图片描述

1.5 Anaconda

Anaconda 是一个流行的开源数据科学平台，广泛用于数据科学、机器学习、深度学习和人工智能等领域。它提供了一整套工具和环境管理功能，帮助用户高效地进行数据分析和开发工作。可以从清华源下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
在这里插入图片描述
下载之后安装：

1.6 Open-webui

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 Web 界面，旨在完全离线运行，支持多种大语言模型（LLM）运行器，包括 Ollama 和与 OpenAI 兼容的 API。它提供了丰富的功能，如内置 RAG（Retrieval-Augmented Generation）推理引擎、支持 Markdown 和 LaTeX 格式、多语言翻译、图像生成等。
安装 open-webui是为了能使用ui界面与deepseek进行交互，打开conda的命令行：
在这里插入图片描述
创建一个环境，如果在安装过程中出错或者下载缓慢，如果有梯子则先关掉梯子，然后使用清华源进行安装，注意，这里的python版本必须大于等于3.11。

conda create -n deepseek python==3.11
conda activate deepseek
pip install open-webui
#使用清华源安装
#pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

安装成功之后运行：

open-webui serve

在这里插入图片描述

2.DeepSeek本地部署

2.1 下载模型

打开https://ollama.com/download,选择Models，第一个就是DeepSeek：
在这里插入图片描述
选择要下载的模型：

打开cmd，输入：

ollama run deepseek-r1:14b

之后会进入漫长的下载等待（如果下不了，文章后面有下好打包的百度网盘可用，有7B和14B两种尺寸），下载完成之后，就可以在当前命令行窗口进行对话：
在这里插入图片描述

2.2 基于open-webui的交互

打开conda的命令行：

conda activate deepseek
open-webui serve

在这里插入图片描述

然后在浏览器里面打开：http://localhost:8080/,如果是第一次打开，要注册一个账号，打开之后选择要使用的模型：
在这里插入图片描述
问答：

3.资源

3.1 软件包

我把难下载的程序打包到网盘链接: https://pan.baidu.com/s/1Z49flNzAWX0FIbqE41WlWw 提取码: 5uji 包含了Ollam、Anaconda、cudnn8.9(cuda 11.x)，下载之后直接用就可以。

3.2 模型

使用命令行下载的模型会很慢，我这里打了deepseek 7b和14b,deepseek-coder-v2:16b,链接: https://pan.baidu.com/s/1KuJLxfmmraElEDnYvwJoKA 提取码: hrqu ，下载了之后，放到ollama的目录，一般目录如下图，直接覆盖就可以了。
在这里插入图片描述