当前位置: 首页 > article >正文

AI大模型,我选本地部署国产开源DeepSeek

1 安装模型部署工具

Ollama是一款开源的本地化大型语言模型(LLM)运行和部署工具,专注于简化大型语言模型在本地环境中的安装、管理和交互流程。它特别适合开发者和研究者快速在本地计算机(尤其是支持GPU的设备)上运行如Llama、Mistral、Gemma等主流开源大模型,无需复杂的配置即可直接体验模型能力。

1.1 下载Ollama

使用浏览器打开Ollama下载地址,当前Ollama提供macOS、Linux、Windows三种操作系统的安装包,读者选择合适的安装包进行下载,笔者以macOS为例。

image-20250208115151052

1.2 安装Ollama

image-20250208120036329

image-20250208120107087

1.3 验证安装是否成功

安装完成后,如何判断Ollama安装成功呢?在macOS上使用快捷键Command + 空格键方式打开聚焦搜索框,输入“终端”,按回车键打开终端应用程序。在终端应用程序中输入ollama -v命令,如果完整输出Ollama的版本信息,则表示安装成功。否则,重新打开Ollama安装包进行安装。

image-20250208120705741

2 部署DeepSeek R1模型

在Ollama官网切换Models页签,选择第一个deepseek-r1模型。

image-20250209105020790

2.1 DeepSeek-R1模型

DeepSeek-R1提供了蒸馏后的小模型1.5b、7b、8b、14b、32b、70b,以及基础大模型671b,区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本、适用场景以及硬件要求方面。笔者尝试使用1.5b模型,相较于其他模型对硬件的要求比较低,可用于学习。

进入deepseek-r1模型详细页面,在列表中选择1.5b,然后复制ollama运行命令。

image-20250209123701812

2.2 下载DeepSeek-R1模型

在终端中粘贴复制的Ollama命令ollama run deepseek-r1:1.5b,当然我们可以指定其存储路径。

image-20250209123953287

注:下载速度过慢,可以使用^+C退出命令,然后重新输入命令启动下载。

下载完成后,会出现success,表示我们现在可以直接进行对话,或者输入/?获取具体的命令列表。

image-20250209125823852

2.3 初次体验

接下来,让它帮用Java语言编写输出9*9乘法口诀的代码,并输出结果。首先,模型对我们的需求进行了详细的推理,这种明确的推理过程有效的帮助了用户对问题的认知。

image-20250209130932764

模型根据推理过程,输出我们需要的具体内容。

image-20250209131031281

这种形式的输入输出对于用于来说,不是很友好,就上面输出结果而言,代码缺少高亮。接下来,我们将

使用一些开源的、支持多种流行LLM模型的桌面客户端来让我们的模型更倾向于用户的使用习惯。

3 Chatbox

Chatbox是一款支持多种流行LLM模型的桌面客户端,当前提供macOS、Windows、Linux操作系统安装包。

image-20250209131549814

安装完成后,在打开的Chatbox中选择“使用自己的API Key或本地模型”。

image-20250209132902742

在“选择并配置AI模型提供方”弹窗中选择本地部署的“Ollama API”。

image-20250209133031741

接下来,需要配置我们的模型,在模型下拉列表中选择我们部署到本地的deepseek-r1:1.5b,其他的默认即可,点击“保存”按钮保存即可。

image-20250209172514927

我们依旧使用2.3小节的体验示例来体验我们的配置的deepseek-r1:1.5b模型,可以在对话框右上角查看当前使用的模型。

image-20250209173450595


http://www.kler.cn/a/539116.html

相关文章:

  • 2025.2.9 每日学习记录2:技术报告写了一半+一点点读后感
  • 数巅科技中标科学城数科集团AI辅助企业数字化转型评估诊断
  • 【多模态大模型】系列1:CLIP【多模态领域开山之作】
  • python 语音识别方案对比
  • 2.9寒假作业
  • 通过Demo案例的形式弄懂Java中的设计模式
  • json格式化html
  • HTML开发常见错误排查技巧与浏览器兼容性解决方案
  • Java 大视界 -- Java 大数据在智能政务中的应用与服务创新(78)
  • Linux高并发服务器开发 第十六天(execlp/execl 进程回收/孤儿进程/僵尸进程 wait/waitpid回收 进程间的通信)
  • 【BUUCTF杂项题】刷新过的图片
  • [8-2-2] 队列实验_多设备玩游戏(红外改造)_重录
  • LLMs之DeepSeek r1:TinyZero(复现 DeepSeek R1 Zero 的核心功能)的简介、安装和使用方法、案例应用之详细攻略
  • SpringBoot 接口内容加密方案(RSA+AES+HMAC校验)认知
  • Python基础语法精要
  • 笔记:理解借贷相等的公式
  • Linux debugfs虚拟文件系统
  • COBOL语言的安全开发
  • 背包问题1
  • 交易一张股指期货需要多少钱?
  • Snipaste 截图软件下载与使用教程:附百度网盘地址
  • Leetcode 3449. Maximize the Minimum Game Score
  • 【MQ】Spring3 中 RabbitMQ 的使用与常见场景
  • 2025.2.9机器学习笔记:PINN文献阅读
  • excel拆分表格
  • Processing P5js姓氏数据可视化项目