当前位置: 首页 > article >正文

本地部署DeepSeek方法记录

一、本地部署

1.下载安装LM Studio,下载地址:LM Studio - Discover, download, and run local LLMs

2.下载 DeepSeek 模型文件

打开 LM Studio,点击左侧 Download 标签。

搜索 deepseek,选择模型版本点击下载。

3. 加载模型到 LM Studio

找到模型的下载路径,设置为模型的加载路径,模型加载成功会在下方显示加载成功的路径。选择的文件为模型所在位置的的上两层文件。

4.点击聊天选择要加载的模型即可

二、通过服务器调用本地的Deep Seek

1.打开开发者界面,右侧第二个,开始服务器(Start Server),选择要加载的模型

加载完成的界面如下:

2.用 VSCode 中编写并运行 Python 程序测试 LMStudio 本地服务器。

①安装 Python 编辑器
首先,确保电脑上已安装 Python编辑器。
安装时,务必勾选"Add Python to PATH”选项,以便在命令行中直接使用 python 命令。
②安装 Visual Studio Code(VSCode)
③安装 Python 扩展
打开 VSCode 后,点击左侧活动栏中的“扩展“图标(或使用快捷键 ctrl+shift+x),在搜索框中输入
'Python”,找到由 Microsoft 发布的 Python 扩展,点击“安装”。
④.打开工作文件夹
在 VSCode 中,点击左上角的“文件“菜单,选择“打开文件夹”,然后选择用于存放 Python 文件的文件夹。
⑤.创建新的 Python 文件
在左侧资源管理器中,右键点击您的工作文件夹,选择“新建文件”,输入文件名(例如test lmstudio.py)。

3.编写测试代码,直接使用LML studio提供的代码即可:

# Example: reuse your existing OpenAI setup
from openai import OpenAI

# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

completion = client.chat.completions.create(
  model="model-identifier",
  messages=[
    {"role": "system", "content": "Always answer in rhymes."},
    {"role": "user", "content": "Introduce yourself."}
  ],
  temperature=0.7,
)

print(completion.choices[0].message)

将其中的url地址和模型名需要替换为自己的即可。这个在LM开启服务器和选择模型后会显示在API Usage页面可见。

运行程序测试结果如下:


http://www.kler.cn/a/539050.html

相关文章:

  • 利用 Python 爬虫获取按关键字搜索淘宝商品的完整指南
  • 【自学笔记】文言一心的基础知识点总览-持续更新
  • LabVIEW之TDMS文件
  • Rust unresolved import `crate::xxx` 报错解决
  • BFS算法——广度优先搜索,探索未知的旅程(下)
  • 使用数学工具和大模型结合训练专有小模型(有限元算法和大模型微调)
  • DeepSeek R1蒸馏版模型部署的实战教程
  • 【C语言标准库函数】浮点数分解与构造: frexp() 和 ldexp()
  • 35~37.ppt
  • linux openssl 版本管理:不要手动更新系统的openssl版本
  • Win11经典开始菜单增强工具
  • Jenkins 自动化测试
  • 游戏引擎学习第92天
  • 基于STM32HAL库的万年历系统
  • 【开源免费】基于SpringBoot+Vue.JS乐享田园系统(JAVA毕业设计)
  • 数据库创库建表处理
  • 人工智能-A*算法与卷积神经网络(CNN)结合实现路径规划
  • 四边形网格处理——沿Edge遍历 矩形域顶点提取
  • TestContext 框架核心机制详解
  • PHP中的魔术方法
  • 激活函数和激活函数汇总
  • 滑动窗口核心算法解决字符串问题(最小覆盖子串/字符串排列/异位词/最长无重复子串)
  • [vue3] Ref Reactive
  • 如何在Python中使用内置函数
  • 【Golang学习之旅】Go + Redis 缓存设计与优化(项目实战)
  • 2.9学习总结