本地部署DeepSeek方法记录
一、本地部署
1.下载安装LM Studio,下载地址:LM Studio - Discover, download, and run local LLMs
2.下载 DeepSeek 模型文件
打开 LM Studio,点击左侧 Download 标签。
搜索 deepseek,选择模型版本点击下载。
3. 加载模型到 LM Studio
找到模型的下载路径,设置为模型的加载路径,模型加载成功会在下方显示加载成功的路径。选择的文件为模型所在位置的的上两层文件。
4.点击聊天选择要加载的模型即可
二、通过服务器调用本地的Deep Seek
1.打开开发者界面,右侧第二个,开始服务器(Start Server),选择要加载的模型
加载完成的界面如下:
2.用 VSCode 中编写并运行 Python 程序测试 LMStudio 本地服务器。
①安装 Python 编辑器
首先,确保电脑上已安装 Python编辑器。
安装时,务必勾选"Add Python to PATH”选项,以便在命令行中直接使用 python 命令。
②安装 Visual Studio Code(VSCode)
③安装 Python 扩展
打开 VSCode 后,点击左侧活动栏中的“扩展“图标(或使用快捷键 ctrl+shift+x),在搜索框中输入
'Python”,找到由 Microsoft 发布的 Python 扩展,点击“安装”。
④.打开工作文件夹
在 VSCode 中,点击左上角的“文件“菜单,选择“打开文件夹”,然后选择用于存放 Python 文件的文件夹。
⑤.创建新的 Python 文件
在左侧资源管理器中,右键点击您的工作文件夹,选择“新建文件”,输入文件名(例如test lmstudio.py)。
3.编写测试代码,直接使用LML studio提供的代码即可:
# Example: reuse your existing OpenAI setup
from openai import OpenAI
# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
completion = client.chat.completions.create(
model="model-identifier",
messages=[
{"role": "system", "content": "Always answer in rhymes."},
{"role": "user", "content": "Introduce yourself."}
],
temperature=0.7,
)
print(completion.choices[0].message)
将其中的url地址和模型名需要替换为自己的即可。这个在LM开启服务器和选择模型后会显示在API Usage页面可见。
运行程序测试结果如下: