学习本地部署DeepSeek的过程(基于LM Studio)
除了使用Ollama部署DeepSeek,还可以使用LM Studio部署DeepSeek,后者是一款允许用户在本地计算机上运行大型语言模型(LLMs)的桌面应用程序,旨在简化本地模型的使用,无需云端连接或复杂配置即可体验 AI 功能。本文学习并记录基于LM Studio部署DeepSeek的过程。
登录lmstudio官网,下载并安装LM Studio软件,如下图所示。
运行 LM Studio,第一次启动时会显示下图所示界面,点击右上角的“Skip onboarding”直接进入主界面。
点击主界面左侧的“发现”图标(图标为一放大镜),点击左下角的App Settings按钮,可以在右侧设置语言、主题等设置。
在同一界面,点击左上角的Model Search标签,在左侧按需搜索模型文件,本文中选择了配置要求较低的deepseek-r1-distill-qwen-1.5b模型,然后点击右下角的Download按钮下载并加载模型。
点击主界面左侧第一个聊天图标,在下图圈红处下拉选择模型,本文测试过程中会提示模型加载失败,报“Exit code: 18446744072635812000”的错误。
百度上述错误信息,找到参考文献3,提示可能是选择的运行时有问题。在主界面左侧点击发现图标,然后点击Runtime标签,在右下侧的配置运行环境中将GGUF设置为“CPU llama.cpp (Windows)。
再切换回聊天页面,在页面上方选择模型,然后就可以正常和本地模型对话了。
参考文献:
[1]https://lmstudio.ai/
[2]https://blog.csdn.net/hj960511/article/details/145390784
[3]https://blog.csdn.net/huangyabin001/article/details/145817292