当前位置: 首页 > article >正文

大模型推理:LM Studio在Mac上部署Deepseek-R1模型

LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架,提供了易用的大模型部署web框架,支持Linux、Mac、Windows等平台,并提供了OpenAI兼容的SDK接口,主要使用LLama.cpp和MLX推理后端,在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

  • 机器信息:Mac studio M2 192G, MacOS
  • 部署模型:部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
  • 部署框架:LM Studio 0.3.13

安装

  • LM Studio官网下载安装文件,正常安装即可。
    在这里插入图片描述

模型下载

通过命令行或者web界面进行大模型下载时,默认走huggingface.co,国内需要特殊设置才能访问,因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

  • 下载源更换
    • 命令行进入目录:/Applications/LM Studio.app/Contents/Resources/app/.webpack,执行open . ,会以文件形式弹出该目录
    • 文本编辑器分别打开文件:main/index.js和rederer/main_window.js,选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co,全部替换,保存关闭
    • 重启LM Studio即可。
  • 大模型下载
    • 方式一:web页面下载
      在web页面选择需要下载的大模型,等待完成即可,完成后在web界面l或者命令行load(lms load [模型名称])。
    • 方式二:命令行形式下载
      在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在,完成后在web界面l或者命令行load(lms load [模型名称])。
    • 方式三:Git lfs 下载
      上述两种方式,我这儿下载时经常遇到下载暂停的形象,为解决这个问题,推荐 Git 大文件下载方式(推荐Modelscope)。
      • 安装Git lfs、初始化git lfs,可自行deepseek问下。
      • 模型下载后(Mac上通常选择mlx-community仓库中的mlx模型)将其放入目录:~/.lmstudio/models,结构是:仓库名称(可自定义)->包含文件权重的文件夹(文件夹名称可自定义)
      • 最后在web界面l或者命令行load(lms load [模型名称])。
      • 注意:也可通过lms imort命令去导入,但是文件夹下只能含有一个文件,而safetensors文件基本是多个,所以不是很推荐

模型服务

  • 模型load完成后,可在web页面聊天,lm studio自带web聊天界面
  • 模型load完成后,可使用OpenAI SDK接口调用,若提供给局域网其他使用,需开启local server模型并开启局域网访问,可在web界面操作

参考文献

  • LM Studio Docs
  • 在 MacOS 上为 LM Studio 更换镜像源

http://www.kler.cn/a/590627.html

相关文章:

  • Windows安卓子系统WSA安装面具Root
  • LabVIEW旋转设备状态在线监测系统
  • 域渗透—哈希传递攻击(PTH)学习
  • 攻克 PDF 发票打印难题,提升财务效率
  • 开发者部署工具PasteSpiderV5版本更新杂谈
  • AI幻觉时代:避坑指南与技术反思
  • 基于SpringBoot+Vue的电商应用系统的设计与实现(代码+数据库+LW)
  • 【项目管理git】git学习
  • Spring IOC(五个类注解)
  • Node.js入门指南:初探JavaScript的后端世界
  • LuaJIT 学习(5)—— string.buffer 库
  • Apifox使用总结
  • 力扣Hot100——169. 多数元素
  • OSPF与RIP联动实验
  • GStreamer —— 3.1、Qt+GStreamer制作多功能播放器,支持本地mp4文件、rtsp流、usb摄像头等(可跨平台,附源码)
  • 如何高效安装和配置WordPress:从基础依赖到高级设置
  • GaussDB分布式集群数据库创建database
  • 目标检测任务,如何区分两个相近似的目标
  • QT | 信号与槽(超详解)
  • 高级java每日一道面试题-2025年3月03日-微服务篇[Eureka篇]-Eureka自我保护机制是什么?