基于LMStudio本地部署DeepSeek R1
DeepSeek R1
DeepSeek R1是由DeepSeek团队开发的一款高性能AI推理模型，其开源版本包括完整的DeepSeek R1 671B权重，以及基于其蒸馏出的多个小型模型。
DeepSeek R1通过蒸馏技术将推理模式迁移到更小的模型中，显著提升了这些模型的推理能力。例如：
-
DeepSeek R1-Distill-Qwen-7B：在AIME 2024上达到55.5%，超越QwQ-32B-Preview。
-
DeepSeek R1-Distill-Qwen-32B：在AIME 2024上得分为72.6%，在MATH-500上得分为94.3%，在LiveCodeBench上得分为57.2%，这些结果显著优于之前的开源模型。
LMStudio
LM Studio是一款功能强大的桌面应用程序，用于在本地计算机上运行和管理大型语言模型（LLMs），支持离线运行，确保用户数据的隐私和安全。以下是关于LM Studio的详细介绍：
功能特点
-
本地运行与离线支持：LM Studio允许用户在本地设备上运行LLMs，完全脱机运行，无需依赖云端服务。
-
丰富的模型支持：支持从Hugging Face下载多种开源模型，如Llama 2、Vicuna、Mistral、OpenOrca等。此外，它还支持Hugging Face上的任何ggml Llama、MPT和StarCoder模型。
-
用户友好界面：提供直观的图形化界面，方便用户进行模型搜索、下载和使用。
-
OpenAI兼容API：支持本地服务器模式，提供与OpenAI兼容的API接口，方便开发者集成和调用。
-
本地文档交互：用户可以将本地文件导入LM Studio，并与模型进行交互，实现文档内容的查询和分析。
-
模型微调与个性化训练：支持在本地数据集上对模型进行微调，以适应特定领域或任务。
硬件要求
-
操作系统：支持Windows、macOS（M1/M2/M3芯片）和Linux。
-
内存：建议至少16GB RAM。
-
显卡：支持NVIDIA、AMD等多种GPU，推荐使用支持CUDA的显卡。
-
硬盘空间：至少需要250GB的可用空间。
安装与使用
-
下载与安装：
-
访问LM Studio官网，下载适合您操作系统的安装包。
-
安装完成后，打开LM Studio。
-
-
模型下载与使用：
-
在LM Studio主界面中，通过搜索栏查找并下载所需的模型。
-
下载完成后，选择模型并开始使用。
-
-
本地服务器模式：
-
LM Studio可以作为本地服务器运行，提供与OpenAI兼容的API接口。
-
用户可以通过API接口在其他程序或应用中调用LM Studio。
-
优势与挑战
-
优势：
-
隐私保护：所有数据和计算都在本地进行，确保数据隐私。
-
多功能集成：除了文本生成，还支持本地文档交互和模型微调。
-
强大的社区支持：通过Hugging Face集成，用户可以轻松访问和下载丰富的模型资源。
-
-
挑战：
-
硬件要求较高：高性能硬件是运行大型模型的必要条件。
-
技术门槛：尽管界面友好，但模型优化和微调仍需要一定的技术背景。
-
LM Studio为用户提供了一个灵活、强大的平台，适合对数据隐私要求较高的用户，以及希望在本地环境中运行和管理大型语言模型的开发者。
安装LMStudio
在LMStudio的官网下载对应的安装包，支持 Windows，Linux，MacOS。
LMStudio 官网: https://lmstudio.ai/
下载完之后，打开文件，跟随指引正常安装。
LMStudio 的默认模型下载地址为 Hugging Face 平台，但由于众所周知的原因，我们需要设置一下国内可访问的 HF 镜像源。
打LMStudio的下载地址（最好用VScode打开）
将所有/huggingface.co/
全部替换成/hf-mirror.com/
https://huggingface.co/
https://hf-mirror.com/将https://huggingface.co/全部替换为https://hf-mirror.com/，然后重新打开LMStudio即可。
LMStudio使用
打开软件后，是如下画面：
点击左边的放大镜，在搜索栏中搜索r1
然后点击下载按钮即可。
下载完毕之后就可以在主页面对话啦！
当然LMStudio也支持部署api
点击 LMStudio 主界面的第二个按钮，可以进入开发者界面，打开此处的 api 部署服务，并在 Setting 中选择全部打开，这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。