当前位置: 首页 > article >正文

CodeGPT使用本地部署DeepSeek Coder

    目前NV和github都托管了DeepSeek,生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI,分别时Agents,Local LLMs(本地部署AI大模型),LLMs Cloud Model(云端大模型,从你自己账号设置中把key拷贝过来就行)

     我们使用Ollama管理本地部署的大模型,到 Ollama 官方网站下载Ollama。在Ollama网站山更可以搜索它支持的模型,

点击我们要部署的deepseek-coder-v2, 根据你的需要选择适当参数的ds模型,在右边就有生成对应的ollama安装命令,复制后到本地命令行运行即可安装。例如:

ollama run deepseek-coder-v2:16b   ollama run deepseek-coder-v2:236b

   也可以在VSCode的CodeGPT插件中安装对应模型,更加的省事,直接选择点击下载即可。

下载完成后,在命令用命令启动你的本地大模型,启动时间需要一点,直到按回车出现 >>>,大模型就启动成功了。这时候你可以敲个问题给大模型,能回到就说明部署成功。

也可以用OpenWebUI这个python插件,来通过web使用。

安装: pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

(有人反馈,没有安装msbuil的话,安装 open webui可能会报错,可以先安装 Microsoft C++ 生成工具 - Visual Studio  ,如果你是开发者就没这个问题)

安装完成后启动 openwebui服务,open-webui serve

之后就用浏览器链接 http://localhost:8080/ 

如果连接有问题,那么注意一下防火墙,开放一下8080端口即可。

    接下来配置CodeGPT的 Local LLMS,如果你没有安装它会推荐一些本地大模型给你(Recommend Models 见上图),如果你已经有安装了那么显示的时Installed Models(见下图)

选择已经本地部署的大模型后,无需在Connect to Ollama里填入Ollama的地址,也不用去点击
Connect. 否则CodeGTP会报 Error Model Not found。 Status 404。没仔细研究,

    


http://www.kler.cn/a/530349.html

相关文章:

  • 使用PyQt5绘制带有刻度的温度计控件
  • JAVA安全—反射机制攻击链类对象成员变量方法构造方法
  • 小程序项目-购物-首页与准备
  • PhotoShop中JSX编辑器安装
  • 【2025年最新版】Java JDK安装、环境配置教程 (图文非常详细)
  • .Net WebAPI -[HttpPut(“{fileServiceId:int}“)]
  • 菜单映射的工具函数整合
  • 数据结构---线性表
  • Linux网络 | 理解运营商与网段划分、理解NAT技术和分片
  • 开源智慧园区管理系统对比其他十种管理软件的优势与应用前景分析
  • 专业的定制版软件,一键操作,无限使用
  • 在React中使用redux
  • 从零开始玩转 Docker:用 Node.js 打印“Hello World”
  • MySQL的GROUP BY与COUNT()函数的使用问题
  • Skewer v0.2.2安装与使用-生信工具43
  • AlexNet论文代码阅读
  • OpenAI发布最新推理模型o3-mini
  • 1. 【.NET 8 实战--孢子记账--从单体到微服务--转向微服务】--前言
  • Nginx开发01:基础配置
  • AI模型平台之——ModelScope(魔搭)
  • 面试题-消失的数字-异或
  • 线性回归的损失和优化02
  • 小红的合数寻找
  • DeepSeek 详细使用教程
  • 笔灵ai写作技术浅析(三):深度学习
  • 携程Java开发面试题及参考答案 (200道-上)