当前位置: 首页 > article >正文

【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用

【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用

【承接商业广告,如需商业合作请+v17740568442】

文章目录

    • 【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用
      • 个人配置详情
      • 一、安装ollama
      • 二、下载deepseek版本模型
      • 三、在 Linux 服务器上配置 Ollama 以允许远程访问
      • 四、 在 Windows 系统上连接到远程 Ollama 服务
      • 五、在远程服务器上部署 DeepSeek 并指定使用特定的 GPU

个人配置详情

DeepSeek 是一款基于深度学习的高性能 AI 模型,广泛应用于自然语言处理、图像识别等领域。它能够为用户提供强大的计算能力和智能解决方案。然而,由于 DeepSeek 模型的复杂性和资源需求,通常需要在高性能的 Linux 服务器上进行部署。而对于许多用户来说,日常使用环境往往是 Windows 系统。因此,实现从 Windows 系统远程访问部署在 Linux 服务器上的 DeepSeek,成为了许多开发者和研究人员的迫切需求。

我的服务器是有六张2080ti,四张是魔改版22GB,服务器用的是Ubuntu20.04版本,现在通过在服务器部署deepseek70b跟32b,然后在windows本地远程使用服务器部署的deepseek

一、安装ollama

1、安装依赖项
在部署之前,确保你的 Linux 系统已安装以下依赖项:

sudo apt update
sudo apt install -y curl

2、安装 Ollama
使用以下命令安装 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

3、验证是否安装成功

ollama --version

在这里插入图片描述

二、下载deepseek版本模型

ollama run

http://www.kler.cn/a/547845.html

相关文章:

  • halcon激光三角测量(十七)calibrate_sheet_of_light_3d_calib_object
  • 基于AIOHTTP、Websocket和Vue3一步步实现web部署平台,无延迟控制台输出,接近原生SSH连接
  • lean4安装
  • 把 CSV 文件摄入到 Elasticsearch 中 - CSVES
  • Pythong 解决Pycharm 运行太慢
  • C#(Winform)通过添加AForge添加并使用系统摄像机
  • 提取MV视频中的音频到mp3
  • 【Golang学习之旅】Go 语言微服务架构实践(gRPC、Kafka、Docker、K8s)
  • 国内 网络安全沙箱
  • 基于Odoo的数据中台建设:助力企业数据驱动决策
  • C#打印设计器
  • 机器学习:二分类和多分类
  • 解锁 DeepSeek 超强能力:蓝耘智算平台搭建实战秘籍
  • k8s集群离线安装kuberay operator
  • 以若依移动端版为基础,实现uniapp的flowable流程管理
  • 【第7章:注意力机制与Transformer模型—7.3 注意力机制与Transformer模型的优化与改进策略】
  • sql sqlserver的特殊函数COALESCE和PIVOT的用法分析
  • Jenkins+maven+gitlab+shell 实现项目自动化部署
  • Sentinel 源码深度解析
  • resultType,jdbcType,parameterType区别