当前位置: 首页 > article >正文

【BUG】LLM|Ubuntu 用 ollama 部署 DeepSeek 但没输出,llama 有输出

文章目录

  • Ubuntu 22部署DeepSeek模型排障实录:Ollama版本兼容性问题解决方案
    • 问题现象
    • 完整排障流程
      • 阶段一:NVIDIA驱动异常
      • 阶段二:服务管理优化
      • 阶段三:版本升级方案
    • 最终效果
    • 优化建议
    • 参考文献

Ubuntu 22部署DeepSeek模型排障实录:Ollama版本兼容性问题解决方案

问题现象

在Ubuntu 22服务器部署DeepSeek模型时,发现Ollama服务无响应输出(如图1)。通过系统日志和版本比对,最终定位为Ollama版本过低导致的新模型兼容性问题。

部署失败现象


完整排障流程

阶段一:NVIDIA驱动异常

  1. 显存检查异常
    执行nvidia-smi指令缺失,通过【BUG】Ubuntu|有nvcc,没有nvidia-smi指令,找不到nvidia-driver安装包-CSDN博客更新NVIDIA驱动后恢复

  2. 模型加载测试
    更换14b模型仍无输出,排除基础驱动问题

阶段二:服务管理优化

  1. 进程管理误区

    ps -aux | grep ollama  # 查找进程号
    sudo kill -9 [PID]     # 强制终止进程(不推荐)
    

    发现进程自动重启,通过lsof -i:11434确认端口占用

  2. 规范服务管理

    systemctl list-units --type=service | grep ollama  # 服务定位
    sudo systemctl stop ollama.service                 # 停止服务
    

阶段三:版本升级方案

  1. 版本升级操作

    # 官方安装脚本(国内推荐使用Modelscope镜像加速)
    curl -fsSL https://ollama.com/install.sh | sh
    
  2. 服务重启验证

    sudo systemctl daemon-reload      # 重载配置
    nohup ollama serve > /dev/null 2>&1 &  # 后台启动
    

最终效果

升级Ollama至v0.5.10后成功加载DeepSeek模型(如图2),显存占用显示正常:

成功运行效果


优化建议

  1. 版本管理
    建议定期执行ollama -v检查版本,国内用户可通过Modelscope镜像加速下载

  2. 日志分析
    出现异常时可查看详细日志:

    journalctl -u ollama.service -f  # 实时查看服务日志
    

    如果提示你看不了消息,需要将当前用户添加到将当前用户添加到 ‘adm’ 或 ‘systemd-journal’ 组中。打开终端并执行以下命令,将你的用户名替换为实际的用户名(例如 your_username):sudo usermod -aG adm your_username

  3. 服务配置
    推荐通过systemd管理服务,参考官方服务配置模板


参考文献

  1. 【BUG】Ubuntu|有nvcc,没有nvidia-smi指令,找不到nvidia-driver安装包-CSDN博客
  2. Ollama官方文档
  3. Modelscope镜像站
  4. Systemd服务管理手册

本账号所有文章均为原创,欢迎转载,请注明文章出处:https://shandianchengzi.blog.csdn.net/article/details/145641554。百度和各类采集站皆不可信,搜索请谨慎鉴别。技术类文章一般都有时效性,本人习惯不定期对自己的博文进行修正和更新,因此请访问出处以查看本文的最新版本。


http://www.kler.cn/a/550927.html

相关文章:

  • 【第1章:深度学习概览——1.5 深度学习的核心组件与概念解析之损失函数与优化算法的选择】
  • OneCode 组件分类整理及枚举介绍
  • TensorFlow深度学习实战(8)——卷积神经网络
  • Spring MVC 的核心以及执行流程
  • Python实用技巧:轻松上手自动化数据爬取与存储
  • DeepSeek原理介绍以及对网络安全行业的影响
  • 计时器任务实现(保存视频和图像)
  • 【linux】在 Linux 上部署 DeepSeek-r1:32/70b:解决下载中断问题
  • 【机器学习】线性回归 多项式线性回归
  • 【MATLAB】解决mod函数、逻辑判断的误差问题
  • 小狐狸ai3.1.2版本源码无授权版本内 含搭建教程+各种上线教程
  • AMD R9-9950X服务器:游戏服务器搭建的终极利器
  • 解锁原型模式:Java 中的高效对象创建之道
  • Linux内存管理:深度解析与探索
  • 春招项目=图床+ k8s 控制台(唬人专用)
  • 如何使用Pytest参数化测试大规模生成单元测试用例
  • 在 Spring 怎么解决循环依赖的问题?
  • 前端模板引擎
  • 前端常见面试题-2025
  • ruby 的安装