基于 ollama 在linux 私有化部署DeepSeek-R1以及使用RESTful API的方式使用模型

由于业务需求部署的配置  deepseek:32b,linux配置GPU L20 4卡 ,SSD 200g，暂未发现有什么问题，持续观察中

##通用写法，忽略就行，与deepseek无关
import pandas as pd
from openai.embeddings_utils import get_embedding, cosine_similarity
import openai
import os
import logging as logger
from flask_cors import CORS
import os
openai.api_key = os.getenv('OPENAI_API_KEY')
 
class Chatbot():
 
    def parse_paper(self, pdf):
        logger.info("Parsing paper")
        number_of_pages = len(pdf.pages)
        logger.info(f"Total number of pages: {number_of_pages}")
        paper_text = []
        for i in range(number_of_pages):
            page = pdf.pages[i]
            page_text = []
 
            def visitor_body(text, cm, tm, fontDict, fontSize):
                x = tm[4]
                y = tm[5]
                # ignore header/footer
                if (y > 50 and y < 720) and (len(text.strip()) > 1):
                    page_text.append({
                        'fontsize': fontSize,
                        'text': text.strip().replace('\x03', ''),
                        'x': x,
                        'y': y
                    })
 
            _ = page.extract_text(visitor_text=visitor_body)
 
            blob_font_size = None
            blob_text = ''
            processed_text = []
 
            for t in page_text:
                if t['fontsize'] == blob_font_size:
                    blob_text += f" {t['text']}"
                    if len(blob_text) >= 2000:
                        processed_text.append({
                            'fontsize': blob_font_size,
                            'text': blob_text,
                            'page': i
                        })
                        blob_font_size = None
                        blob_text = ''
                else:
                    if blob_font_size is not None and len(blob_text) >= 1:
                        processed_text.append({
                            'fontsize': blob_font_size,
                            'text': blob_text,
                            'page': i
                        })
                    blob_font_size = t['fontsize']
                    blob_text = t['text']
                paper_text += processed_text
        logger.info("Done parsing paper")
        return paper_text
 
 
 

1.安装ollama模型运行框架

deepseek-r1:32b

github地址:https://github.com/ollama/ollama

Linux下执行：  curl -fsSL https://ollama.com/install.sh | sh  

2.ollama相关命令

ollama 服务相关命令
sudo systemctl stop ollama
sudo systemctl status ollama
sudo systemctl start ollama
sudo systemctl restart ollama

1.拉取模型
ollama pull xxx模型

2.运行模型
ollama run  xxx模型
退出聊天cmd  /bye

3.移除模型
ollama rm  xxx模型

4.显示模型信息
ollama show xxx模型

5.列出计算机上的模型
ollama list

6.列出当前加载的模型
ollama ps

7.停止当前正在运行的模型
ollama stop xxx模型


=====================
linux相关配置地址：https://github.com/ollama/ollama/blob/main/docs/linux.md

ollama服务默认端口 11434,修改ollama配置使其可以监听0.0.0.0和修改端口，可以外网访问
1.修改文件
vim /etc/systemd/system/ollama.service

2.增加
[Service]
Environment=“OLLAMA_HOST=0.0.0.0:xxxx”

3.重现加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

4.查看日志
journalctl -u ollama.service

5.执行 ollama 命令需要带上 OLLAMA_HOST=127.0.0.1:xxxx
例如 OLLAMA_HOST=127.0.0.1:xxxx ollama ps

ollama相关模型

3.ollama服务提供的api

官方文档地址：https://github.com/ollama/ollama/blob/main/docs/api.md

1.与模型聊天api,默认流式，如果不要流式 配置"stream": false

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:32b",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的？" }
  ],
  "stream": false
}'