当前位置: 首页 > article >正文

ollama API 本地调用

ollama API 本地调用

  • 前提条件,ollama 已经启动了模型,查看 ollama 中的 model 名称

    ollama list
    

    image-20250314230724978

  • 使用 openai 调用

    from openai import OpenAI
    import openai
    
    openai.api_key = 'ollama'
    openai.base_url = 'http://localhost:11434/v1/'
    
    def get_completion(prompt, model="qwq"):
        client = OpenAI(api_key=openai.api_key,
                        base_url=openai.base_url
                        )
        messages = [{"role": "user", "content": prompt}]
        response = client.chat.completions.create(
            model=model,
            messages=messages,
            stream=False
        )
        return response.choices[0].message.content
      
    prompt = '你好,请介绍下你自己'
    model = "qwq"
    get_completion(prompt, model=model)
    

    image-20250314230516157

    可以使用 fastapi将后端服务暴露出来


http://www.kler.cn/a/585264.html

相关文章:

  • MTK Android12 最近历史任务 最左侧的清除历史任务改到页面底部
  • SAP IBP for Supply Chain Certification Guide (Parag Bakde, Rishabh Gupta)
  • Go语言入门基础详解
  • 深入浅出消息队列 (MQ)
  • 提升开发效率的FPGA/IC小工具
  • CSS3学习教程,从入门到精通,CSS3 选择器语法知识点及案例代码(3)
  • 区块链技术与 DICT(数字化信息与通信技术)的结合
  • 江苏无锡一家汽车零部件企业终止,拓展氢燃料电池存不确定性
  • 网易爆米花 1.8.2| 免费无广告,智能刮削,聚合6大网盘,全端无缝看片
  • ArcGIS助力水文分析:数据处理、地图制作与流域特征提取
  • uni-app打包h5并部署到nginx,路由模式history
  • QKV矩阵:优维大模型自注意力机制的数学之美
  • TCP 采用三次握手建立连接的原因
  • 30天学习Java第六天——Object类
  • C++ const 使用
  • Android源码学习之Overlay
  • 实现手机手势签字功能
  • 在线教育网站项目第四步 :学习Vue3 + Nuxt3+springcloud,服务器为ubuntu24.04
  • 日志Python安全之SSTI——Flask/Jinja2
  • go中实现子模块调用main包中函数的方法