ollama API 本地调用
ollama API 本地调用
-
前提条件，ollama 已经启动了模型，查看 ollama 中的 model 名称
ollama list
-
使用 openai 调用
from openai import OpenAI import openai openai.api_key = 'ollama' openai.base_url = 'http://localhost:11434/v1/' def get_completion(prompt, model="qwq"): client = OpenAI(api_key=openai.api_key, base_url=openai.base_url ) messages = [{"role": "user", "content": prompt}] response = client.chat.completions.create( model=model, messages=messages, stream=False ) return response.choices[0].message.content prompt = '你好，请介绍下你自己' model = "qwq" get_completion(prompt, model=model)
可以使用 fastapi将后端服务暴露出来