深度学习-80-大语言模型LLM之基于streamlit与ollama的API开发本地聊天工具
文章目录
- 1 流式生成对话补全/chat
- 2 Streamlit开发聊天工具
-
- 2.1 初始化聊天信息
- 2.2 渲染历史信息
- 2.3 接收用户输入
- 2.4 调用LLM
- 3 优化可选择模型
-
- 3.1 获得模型信息
- 3.2 集成到streamlit
- 4 参考附录
1 流式生成对话补全/chat
使用ollama的API。
import requests
import json
base_url = "http://localhost:11434/api"
headers = {
"Content-Type": "application/json"
}
def generate_chat_completion(messages, model