当前位置: 首页 > article >正文

深度学习-81-大语言模型LLM之基于litellm与langchain与ollama启动的模型交互

文章目录

  • 1 LiteLLM
    • 1.1 生成对话补全
    • 1.2 响应格式(OpenAI Format)
    • 1.3 异步调用
    • 1.4 流式生成对话补全
    • 1.5 支持的ollama模型
  • 2 langchain
    • 2.1 LangChain简介
    • 2.2 LangChain架构
    • 2.3 构建简单LLM应用程序(OllamaLLM)
      • 2.3.1 生成对话补全
      • 2.3.2 流式生成对话补全
    • 2.4 聊天模型(ChatOllama)
      • 2.4.1 Invoke调用
      • 2.4.2 stream流式
    • 2.5 简单的LLM链
      • 2.5.1 提示模板
      • 2.5.2 输出解析器
  • 3 参考附录

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架,Ollama能够在包括CPU、GPU在内的不同的硬件环境上,运行各种精度的GGUF格式大模型。
可以通过执行一个ollama run命令来运行Hugging Face上4.5万多个GGUF格式大模型,另外也可以直接加载运行ModelScope模型库上的GGUF模型。

GGUF(Georgl Gerganovs Universal Format)是一种专门为大型语言模型(LLM)设计的文件格式,由llama.cpp项目开发。这种格式的主要目标是提高模型的推理速度和优化内存占用,以适应资源受限的设备上部署大型语言模型的需求,它代表了对之前GGML(Georgl Gerganovs Machine Learning)格式的重要升级。

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库,用于LLM推理和服务,可以和HuggingFace无缝集成。

1 LiteLLM

要求python版本3.9及以上。
Call all LLM APIs using the OpenAI format
在这里插入图片描述


http://www.kler.cn/a/499970.html

相关文章:

  • Spring——自动装配
  • android四大组件之一——Service
  • 解决WordPress出现Fatal error: Uncaught TypeError: ftp_nlist()致命问题
  • 复古黑白恐怖迷幻眼睛纹身刺青插画潮流艺术png免抠拼贴图片素材Mindrift. Psychedelic Illustrations
  • Springboot——钉钉(站内)实现登录第三方应用
  • C++实现设计模式---访问者模式 (Visitor)
  • 解决 VSCode 调试时 Python 文件出现相对路径报错问题‘FileNotFoundError’
  • Swift 趣味开发:查找拼音首字母全部相同的 4 字成语(上)
  • 智慧充电桩可视化管理提升能源效率
  • xml简介
  • Docker中安装Tailscale方法一
  • OceanBase数据库设计与管理:构建高效分布式数据架构基石
  • Stable diffusion的SDXL模型,针不错!(含实操)
  • git push报错 unauthorized email account cannot submit code
  • 老榕树的java专题:探索 Nacos:微服务架构中的配置与服务发现利器
  • 【ArcGIS微课1000例】0138:ArcGIS栅格数据每个像元值转为Excel文本进行统计分析、做图表
  • C语言基本知识复习浓缩版:控制语句--循环
  • 汽车免拆诊断 | 2017 款东风风神 AX7 车热机后怠速不稳
  • 基于单片机的智能家居排气扇系统设计
  • 大语言模型分词器
  • MySQL库表的操作
  • 【2024年华为OD机试】 (A卷,100分)- 端口合并(Java JS PythonC/C++)