当前位置: 首页 > article >正文

如何借助 LLM Gateway (LLM网关)同时接入多款 AI 大模型?

随着 AI 技术的快速发展,国内外各种大模型涌现,文字的、图形的、视频的;不同的LLM 能力不一,价格优惠也不一。大多数企业考虑到 AI 大模型的成本和大模型的能力差异等因素,往往会同时接入多款大模型轮换调用。

而不同 AI 供应商(包括开源和自托管模型)的 API 设计和调用方式不一致,导致了开发人员和企业使用和管理 AI 服务的方式变得非常复杂。

APIPark 为大家带来全新的 AI Service (AI Gateway / LLM Gateway )功能,支持快速同时接入多个 AI 大模型。

图片

通过统一的 API 格式来简化调用过程,APIPark 极大地减少了模型切换的复杂性和不稳定性,并且支持将 Prompt 封装成标准 REST API,便于常用 API 的在团队内外部的复用共享。

此外,APIPark 还支持 API 全生命周期的管理,覆盖 从API 的设计、发布到调用和下线的全过程,同时还提供订阅审批机制,有助于提高数据安全性。

https://github.com/APIParkLab/APIParkicon-default.png?t=O83Ahttps://github.com/APIParkLab/APIPark

🚀极速接入多款大模型

骤1:配置 AI 大模型供应商

在开始创建 AI 服务之前,首先需要配置 AI 模型供应商。APIPark 支持多款主流 AI 大模型,包括 OpenAI、Anthropic、AWS Bedrock、Google Gemini ...

配置供应商后,您可以选择不同的模型来创建 AI 服务,并在 APIPark 中统一管理所有 AI 服务的授权信息和成本统计。

进入 系统设置 模块,在侧边栏中选择 AI 模型管理,在列表中可以看到 APIPark 支持的所有 AI 供应商。

图片

💡 如果列表内没有您想要的AI 大模型,欢迎给我们提交 Issue(点击跳转)!

下面以接入 OpenAI 为示范,点击设置按钮,在弹窗中:

1)选择 默认的 AI 模型:后续在 AI 服务中创建 API 时,系统会自动为 API 设置默认的 AI 模型,减少用户操作的次数。

2)填写 供应商配置:每个供应商有不同的配置信息,系统会自动根据你选择的供应商来生成所需的配置信息。

配置信息一般可以在供应商的 Open API 管理后台获得,你可以在弹窗左下角找到快速跳转到供应商官网的按钮。

图片

步骤2:创建并发布 AI 服务

1)进入 工作空间 模块,在侧边栏中选择 服务,然后 创建服务,填写 AI 服务的基本信息配置管理权限订阅审核形式

图片

2)创建服务之后,APIPark 会自动在服务里创建一个默认的 聚合 API(Unified API),你可以直接通过这个聚合 API 来调用 AI 服务。

以往企业调用 AI 过程中,涉及到 Prompt 提示词都是采用硬编码的形式写在系统中。在 APIPart 上你可以对每个 LLM API 的 Prompt 独立管理,你可以将 Prompt 提示词和 AI 模型组合成自定义的 AI API

图片

3)将配置了 Prompt 的 AI API 发布到 API 门户上供大家订阅; 你可以给 API 配置审核流程,团队内外的开发者需要等待审核通过之后才能调用, 你还可以在列表中看到所有订阅该服务的 消费者

图片

APIPark 极大简化了大语言模型调用的过程,无需复杂代码即可同时连接主流大语言模型,让企业更加快捷、安全地使用AI。喜欢或感兴趣的小伙伴们赶紧去体验吧!记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!

🔗更详细使用教程可以查看:APIPark 产品使用文档


http://www.kler.cn/a/429678.html

相关文章:

  • 【数据结构学习笔记】19:跳表(Skip List)
  • 数据挖掘实训:天气数据分析与机器学习模型构建
  • redis缓存篇知识点总结
  • VS2015 + OpenCV + OnnxRuntime-Cpp + YOLOv8 部署
  • 【Linux系统】—— vim 的使用
  • 蓝桥杯备考:数据结构之栈 和 stack
  • 2024年深圳杯数学建模C题编译器版本的识别问题解题全过程文档及程序
  • C语言 字符数组/多维数组/函数/作用域
  • 【MySQL 进阶之路】存储引擎和SQL优化技巧分析
  • 力扣刷题TOP101: 24.BM30 二叉搜索树与双向链表
  • STELLA软件入门:应用STELLA软件建立系统动态模型的过程;STELLA软件安装、界面及功能讲解等;在农业、生态及环境等科学领域应用
  • 模拟退火算法
  • 计算机网络练习题
  • Python教程104:生成26个英文字母有哪些方法?
  • LEED认证是什么?LEED认证银级和金级之间的区别在哪里
  • Agent AI: Surveying the Horizons of Multimodal Interaction---医疗保健、视频音频、多模态
  • python学习笔记—4—数据类型与数据类型转换
  • Linux上的C语言编程实践
  • JVM(Java虚拟机)类加载子系统是Java运行时环境的重要组成部分
  • 【opencv入门教程】14. 矩阵乘除运算
  • 企业防盗版:SPN安全上网解决方案,您的智能防护盾
  • 基于Hadoop大数据音乐推荐系统的设计与实现
  • 数据结构之初始二叉树(1)
  • Vue中key值的作用?
  • 获取缓存大小与清除 Web 缓存 - 鸿蒙 HarmonyOS Next
  • 《深入浅出HTTPS》读书笔记(17):公开密钥算法