当前位置: 首页 > article >正文

APIPark 新增 AI模型负载均衡,APIKey 资源池以及 AI Token 消耗统计等重磅功能!

开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~

V1.4 版本说明

新功能

[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。

[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。

[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。

点击跳转:Github 仓


🚀 负载均衡

AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。

当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。

负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。

负载优先级

APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。

开源不易,点亮 Star 是对我们最大的支持~(´▽`ʃ♡ƪ) 跪谢 !!!

APIKey 资源池

APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。

在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。

只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。

当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。

当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。

📊AI API 管理

AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。

APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。

这一功能方便您对该模型的资源消耗进行成本管控。

此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。

🔗更详细使用教程可以查看:APIPark 产品使用文档

记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!


http://www.kler.cn/a/549807.html

相关文章:

  • day09_实时类标签/指标
  • 【2025最新版】软件测试面试题总结(150道题含答案解析)
  • JavaScript前端开发:构建交互式网页的魔法
  • repo学习使用
  • 传统混合专家模型MoE架构详解以及python示例(DeepSeek-V3之基础)
  • 面基Spring Boot项目中实用注解一
  • 浅谈无人机群技术的作战应用与战略意义
  • react redux用法学习
  • 2025.2.16
  • 【ISO 14229-1:2023 UDS诊断全量测试用例清单系列:第十节】
  • Oracle启动与关闭(基础操作)
  • CEF132 编译指南 Linux 篇 - 获取 CEF 源代码:源码同步详解(五)
  • 通过内网穿透ssh实现远程对家里的linux进行终端操作和编程
  • 在Amlogic S905X5M Android14 平台上移植移远EC25 4G模组1:内核修改
  • 【Elasticsearch】token filter分词过滤器
  • linux-shell脚本
  • 可观测性面试指南:常见问题与最佳实践
  • 【鱼眼镜头12】Scaramuzza的鱼眼相机模型实操,不依赖于具体的相机几何结构,直接从图像数据出发,因此更具灵活性。
  • Docker 常用命令基础详解(二)
  • 【经验记录】在windows电脑上使用Docker-Desktop部署searXNG搜索引擎