当前位置：首页 > article >正文

FastGPT结合New-api，遍享各类大模型

article 2025/1/20 5:51:56

欢迎关注【AI技术开发者】

上文中，我们成功搭建了FastGPT服务和New-api服务

我们现在需要配置New-api服务，使用New-api来同时使用多个厂商的大模型服务，如豆包、通义千问、混元、文心一言、Kimi等模型

首先，我们需要修改FastGPT容器的环境变量

OPENAI_BASE_URL = // New-api的服务地址，容器地址或外网地址都行
CHAT_API_KEY = // 访问Token

Token生成地址：

注意修改额度，以防不够用

然后修改FastGPT容器的config.json文件中的llmModels字段

这个是语言模型和视觉模型，按以下格式修改后放在这个文件里面

{
      "provider": "OpenAI", // 模型提供商，主要用于分类展示，目前已经内置提供商包括：https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, 可 pr 提供新的提供商，或直接填写 Other
      "model": "gpt-4o-mini", // 模型名(对应OneAPI中渠道的模型名)
      "name": "gpt-4o-mini", // 模型别名
      "maxContext": 125000, // 最大上下文
      "maxResponse": 16000, // 最大回复
      "quoteMaxToken": 120000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
      "fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
    },

model为New-api中的模型名称

name为自定义名称，自己认识就行

vision注意语言模型不支持图片输入

下面修改vectorModels字段，部署向量模型（解析知识库需要用到）

按以下格式：

{
      "provider": "通义千问",
      "model": "qwen-multimodal-embedding-v1", // 模型名（与OneAPI对应）
      "name": "通义千问-多模态向量", // 模型展示名
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 700, // 默认文本分割时候的 token
      "maxToken": 3000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    }

下面部署重排模型，对知识库搜索结果进行排序，这个用处不大

修改reRankModels字段，按以下格式：

{
            "model": "qwen-gte-rerank", // 模型名称
            "name": "通义千问-重排", // 随意
            "charsPointsPrice": 0,
            "requestUrl": "new-api/v1/rerank",
            "requestAuth": "安全凭证，已自动补 Bearer"
        }

全部修改完毕后，重启容器

进入web页面，看到