当前位置：首页 > article >正文

开源模型应用落地-glm模型小试-glm-4-9b-chat-智谱大模型开放平台（七）

article 2024/11/14 22:21:40

一、前言

GLM-4是智谱AI团队于2024年1月16日发布的基座大模型，旨在自动理解和规划用户的复杂指令，并能调用网页浏览器。其功能包括数据分析、图表创建、PPT生成等，支持128K的上下文窗口，使其在长文本处理和精度召回方面表现优异，且在中文对齐能力上超过GPT-4。与之前的GLM系列产品相比，GLM-4在各项性能上提高了60%，并且在指令跟随和多模态功能上有显著强化，适合于多种应用场景。尽管在某些领域仍逊于国际一流模型，GLM-4的中文处理能力使其在国内大模型中占据领先地位。该模型的研发历程自2020年始，经过多次迭代和改进，最终构建出这一高性能的AI系统。

二、术语

2.1.GLM-4-9B

是智谱 AI 推出的一个开源预训练模型，属于 GLM-4 系列。它于 2024 年 6 月 6 日发布，专为满足高效能语言理解和生成任务而设计，并支持最高 1M（约两百万字）的上下文输入。该模型拥有更强的基础能力，支持26种语言，并且在多模态能力上首次实现了显著进展。

GLM-4-9B的基础能力包括：

- 中英文综合性能提升 40%，在特别的中文对齐能力、指令遵从和工程代码等任务中显著增强

- 较 Llama 3 8B 的性能提升，尤其在数学问题解决和代码编写等复杂任务中表现优越

- 增强的函数调用能力，提升了 40% 的性能

- 支持多轮对话，还支持网页浏览、代码执行、自定义工具调用等高级功能，能够快速处理大量信息并给出高质量的回答

2.2.智谱大模型开放平台

是一个为用户提供多种大模型服务和功能的技术平台。以下是关于它的详细介绍：
1. 模型丰富性：

基础大模型：平台集成了智谱 AI 自主研发的 GLM 系列大模型，如性能强大的 GLM-4 等。GLM-4 是智谱 AI 的新一代基座大模型，在逻辑推理、函数调用等方面表现出色，其能力逼近 GPT-4，在多方面的数据集测评中展现出卓越性能。
多模态模型：包括具备视觉能力的 GLM-4V，能够在不牺牲自然语言处理任务性能的情况下，实现视觉语言特征的深度融合，可以处理看图片并回答多种视觉问题等任务。还有能基于文本描述创作图像的 CogView-3，用户可以用简单的自然语言提示来生成高质量图片。
专业领域模型：例如擅长中文的向量模型 Embedding-2、代码模型 CodeGeex 以及超拟人角色定制模型 CharacterGLM 等，满足不同用户在不同专业领域的需求。

2. 功能特点：

一键微调功能：用户无需代码，仅用简单的步骤即可完成模型微调。
AllTools 智能体 API：为开发者提供了一套完整工具，可利用模型、工具和知识来执行复杂、多步骤的任务，轻松构建强大的 AI 助手，帮助用户实现更复杂的功能和应用。

3. 用户适用性：

无论是完全没有代码基础的普通用户、大模型技术极客、专业工程师，还是寻求专业大模型技术服务的企业，都可以在该平台上找到适合自己的产品和服务。
4. 使用成本优势：

智谱大模型开放平台在价格方面具有一定竞争力，不断推出优惠活动和价格调整策略，降低用户的使用成本。

三、前置条件

3.1.登录/注册

访问地址：open.bigmodel.cn

3.2.生成API Key

3.3.安装依赖库

pip install zhipuai

四、技术实现

4.1.体验中心

设置模型参数

第一轮对话：

第二轮对话：

4.2.代码调用

api_key根据3.2章节生成

# -*- coding: utf-8 -*-

# pip install zhipuai 请先在终端进行安装

from zhipuai import ZhipuAI

client = ZhipuAI(api_key="xxxxxxxxxxxxxxxxxxxxxx.xxxxxxxxxxxxxxxxxxx")

def chat(messages):
    response = client.chat.completions.create(
        model="glm-4-9b",
        messages=messages,
        top_p= 0.7,
        temperature= 0.95,
        max_tokens=8192,
        stream=True
    )

    return response


if __name__ == '__main__':
    messages = [
                   {
                       "role": "system",
                       "content": "你是专业的导游"
                   },
                   {
                       "role": "user",
                       "content": "请推荐一些广州特色的景点"
                   }
               ]

    response = chat(messages)

    for chunk in response:
        msg = chunk.choices[0].delta.content
        print(msg,flush=True,end='')

调用结果：