当前位置：首页 > article >正文

大模型开发实战1-QuickStart

article 2024/10/24 16:23:46

0. 关于大模型和模型选择

由于OpenAI的ChatGPT流行，AI技术在大模型技术的赋能下高速发展，特别是2023年至今，国内的AI技术发展更是前所未有的景象，各大公司争相发布自己的大模型，包括百度文心一言，阿里同义千问，字节豆包等，还包括一些专注AI的新兴公司，如智谱清言、月之暗面等。现在市场上免费使用的大模型平台很多，也成为了我们日常工作中不可或缺的部分。对于大模型推理服务方面，也是各个厂商各个模型的价格不一。

为了进行大模型开发或者实验，除非本地部署大模型，就要选择合适的大模型服务平台。提供大模型推理服务的平台有很多，上面提到的公司都有。我们团队在调研和实践开发了一个大模型产品之后，决定把首选模型定为阿里的Qwen。以下是几点原因：

Qwen开源模型性能好：Qwen2.5一发布就登上各大开源大模型榜首，最新版的数学计算和编程能力有大幅提升，且提供了从大到小满足不同需求的尺寸。
阿里百炼平台：阿里的大模型推理服务平台升级成百炼之后，操作体验更好，

在这里插入图片描述

且推理费用一降再降，新用户每个模型还有100W的tokens免费额度，部分模型直接免费使用，本实战教程就直接使用免费的qwen2.5-3b-instruct模型。

在这里插入图片描述

值得一提的是，平台本身接口兼容OpenAI。

在这里插入图片描述

Qwen-Agent框架：阿里官方为Qwen模型开发了用于AI应用开发的智能体框架，还提供了常用场景的模板实现。
Qwen开源文档和博客资料内容和版面都很实用，且中英文都支持。

1. QuickStart

先到阿里百炼平台开通服务并创建API-KEY以开始体验

1.1 安装OpenAI依赖

pip install OpenAI

1.2 设置API-KEY

系统环境变量添加DASHSCOPE_API_KEY，值为创建的API-KEY。

1.3 读取API-KEY并进行推理

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"), 
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen2.5-3b-instruct", # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': '你是谁？'}],
    )
    
print(completion.model_dump_json())

运行以上代码，得到模型推理返回结果：

{
	"id": "chatcmpl-d601336a-d070-95d8-983b-7bd3187a7611",
	"choices": [{
		"finish_reason": "stop",
		"index": 0,
		"logprobs": null,
		"message": {
			"content": "我是Qwen，由阿里云开发的预训练模型，我的目标是帮助用户获得准确、有用的信息。我可以回答问题、创作文字， 比如写故事、写公文、写邮件、写剧本等等，还能表达观点，生成艺术性的文字。如果你有任何问题或需要帮助的地方，请随时告诉我！",
			"refusal": null,
			"role": "assistant",
			"audio": null,
			"function_call": null,
			"tool_calls": null
		}
	}],
	"created": 1729733446,
	"model": "qwen2.5-3b-instruct",
	"object": "chat.completion",
	"service_tier": null,
	"system_fingerprint": null,
	"usage": {
		"completion_tokens": 66,
		"prompt_tokens": 32,
		"total_tokens": 98,
		"completion_tokens_details": null,
		"prompt_tokens_details": null
	}
}