当前位置：首页 > article >正文

【AI热点】小型语言模型(SLM)的崛起：如何在AI时代中找到你的“左膀右臂”？

article 2024/12/22 22:51:15

人工智能模型的演变

多年来，谷歌等科技巨头和OpenAI等初创公司，一直在不遗余力地利用海量在线数据，打造更大、更昂贵的人工智能（AI）模型。这些大型语言模型（LLM）被广泛应用于ChatGPT等聊天机器人中，帮助用户处理各种各样的任务，从编写代码、规划行程，到创作诗歌等。

自ChatGPT面世以来，AI模型便在变大、变强之路上“狂奔”。但喧嚣过后，科技公司也越来越关注更小、更精简的小型语言模型（SLM）。他们认为，这些小巧玲珑的模型不仅“术业有专攻”，而且部署成本更低廉、更节能。

未来，这些规模不一的AI模型将协同工作，成为人类的左膀右臂。

在这里插入图片描述

小型语言模型的优势

小型语言模型在简单的专业领域可能更有优势。

随着AI技术突飞猛进，AI模型的“块头”与日俱增。ChatGPT的缔造者OpenAI去年夸耀称，其GPT-4模型拥有约2万亿个参数。参数表示AI模型的大小，一般参数越多，AI模型的能力越强，庞大的参数量使GPT-4成为迄今最强大的AI模型之一，能回答从天体物理学到动物学等多领域包罗万象的问题。

但是，如果某家公司只想借助AI模型解决特定领域（如医学）的问题，或者一家广告公司只需一款AI模型来分析消费者行为，以便他们更精准地推送广告，GPT-4这类模型就有点“大材小用”了，SLM反而更能满足用户们的要求。

美国《福布斯》双周刊网站在11月的报道中，将SLM称为AI领域的“下一个大事件”。

微软公司生成式AI副总裁塞巴斯蒂安·布贝克表示，虽然SLM的参数量目前并没有统一标准，但大约在3亿到40亿个之间，小巧到可以安装在智能手机上。

专家声称，SLM更胜任简单的任务，如总结和索引文档、搜索内部数据库等。

法国初创公司LightOn的负责人劳伦特·都德认为，与LLM相比，SLM拥有诸多优势：首先，这些模型的反应速度更快，能同时响应更多查询，回复更多用户；其次，SLM部署成本更低，能源消耗也更少。

都德解释道，目前很多LLM需要大量服务器来进行训练，然后处理查询。这些服务器由尖端芯片组成，需要大量电力来运行，并进行冷却。而训练SLM所需芯片更少，运行耗费的能源也更少，这使其更便宜、更节能。

SLM还可直接安装在设备上，在不依赖数据中心的情况下运行，这能进一步确保数据的安全性。《福布斯》表示，SLM能以最少的计算资源执行各种任务，使其成为移动设备、边缘设备等的理想选择。

在这里插入图片描述

AI模型掀起“极简风”

谷歌、微软、元宇宙平台公司以及OpenAI等公司闻风而动，推出了各种SLM。

去年12月底，微软公司正式发布了只有27亿个参数的语言模型Phi-2。微软研究院在其X平台官方账号上表示，Phi-2的性能优于现有其他SLM，且能在笔记本电脑或移动设备上运行。今年4月，微软又推出了只有38亿个参数的Phi-3系列模型。

今年8月，微软公司再接再厉，推出了最新的Phi-3.5-mini-instruct。这款SLM为高效、先进的自然语言处理任务量身打造。9月，英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示，这款SLM特别适合边缘计算和设备端的应用。报道称，这两款SLM在计算资源使用和功能表现之间实现了良好平衡。在某些方面，其性能甚至可媲美LLM。

OpenAI也不甘示弱。今年7月，OpenAI公司发布了GPT-4o mini，称其是该公司最智能和最实惠的SLM。

此外，亚马逊公司还允许在其云平台上使用各种规模的AI模型。

其他公司也纷纷开发更适合自身需求的SLM。例如，美国制药巨头默克公司正与波士顿咨询集团（BCG）合作开发一款SLM，旨在探究某些疾病对基因的影响。这将是一款参数介于几亿到几十亿之间的AI模型。