A3超级计算机虚拟机，为大型语言模型LLM和AIGC提供强大算力支持

热门大语言模型项目地址：www.suanjiayun.com/mirrorDetails?id=66ac7d478099315577961758

近几个月来，我们目睹了大型语言模型（LLMs）和生成式人工智能强势闯入我们的视野，显然，这些模型在训练和运行时需要耗费大量的计算能力。认识到这一点，谷歌云在谷歌I/O大会上宣布推出一款全新的A3超级计算机虚拟机。

A3是专门为满足这些对资源需求极高的应用场景的大量需求而打造的。 该公司在一份公告中写道：“A3 GPU虚拟机是专门为当今的机器学习工作负载提供最高性能的训练而打造的，配备了现代CPU、改进的主机内存、下一代英伟达GPU以及重大的网络升级。” 具体而言，该公司为这些机器配备了英伟达的H100 GPU，并与一个专门的数据中心相结合，从而获得了具有高吞吐量和低延迟的强大计算能力，而且据他们所说，其价格相较于通常购买此类配置所需的费用更为合理。

其具体配置参数如下，它由8块英伟达H100 GPU、第四代英特尔至强可扩展处理器、2TB的主机内存以及通过NVSwitch和NVLink 4.0实现的8块GPU之间3.6 TB的双向带宽提供动力，NVSwitch和NVLink 4.0是英伟达的两项技术，旨在帮助像本产品中的这些多块GPU之间实现吞吐量的最大化。 这些机器可提供高达26exaFLOP（每秒百亿亿次浮点运算）的算力，这将有助于缩短训练更大规模机器学习模型所需的时间并降低相关成本。此外，这些虚拟机上的工作负载在谷歌专门的朱庇特数据中心网络架构中运行，该公司将其描述为“26000个高度互联的GPU”。这使得“可按需调整拓扑结构的全带宽可重构光链路”成为可能。

该公司表示，这种方式也应有助于降低运行这些工作负载的成本。 其目的是为客户提供强大的算力，以训练要求更高的工作负载，无论是涉及复杂的机器学习模型还是运行生成式人工智能应用的大型语言模型，并且是以一种更具成本效益的方式来实现。

谷歌将通过以下几种方式提供A3：客户可以自行运行它，或者如果他们愿意，也可以选择托管服务，由谷歌为他们承担大部分繁重的工作。自行运行的方式是在谷歌Kubernetes引擎（GKE）和谷歌计算引擎（GCE）上运行A3虚拟机，而托管服务则是在Vertex AI（该公司的托管机器学习平台）上运行A3虚拟机。 虽然新的A3虚拟机在谷歌I/O大会上宣布推出，但目前只能通过注册预览等候名单来获取使用资格。

热门模型开源项目地址：应用社区 算家云