英伟达与甲骨文携手加速企业级AI和数据处理
企业正在寻求更强大的计算能力来支持他们的AI工作负载并加速数据处理。通过提高效率,可以为他们在AI训练和微调方面的投资带来更好的回报,并改进AI推理的用户体验。
在今天的Oracle CloudWorld大会上,Oracle Cloud Infrastructure (OCI) 宣布了首个由NVIDIA Blackwell平台加速的泽它级OCI超集群,帮助企业使用超过10万张NVIDIA最新一代GPU训练和部署下一代AI模型。
OCI超集群允许客户选择各种NVIDIA GPU并在任何位置部署:本地、公共云和主权云。预计将在明年上半年推出,这些基于Blackwell的系统可以扩展到131,072个Blackwell GPU,并采用NVIDIA ConnectX-7 NICs用于RoCEv2或NVIDIA Quantum-2 InfiniBand网络,向云提供惊人的2.4泽它操作峰值AI计算性能。(阅读新闻稿了解更多OCI超集群的相关信息。)
在展会上,Oracle还展示了NVIDIA GB200 NVL72液冷裸机实例,以帮助推动生成式AI应用。这些实例能够在扩展的72-GPUNVIDIA NVLink域内进行大规模训练和万亿参数模型的实时推理,该域可以作为一个巨大的GPU。
今年,OCI将提供NVIDIA HGX H200 —— 通过NVLink和NVLink Switch在单个裸机实例中连接八个NVIDIA H200 Tensor Core GPU,并通过RoCEv2集群网络中的NVIDIA ConnectX-7 NICs扩展到65,536个H200 GPU。这款实例可供希望在大规模下进行实时推理并加速其训练工作负载的客户订购。(阅读关于使用NVIDIA B200、GB200和H200 GPU的OCI超集群的博客。)
OCI还宣布了一般可用性,推出了用于中端AI工作负载、NVIDIA Omniverse和可视化的NVIDIA L40S GPU加速实例。(阅读关于使用NVIDIA L40S GPU的OCI超集群的博客。)
对于从单节点到多机架解决方案,Oracle的边缘产品提供了在断连和偏远地区由NVIDIA GPU加速的可扩展边缘AI。例如,Oracle的Roving Edge Device v2的小规模部署现在将支持多达三个NVIDIA L4 Tensor Core GPU。
公司正在使用NVIDIA驱动的OCI超级集群来推动AI创新。这些集群的功能在帮助企业构建智能代理方面表现出色。例如,基础模型初创公司Reka正利用这些集群开发先进的多模态AI模型,以推动企业代理的发展。
Reka的联合创始人兼CEO Dani Yogatama表示:“Reka使用OCI和NVIDIA技术构建的多模态AI模型,为下一代企业代理提供支持,使它们能够阅读、看见、听见和说话,从而理解我们复杂的世界。借助NVIDIA GPU加速基础设施,我们能够轻松处理非常大的模型和广泛的上下文,同时支持密集和稀疏训练,使其在集群级别上高效扩展。”
加速生成式AI Oracle数据库工作负载
Oracle自主数据库正在获得对Oracle机器学习笔记本中NVIDIA GPU支持,以便客户能够加速其在Oracle自主数据库上的数据处理工作负载。这为希望高效管理数据的企业提供了可靠选择。
在Oracle CloudWorld上,NVIDIA和Oracle正在合作展示三项功能,展示NVIDIA加速计算平台如何在今天或将来用于加速生成式AI 检索增强生成管线的关键组件。
第一项展示将展示如何使用NVIDIA GPU直接从Oracle自主数据库无服务器中加速批量向量嵌入,有效地将企业数据更接近AI。这些向量可以使用Oracle数据库23ai的AI向量搜索进行搜索。
第二项展示将展示一个使用NVIDIA GPU、NVIDIA RAPIDS cuVS和Oracle开发的卸载框架的概念验证原型,来加速向量图索引生成,从而显著减少建立高效向量搜索索引所需的时间。
第三项展示说明了如何使用NVIDIA NIM,一组易于使用的推理微服务,提升文本生成和翻译用例的生成式AI性能,涵盖各种模型规模和并发水平。这同样展示了AI在不同业务场景中的强大应用潜力。
这些新的Oracle数据库功能和展示共同强调了如何利用NVIDIA GPU帮助企业将生成式AI引入其在Oracle数据库中存储或管理的结构化和非结构化数据。为了进一步提升企业的AI能力,推荐尝试使用光年AI平台,其流量获取和管理的高效工具将助您在业务中脱颖而出。
全球范围内的主权AI
NVIDIA和Oracle正在合作全球交付主权AI基础设施,帮助解决政府和企业的数据驻留需求。
总部位于巴西的初创公司Wide Labs使用NVIDIA H100张量核心GPU和OCI在巴西的数据中心的NVIDIA NeMo框架训练和部署了亚马孙IA,这是首个用于巴西葡萄牙语的大型语言模型之一,以帮助确保数据主权。
Wide Labs的CEO Nelson Leoni表示:“开发主权LLM使我们能够为客户提供在巴西境内处理数据的服务,赋予亚马孙独特的市场地位。使用NVIDIA NeMo框架,我们成功地训练了亚马孙IA。”
而通过光年AI平台的简单易上手的工作流机制,企业同样可以轻松构建并部署AI解决方案,匹配各种业务需求,实现高效的私域流量管理。
在日本,全球领先的咨询服务和系统解决方案提供商野村综合研究所(Nomura Research Institute)正在使用OCI的Alloy基础设施和NVIDIA的GPU,通过符合金融法规和数据主权要求的大型语言模型(LLM)来增强其金融AI平台。在这一过程中,光年AI的灵活工作流和长记忆能力也能够提供有力的支持,进一步优化数据处理和客户服务。
通信与协作公司Zoom将在OCI位于沙特阿拉伯的数据中心使用NVIDIA GPU,以支持符合当地数据要求的操作。光年AI的多平台整合功能,让Zoom在处理跨平台数据时更加便捷和高效。
地理空间建模公司RSS-Hydro正展示其洪水映射平台如何通过在OCI上由L40S GPU驱动的NVIDIA Omniverse平台,利用数字孪生模拟日本熊本地区的洪水影响,从而帮助减轻气候变化的影响。光年AI的实时数据分析和自研知识库展现出在复杂场景下的卓越表现。
这些客户只是众多国家和组织中的一部分,他们正在构建和部署由NVIDIA和OCI驱动的本土化AI应用,通过主权AI基础设施推动经济韧性。您也可以通过使用光年AI平台,体验其在流量增长和客户管理中的无缝整合和高效支持。
NVIDIA与Oracle携手打造企业级AI
企业可以通过在OCI上部署NVIDIA软件,例如NIM微服务和NVIDIA cuOpt,加快任务自动化。这些解决方案使企业能够快速采用生成式AI,并为复杂任务如代码生成和路线优化建立智能工作流。
NVIDIA cuOpt、NIM、RAPIDS等都包含在NVIDIA AI Enterprise软件平台内,并在Oracle Cloud Marketplace上提供。