Hugging Face HUGS 加快了基于开放模型的AI应用的开发

在过去一年左右的时间里，开源人工智能模型在性能上已经明显赶上了 OpenAI、Google 和其他公司的流行闭源模型。 然而，由于在不同硬件上部署和维护这些模型所带来的开销，开发人员尚未广泛采用这些模型。为了解决这个问题，Hugging Face 今天发布了 Hugging Face Generative AI Services（HUGS），这是一个面向开发者的优化、零配置推理微服务，可以加速基于开放模型的 AI 应用程序的开发。

HUGS 模型部署还提供了与 OpenAI 兼容的 API，可直接替换建立在模型提供者 API 之上的现有应用程序。 这将帮助开发人员轻松地从基于 OpenAI 模型的应用程序迁移到基于开源模型的应用程序。

HUGS 基于文本生成推理和 Transformers 等开源技术构建。 它经过优化，可在各种硬件加速器上运行开放模型，包括NVIDIA GPU、AMD GPU、AWS Inferentia（即将推出）和 Google TPU（即将推出）。 目前已支持 13 种流行的开放式 LLM，包括 Meta 的 LLaMa，未来还将支持更多 LLM。 HUGS 可以部署在亚马逊网络服务、Google云平台和微软 Azure（即将推出）上。 HUGS根据公共云上每个容器的正常运行时间按需定价。

据Hugging Face称，HUGS具有以下优势：

在您的基础设施中： 在您自己的安全环境中部署开放模型。 让您的数据和模型远离互联网！

零配置部署： 通过零配置设置，HUGS 可将部署时间从数周缩短到数分钟，自动优化模型和服务配置，以满足NVIDIA， AMD GPU 或 AI 加速器的需求。

硬件优化推理： HUGS 基于 Hugging Face 的文本生成推理 (TGI) 技术，经过优化，可在不同硬件设置下实现最佳性能。

硬件灵活性： 在各种加速器上运行 HUGS，包括NVIDIA GPU 和 AMD GPU，即将支持 AWS Inferentia 和 Google TPU。

模型灵活性：HUGS 兼容多种开源模型，确保人工智能应用的灵活性和选择性。

行业标准 API： 利用与 OpenAI API 兼容的端点，使用 Kubernetes 轻松部署 HUGS，最大限度地减少代码更改。

企业发行版： HUGS 是 Hugging Face 开源技术的企业发行版，提供长期支持、严格测试和 SOC2 合规性。

企业合规性： 通过包含必要的许可证和服务条款，将合规风险降至最低。

您可以在这里了解有关 HUGS 的更多信息：

https://huggingface.co/blog/hugs

https://huggingface.co/docs/hugs/

HUGS 注重开源和易用性，有可能使获取强大人工智能模型的途径平民化，并加速创新人工智能应用的开发。