如何评估云原生GenAI应用开发中的安全风险（上）

人工智能（AI）是一个快速发展的领域，具有改善和改变社会各方面的潜力。到 2023 年，随着强大基础模型（FMs）的发展以及由此带来的生成式 AI 能力的提升，AI 技术的应用速度进一步加快。

在亚马逊云科技，我们推出了多个生成式 AI 服务，例如 Amazon Bedrock 和 Amazon CodeWhisperer，并通过 Amazon SageMaker JumpStart 提供了一系列高性能的生成式模型。这些服务旨在帮助客户充分利用生成式 AI 的新兴能力，包括增强创造力、个性化和动态内容生成以及创新设计。此外，它们还可以帮助 AI 从业者以前所未有的方式理解世界，例如解决语言障碍、应对气候变化、加速科学发现等。

然而，为了充分发挥生成式 AI 的潜力，慎重考虑潜在风险至关重要。首先，这可以确保 AI 系统的相关方能够安全、负责任地开发和部署 AI，并鼓励采取主动措施来应对可能的影响。因此，建立评估和管理风险的机制是 AI 从业者需要考虑的重要过程，并且这一过程已经成为许多新兴 AI 行业标准（例如 ISO 42001、ISO 23894 和 NIST RMF）以及立法（如欧盟 AI 法案）的核心组成部分。在本文中，我们将探讨如何评估 AI 系统的潜在风险。

不同层级的风险是什么？

尽管从单个机器学习（ML）模型及其相关风险的角度出发可能更为直接，但重要的是要考虑该模型的具体应用场景及其相应的用例，作为完整 AI 系统的一部分。事实上，一个典型的 AI 系统可能依赖多个不同的 ML 模型协同工作，并且一个组织可能会构建多个 AI 系统。因此，可以针对每个用例以及不同层级进行风险评估，包括模型风险、AI 系统风险和企业风险。

企业风险涵盖组织可能面临的广泛风险，包括财务、运营和战略风险。AI 系统风险侧重于 AI 系统的实施和运行所带来的影响，而 ML 模型风险则专注于 ML 模型固有的漏洞和不确定性。

在本文中，我们主要关注 AI 系统风险。但需要注意的是，组织内的所有不同层级的风险管理都应当被纳入考量并保持一致。

如何定义 AI 系统风险？

在 AI 系统的背景下，风险管理可以用来最大程度地减少不确定性或潜在负面影响，同时提供最大化正面影响的机会。风险本身并不是潜在危害，而是指不确定性对目标的影响。根据 NIST 风险管理框架（NIST RMF），风险可以通过事件发生的概率与相应事件的后果大小相乘来估算。

风险包含两个方面：固有风险和剩余风险。固有风险表示在没有任何缓解措施或控制手段的情况下，AI 系统所展现的风险水平。而剩余风险则是在考虑了缓解策略后，仍然存在的风险。

请始终牢记，风险评估是一项以人为本的活动，需要整个组织的协作。这种协作包括确保所有相关方（例如产品、工程、科学、销售和安全团队）都参与评估过程，以及评估社会视角和规范如何影响某些事件的发生概率和后果认知。

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容，在本篇中我们介绍了在云原生AI应用开发中不同层级的风险，并了解了如何定义AI系统的风险。欢迎大家继续关注小李哥的生成式AI应用安全系列，了解国际前沿的亚马逊云科技解决方案，关注我不要错过未来更多的干货内容！