Gartner发布中国CIO和安全团队生成式AI指南：制定人工智能安全治理计划的五个阶段

ChatGPT 和大型语言模型是 GenAI 将如何塑造许多业务流程的早期迹象。中国的首席信息官和安全团队必须确保其组织安全合法地构建和使用 GenAI，并探索其对网络安全的影响（积极和消极）。

主要发现

• 许多中国公司已经开始使用第三方生成式人工智能 (GenAI) 应用程序或自行开发。但安全团队并不一定很快就能参与这些计划，而且 GenAI 的安全控制仍在不断发展。

• 在安全领域，无论是恶意行为者还是防御者，在中国使用大型语言模型（LLM）和GenAI的实践案例都很少。这表明GenAI可能不会在短期内为安全防护带来显着的改善。

• 安全团队因努力跟上技术发展而精疲力尽。人工智能安全治理对于确保长期成功至关重要。

建议

为了解决 GenAI 对组织安全计划的各种影响，CIO 及其安全团队应：

• 全面了解GenAI 的功能及其在组织中的应用，以便管理相应的攻击面和安全风险。他们需要仔细审查未受管理的 GenAI 消费和业务实验。

• 在低风险和直接的用例中试验“生成式网络安全 AI”的概念。这将建立信任并在管理新威胁和风险方面积累经验。

• 与法律、合规和业务线领导和团队等组织对应部门合作实施人工智能安全治理，创建确保人工智能使用安全的基本标准并适应人工智能的内在复杂性。

分析

在中国， GenAI 和大型语言模型 (LLM) 在制造业、电子和半导体、能源和银行业等行业中展现出影响力和潜力。本研究揭穿了有关 GenAI 的炒作，并就中国 CIO 和安全团队如何快速适应快速变化提出了建议。

ChatGPT 的炒作程度、使用规模和采用速度提高了最终用户对 LLM 和 GenAI 的认识，并引发了一波商业实验和基于 AI 的初创企业浪潮。2023 年 4 月，Gartner 网络研讨会发现，在中国的 381 名与会者中，70%已经部署或计划启动 GenAI 计划。其中，6% 已经在生产环境中部署了 GenAI，26% 正在试用 GenAI，38% 处于规划阶段。

CIO 及其安全团队需要从四个方面为 GenAI 的影响做好准备。他们需要：

1.    确保企业计划构建 GenAI 应用程序：AI 应用程序的攻击面扩大，并带来新的潜在风险，需要调整现有的应用程序安全实践。

2.    管理和监控组织如何使用 GenAI：组织正在探索在现有应用程序中嵌入 GenAI 助手。这些应用程序都有独特的安全要求，而传统的安全控制无法满足这些要求。

3.    利用生成式网络安全 AI 进行防御：实际上需要抓住 GenAI 机会来改善安全性和风险管理、优化资源、防御新兴攻击技术，甚至降低成本。Gartner将生成式网络安全 AI 定义为将 GenAI技术应用于网络安全用例。

4.    准备好受到GenAI的攻击：由于 GenAI 工具和技术的发展，组织必须适应恶意行为者不断改进其技术或利用新的攻击媒介。

图 1 说明了这一点。

图 1：生成式人工智能对首席信息安全官的关键影响

了解 GenAI 的功能和应用，以管理攻击面和安全风险

2023年5月，中国科学技术信息研究所正式发布《中国人工智能大模型图谱研究报告》。报告显示，大规模人工智能模型是中国蓬勃发展的趋势。截至2023年5月，中国已开发至少79个大规模模型，每个模型的参数超过10亿个。报告称，自然语言处理是最活跃的领域。

无论安全隐患如何，会有更多企业采用 GenAI。

中国的企业正在为 GenAI 寻找更多的业务场景和用例。图 2 显示了五种主要部署方法。

图 2：生成式人工智能部署方法

CIO 及其安全团队面临与 GenAI 相关的几个关键问题：

• 我们组织中谁在使用 GenAI，出于什么目的？

• 他们如何部署 GenAI 和 LLM？

• 当员工与 GenAI 互动时是否会使用任何敏感数据？

• 我们如何管理安全风险？

这些关于 GenAI 安全性的问题反映了一种熟悉的模式。当云计算、大数据和社交媒体等其他技术发展作为数字化转型的一部分引入中国组织时，安全性也常常被抛在脑后——这种情况导致了不受控制的采用。任何管理新技术使用的“规则”往往从一开始就定义不明确。

然而，从过去的经验中可以吸取的一个教训是，随着新技术的使用不断增长，安全团队需要尽早识别新的攻击面。在 GenAI 领域，新的攻击面主要有两类。

第一类涉及组织自建的 GenAI 或自训练的 LLM ，这些是组织自己拥有的资产。这些攻击面可能包括：

• 生成的信息：由于这些信息未包含在数据治理系统中，因此相关的数据安全控制未得到适当实施。

• 训练数据：攻击者可能会尝试通过“毒害”GenAI 模型来操纵它们——向其提供有偏见或恶意的训练数据，从而产生不正确或其他不良结果。

• 提示：对抗性提示，例如提示注入，是LLM被滥用的最令人担忧的方式之一。当有人试图以非预期的方式做出 LLM 回答时，就会发生直接提示注入——例如，让它发表仇恨言论或有害的回答。间接提示注入才是真正令人担忧的，更糟糕。该指令不是用户输入恶意提示，而是来自第三方；例如，LLM 可以读取的网站或正在分析的 PDF 文件可能包含 AI 系统要遵循的隐藏指令。

• LLM 和 GenAI 应用程序中的安全漏洞：请参阅LLM 应用程序的 OWASP Top 10 。 

第二类源自组织的业务和 IT 部门对第三方 GenAI 的使用。这些新攻击面的示例包括：

• 与组织系统集成的第三方 GenAI 组件（应用程序、模型、代码库）。这些组件可能会引发数字供应链安全问题，因为攻击者会试图利用第三方组件中的任何弱点，这些组件可能会作为微服务广泛部署在流行的商业应用程序中。

• 直接用户输入和 API：通过这些 GenAI 可能会泄露敏感信息，例如个人数据或知识产权 (IP)。

• GenAI 应用程序对受版权保护内容的潜在使用：据报道，一些 GenAI 模型使用了他人创建的内容，这增加了侵犯版权和抄袭的风险。

• 未经授权的内部活动：内部人员可能会滥用生成 AI 工具，例如生成虚假文件或错误信息。

恶意行为者还可以使用 GenAI 作为诱饵（例如，通过启用对假冒 GenAI 应用程序的访问）来分发恶意软件或作为网络钓鱼活动的一部分。

建议：

• 与业务主管协作，定义工作流程以盘点、批准和管理 GenAI 的构建和使用。将这些工作流程集成到系统开发生命周期中。

• 例如，根据 GenAI 提供商的安全性以及他们为客户提供的有关退出和数据保留的策略可定制性来选择它们。

• 在训练和微调模型时，评估数据安全选项和限制，特别是对准确性和任何额外成本的潜在影响。请记住，《数据安全法》（DSL）和《个人信息保护法》（PIPL ）的要求包括个人有权要求组织删除其个人数据。

• 执行常规应用程序安全实践和控制，例如加密、多因素身份验证、数据匿名化和应用程序安全测试。

• 应用“AI TRiSM”原则并更新安全最佳实践以纳入AI应用要求（请参阅《如何安全地设计和操作机器学习以及信任、风险和安全管理中的生成AI创新指南》）。

利用生成式网络安全人工智能进行实验，建立信任并获取经验

攻击者已经在探索如何使用GenAI ，如果新技术的历史可以作为参考，那么他们将在未来进一步利用它。另一方面，安全市场上的 GenAI 公告也提高了防御者对提高安全团队生产力和准确性的期望。对于 CIO 及其安全团队来说，最大的问题是如何将 AI 用于安全。

攻击者利用人工智能进行入侵行动仍然有限，主要涉及社会工程学。在《如何应对 2023 年网络威胁形势》中，Gartner 将使用人工智能的攻击者归类为不确定威胁。不确定威胁往往是真实存在的，但目标组织往往缺乏明显的直接和即时响应。中国首席信息官及其安全团队近期应关注的主要威胁载体包括：

• 伪造：GenAI 可以创建逼真的人类声音和视频（深度伪造），使其看起来像来自可信来源。这些可以绕过语音生物识别和面部识别等安全控制。

• 网络钓鱼：攻击者可以使用LLM背后的大量数据来创建令人信服但虚假的数据，例如图像、视频和文本，以制作更逼真的网络钓鱼电子邮件。

• 社会工程学：GenAI 可用于创建看似真实的虚假社交媒体资料。攻击者可以利用这些资料来获取目标的信任，并诱骗他们提供敏感信息或点击恶意链接。

• 幻觉：当 GenAI 产生毫无现实依据的荒谬或虚假信息时，就被称为产生幻觉。这可能会导致对错误信息的过度依赖，也会导致安全风险，因为威胁行为者依赖用户对 GenAI 和 LLM 的信任来让他们下载或触发攻击。例如，AI 模型可能会产生一个代码库的幻觉，并反复向提出类似问题的用户推荐它；如果黑客发现了这种幻觉，他们就可以创建一个想象中的库的“真实”版本——但里面充满了危险的代码和恶意软件。然后，AI 会继续推荐该代码库，用户会在不知不觉中下载黑客的代码。

• 密码破解：GenAI 可用于生成新的密码组合，以便对受密码保护的系统进行暴力攻击。通过在现有密码和模式上训练 AI 模型，攻击者可以生成成功率很高的新密码组合。

• 欺诈活动：攻击者可以使用 GenAI 创建看似合法的虚假文件，例如发票和收据。他们可以使用这些文件进行欺诈活动，例如账单欺诈。

在网络安全行业，各种会议、新闻头条和大型制造商都声称 GenAI 将显著改变网络安全防御。生成式网络安全 AI 技术通过从大量原始源数据库中学习，生成与安全相关和其他相关内容、策略、设计和方法的新版本。

一些中国组织可能被限制使用来自外国安全供应商的 LLM 或商业产品。目前，中国的 CIO 及其安全团队主要依赖开源模型和中国供应商。

生成式网络安全 AI 在中国还处于非常早期的阶段。其开发需要安全专业人员的数据和知识，这对安全专业的法学硕士来说通常是一个挑战。这是因为中国大多数生成式网络安全 AI 产品只有少数选定的客户可以收集反馈。安全专业人员会使用 GenAI，但供应商过于乐观的 GenAI 公告可能会导致浪费和失望。区分炒作与现实是一项挑战。

使用生成式网络安全 AI 时面临的最大挑战之一是确保其准确性，从而最大限度地减少对业务运营的干扰。幻觉不太可能在短期内消除，因此关键用例仍然需要人工审核。避免不利影响的方法是主要在高度容错的场景中使用生成式网络安全 AI 进行实验，其次在安全团队可以轻松检测和纠正其错误的场景中进行实验。这将帮助您建立对该技术的信任并安全地获得使用它的经验。

中国第一波生成式网络安全人工智能用例包括：

• 内容总结：使用自然语言和对话交互来生成安全报告、回答安全问题（对于非安全专业人士如开发人员和来自企业的安全专家特别有用）以及说明攻击路径和时间线。

• 漏洞检测：突出显示提示中输入的代码片段中的问题，或扫描源代码。

• 安全审计协助：将合规性检查点映射到组织的安全控制，并建议每个检查点项目需要准备的证据。

• 威胁情报：持续整合多源威胁情报，并根据组织的优先级定制情报。

• 缓解援助：对安全控制的改变以及新的或改进的检测规则的建议。

在下一波浪潮中，中国的首席信息官和安全团队将致力于进一步提高安全防御的效率，例如让 GenAI 分析告警、检测零日漏洞甚至执行自动响应。他们还希望使用 GenAI 自动化安全工程任务，例如为安全团队生成 SQL 查询、脚本和剧本的草稿（尽管这些仍需要人工检查，并可能进行更新）。这些用例理论上可以解决安全运营中最大的问题，具有最高的价值。然而，它们在中国的实施将相当具有挑战性，原因如下：

• GenAI 和 LLM需要精细的安全知识、强大的推理能力和编码能力。在这方面，目前中国安全市场上的 LLM 远远落后于其他地方最先进的 LLM，例如 GPT-4。

• 生成式网络安全 AI 不能犯太多错误，尤其是可能导致业务中断的错误。这引发了问责问题，并增加了安全团队对直接从生成式网络安全 AI 应用程序的输出中自动执行操作的犹豫。

• 有必要规划整合上下游安全工具的投资。培训和开发 LLM 的成本也很高。使用生成式网络安全 AI 的成本可能比使用解决相同用例的其他技术的成本高得多。

建议：

• 尝试使用组织现有安全提供商提供的全新生成式网络安全 AI 功能。从支持应用程序安全和安全运营的选定用例开始。

• 对生成式网络安全人工智能的投资顺序如下：首先是人，其次是流程，然后才是技术。重点关注利用人类对生成内容的解释的威胁载体，而这些载体没有技术控制。

• 监控中国的行业统计数据，以衡量 GenAI 对攻击者格局的影响。

• 建立新的指标或扩展现有的指标，以便将生成网络安全人工智能与其他方法进行对比，并衡量预期的生产力改进。

• 选择符合相关安全用例的中国境内微调或专门化的LLM 。

• 准备并培训安全团队应对组织中使用 GenAI 的直接影响（对隐私、IP 和 AI 应用程序安全的影响）和间接影响（来自人力资源、财务和采购等其他团队的影响）。

实施人工智能安全治理，为安全使用人工智能制定基本标准并适应人工智能的复杂性

CIO 及其安全团队不应仅仅努力跟上新技术的发展。他们还需要规划和建立一致且有效的 AI 安全治理计划，以应对 GenAI 采用的激增以及出现的任何新情况。

人工智能安全治理计划应监督组织设置、技术和政策。其早期任务之一是制定所有构建或部署人工智能的团队必须遵循的标准，包括安全人工智能开发、人工智能数据安全和人工智能安全应急响应的标准。

中国的首席信息官和安全团队应与相关利益相关者和组织对应方合作，建立五阶段的人工智能安全治理计划（见图3和表1）。

图 3：人工智能安全治理计划的五个阶段

表1 ：人工智能安全治理计划的五个阶段及其主要活动

来源：Gartner（2023 年 10 月）

在制定人工智能安全治理方案和政策时，与法律和合规部门的合作非常重要，以遵守中国的安全法律法规。请注意：

• 现有的一般安全法律法规也适用于人工智能，例如 DSL、PIPL 和等保2.0 (MLPS 2.0)。

• 根据 2022 年 Gartner 中国 AI调查，在中国接受调查的组织中，最常见的 AI 用例是产品和服务个性化，41% 的受访者将其列为三大 AI 用例之一。此用例要求组织在训练阶段获取和使用大量个人信息。他们必须谨慎应用个人信息的比例要求，根据该要求，个人信息的收集必须限制在处理目的所需的最小范围内；并且个人信息的处理必须对个人的权利和利益产生最小影响。

• 当中国企业使用国外 GenAI 产品时（无论是直接使用 ChatGPT 等产品，还是间接使用依赖海外第三方服务的国内 GenAI 应用） ，数据输入都会被传输至中国境外。这种未经安全评估和批准的出境传输可能会带来安全合规风险。《规范和促进跨境数据流动规定（征求意见稿）》 降低了出境数据传输的合规成本，这可能会鼓励企业使用海外 GenAI 产品。企业应监测市场趋势，并在采购阶段决定是否允许 GenAI 应用进行出境数据传输。

• 中国许多行业对使用公有云都有限制，这对于使用公有云基础设施的 GenAI 产品来说很重要。此外，到目前为止，大多数基于云的中国 GenAI 提供商都没有提供企业级安全性。一些大型组织可能拥有平台、经验和能力来私人托管 GenAI 和 LLM。然而，许多中小型企业无法支持私人托管。他们的 CIO 和安全团队需要与合规部门合作，并与行业监管机构密切沟通，以了解哪些公有云产品或使用方法适合他们，以及是否存在安全风险。

• 中国政府制定了专门针对人工智能的法律法规，例如《生成人工智能服务管理暂行办法》 。中国境内的组织在采购、使用或构建 GenAI 和 LLM 时需要满足这些法律法规的要求。

2023 年 8 月 15 日，国家网信办等六部门共同出台的《生成人工智能服务管理暂行办法》生效。这些措施对 GenAI 服务提供商规定了各种责任。例如，他们必须：

• 及时对“违法内容”采取行动，包括暂停内容生成和传输、删除相关内容、通过模型优化等方式予以解决。

• 来自合法来源的源数据和基础模型。

• 不侵犯他人的知识产权。

• 根据中国法律，在获得适当同意或有合法依据的情况下处理个人信息。

• 不收集不必要的个人信息，不以可识别个人用户的方式存储输入信息和使用记录，不向第三方披露用户的输入信息和使用记录。

• 确保与舆情或社会动员属性相关的GenAI服务经过安全评估和算法备案。

建议：

• 建立或更新公司政策，明确列出AI安全治理规则，包括所有必要的工作流程，并使用现有的数据分类来限制提示和第三方应用程序中敏感数据的使用。

• 快速向所有员工传达使用 GenAI 的最重要的规则，例如需要获得指定内部联系人的批准、对客户数据的使用限制以及如何记录、跟踪和审查 GenAI应用程序输出的规则。

• 制定用户政策、培训和指导，以最大限度地减少未经批准的 GenAI 使用以及侵犯隐私和版权的风险。

• 要求完成安全和人工智能法规所要求的影响评估，例如《生成人工智能服务管理暂行办法》。

• 对具有最高潜在业务影响的用例进行分类，并确定最有可能快速启动项目的团队。

• 优先考虑对财务和品牌有直接影响的用例的安全资源参与，特别是面向客户的内容生成和面向客户的团队，例如支持中心。

• 为使用 GenAI 的供应商定义新的供应商风险管理要求。确保在选择 GenAI 供应商时有安全团队参与。

• 在采购 GenAI 产品时，要求供应商提供有关数据传输路径和数据存储位置的透明度。

• 在可用的情况下，优先考虑企业用例的私人托管或单租户选项，因为它们提供额外的安全和隐私控制。