兴安盟住房和城乡建设部网站南昌手机网站

保护生成式 AI：生成式 AI 安全范围矩阵简介

生成式人工智能（生成式 AI）正在吸引各大企业的关注，并在全球各行各业中重塑客户体验。这一 AI 能力的飞跃，由数十亿参数的大语言模型（LLM）和Transformer 神经网络驱动，为生产力提升、创意能力扩展等方面带来了全新的可能性。

随着企业为员工和客户评估并采用生成式 AI，网络安全从业者必须快速评估这种不断发展的技术所涉及的风险、治理和控制措施。作为与全球规模最大、最复杂的客户合作的安全专家，亚马逊云科技的团队经常被咨询关于生成式 AI 的最新趋势、最佳实践以及安全和隐私方面的挑战。在此背景下，我们希望分享一些关键策略，帮助大家加速生成式 AI 安全体系的建立。

这篇文章是保护生成式 AI 系列的第一篇，旨在建立一种思维模型，帮助大家根据所部署的生成式 AI 负载类型来分析风险和安全影响。接下来，我们会重点介绍安全领导者和从业者在保护生成式 AI 负载时需要优先考虑的关键因素。在后续的文章中，我们将深入探讨如何开发符合安全要求的生成式 AI 解决方案、如何对生成式 AI 应用进行威胁建模、如何评估合规性和隐私问题，并探索如何利用生成式 AI 来提升企业自身的网络安全能力。

 

从哪里开始上手生成式AI安全？

与所有新兴技术一样，建立坚实的技术基础对于理解相关的安全范围、风险、合规和安全要求至关重要。要更深入了解生成式 AI 的基础知识，大家可以先学习生成式 AI 的定义、独特术语及其使用场景，并查看各行业如何利用它来推动创新。

如果大家刚开始探索或采用生成式 AI，可能会认为这需要全新的安全体系。虽然生成式 AI 确实有一些独特的安全考虑，但好消息是，它本质上仍然是一种数据驱动的计算工作负载，因此可以沿用许多成熟的安全框架。如果大家多年来一直在遵循云安全的最佳实践，并参考了Well-Architected Framework 的安全支柱、Well-Architected 机器学习白皮书等建议，那么已经在正确的道路上了！

核心的安全领域，例如身份与访问管理（IAM）、数据保护、隐私与合规性、应用安全和威胁建模，在生成式 AI 负载中仍然至关重要。例如，如果生成式 AI 应用需要访问数据库，大家需要明确数据库的数据分类、如何保护数据、如何检测潜在威胁以及如何管理访问权限。但除了传统的安全实践，生成式 AI 还带来了一些新的风险和额外的安全考量，这篇文章将重点介绍需要关注的安全因素。

确定安全范围

如果企业决定采用生成式 AI 解决方案，安全团队该如何行动？和所有安全工作一样，第一步是明确安全范围。这取决于具体的使用场景，比如企业可能选择一个托管服务，由云服务商负责模型和基础设施的管理，或者选择自建服务和模型。

在亚马逊云科技，安全是最重要的优先事项，我们相信为客户提供合适的工具至关重要。例如，大家可以使用Amazon Bedrock，这是一个无服务器、API 驱动的生成式 AI 平台，提供 AI21 Labs、Anthropic、Cohere、Meta、Stability.ai 和 Amazon Titan 的预训练基础模型。Amazon SageMaker JumpStart 提供了额外的灵活性，同时支持预训练模型，帮助大家更安全地加速 AI 旅程。此外，大家还可以在 Amazon SageMaker 上构建和训练自己的模型。

不同的生成式 AI 解决方案涉及不同的基础设施、软件、访问权限和数据模型，因此会带来不同的安全考量。为了统一管理安全评估，我们制定了一套安全范围分类方法，称为 生成式 AI 安全范围矩阵（Generative AI Security Scoping Matrix），如下图所示。

生成式 AI 安全范围

第一步是确定业务的使用场景属于哪个安全范围。我们将这些范围分为 1–5 级，从最低的自主管理到最高的自主管理。

购买生成式 AI 服务：

范围 1：消费级应用

企业使用公开的第三方生成式 AI 服务（免费或付费）。此时，企业无法访问或修改模型或训练数据，只能按服务协议调用 API 或使用应用。

示例： 一名员工使用一个生成式 AI 聊天应用，为即将开展的营销活动生成创意。

范围 2：企业级应用

企业使用嵌入生成式 AI 功能的第三方企业软件，并与供应商建立商业合作关系。

示例： 企业使用一款具备 AI 会议议程生成功能的第三方日程管理软件。

自建生成式 AI 解决方案：

范围 3：预训练模型

企业使用第三方预训练基础模型来构建自己的应用，并通过 API 直接集成到业务系统。

示例： 企业基于 Anthropic Claude 模型，使用 Amazon Bedrock API 构建客服聊天机器人。

范围 4：微调模型

企业基于第三方基础模型进行微调，使用自有数据优化模型以适配特定业务场景。

示例： 企业通过 API 访问基础模型，并构建营销工具，使其能生成与企业品牌风格匹配的营销内容。

范围 5：自主训练模型

企业从零开始训练生成式 AI 模型，完全控制数据、算法和训练过程。

示例： 一家企业希望训练一个专门针对某个行业的大型语言模型（LLM），然后将其授权给行业客户。

关键安全领域

在生成式 AI 安全范围矩阵中，我们定义了五个关键安全领域，不同的生成式 AI 解决方案对这些安全领域的要求也有所不同。通过确定业务所处的安全范围，安全团队可以快速聚焦重点，并明确需要评估的安全领域。

1. 治理与合规 – 保障业务安全运行的政策、流程和合规报告。

2. 法律与隐私 – 生成式 AI 解决方案的法律、合规和隐私要求。

3. 风险管理 – 识别潜在安全威胁并制定应对策略。

4. 安全控制 – 实施必要的安全控制措施以降低风险。

5. 系统韧性 – 保障生成式 AI 解决方案的可用性和 SLA。

在后续的生成式 AI 安全系列文章中，我们将继续解析生成式 AI 安全范围矩阵，帮助大家理解如何根据 AI 部署范围调整安全策略和实施方案。希望大家能在企业的采购、评估和安全架构规划过程中，采用并参考这套安全矩阵。欢迎大家持续关注小李哥的AI安全系列文章系列，不要错过更多国际前沿的云计算方案！