01背景

由于生成式人工智能程序展现出接近于人类的表达与推理能力，以ChatGPT为代表的大语言模型应用持续爆发，带动了全球关注人工智能。目前已有多个商业化大模型发布，如OpenAI发布的GPT系列、Meta推出的千亿参数大模型OPT以及Google发布的对标 GPT-4 的 PaLM 2等。

(相关资料图)

国内各大企业和研究机构也陆续推出了大模型应用，比如百度公司的文心一言、复旦大学的MOSS和清华大学的ChatGLM等。 

然而，伴随着大语言模型广泛应用的同时，ChatGPT和类似应用也接连暴露出安全问题。大语言模型应用带来了新的安全问题，并引发了多起安全事件。

表1 大语言模型涉及的安全事件

02 OWASP Top 10 for LLM 介绍

2023年8月1日OWASP（全球开放应用软件安全项目组织）正式发布了专门针对与大型语言模型 (LLM) 应用程序十大风险 版，指导如何应对LLM应用中可能存在的安全风险。 

下图是OWASP梳理总结的最严重的十大LLM应用安全漏洞类型：

图1 OWASP Top 10 for LLM 列表

OWASP TOP 10 for LLM列表的项目具体说明如下：

·      LLM01：提示词注入（Prompt Injection）

通过精心构造的提示词来操控大语言模型，使得该模型忽略先前的指令或者执行意外操作，导致数据泄漏、未经授权的访问等后果。

·      LLM02：不安全输出（Insecure Output Handling）

盲目接受未经验证的输出，则可能导致严重后果，如XSS、CSRF、SSRF、权限提升或远程代码执行等。

·      LLM03：训练数据投毒（Training Data Poisoning）

当LLM训练数据被恶意篡改，引入损害安全性、有效性行为的漏洞时，这可能会产生带有虚假或未经证实的内容输出，可能会操纵用户传播仇恨言论等。

·      LLM04：模型拒绝服务（Model Denial of Service）

这是在其他领域很常见的攻击类型。如果LLM收到大量资源密集型请求，则可能会出现拒绝服务（DoS）攻击，导致LLM服务停止或者服务速度减慢。而且因为LLM的资源密集性和用户输入的不可预测性，将导致更大的风险。

·      LLM05：供应链漏洞（Supply Chain Vulnerabilities）

LLM应用程序中的供应链漏洞包括第三方数据集和预训练模型中的漏洞，风险也可能存在于插件中。通过仔细审查每个组件的引入可以缓解供应链漏洞风险。

·      LLM06：敏感信息泄露（Sensitive Information Disclosure）

LLM可能会在其输出中泄露机密数据，例如贸易信息，知识产权，专有算法等，导致未经授权的数据访问、隐私侵犯和安全漏洞。因此，建议预先实施数据清理，以避免敏感信息和用户数据进入训练数据。还有实施严格的用户策略来缓解这种风险。

·      LLM07：不安全的插件设计（Insecure Plugin Design）

LLM 会自动调用插件，为用户请求收集更多上下文。插件可能具有输入不安全以及缺乏访问控制的情况，有可能导致远程代码执行等后果。

·      LLM08：过度代理（Excessive Agency）

该风险是由于授予了基于LLM的系统过度的功能、权限或自主权。最好使用最小权限模型限制访问范围，以确保LLM只访问工作所需的插件和功能。

·      LLM09：过度依赖（Overreliance）

LLM很强大，但人类不应该完全依赖它们来做出决策。在没有监督的情况下过度依赖LLM可能会因LLM生成的不正确或不适当的内容而面临错误信息、法律问题和安全漏洞。

·      LLM10：模型窃取（Model Theft）

该风险涉及对LLM模型的未经授权的访问、复制或泄露。其影响包括经济损失、竞争优势受损以及敏感信息泄漏。

03安天OWASP Top 10 for LLM安全解决方案

安天下一代WEB应用防护系统从LLM查询提示词过滤与规范化、敏感数据防泄漏、拒绝服务攻击防护、基于认证的安全管控、LLM访问审计与回溯五大方面为LLM应用提供安全解决方案，规避、缓解OWASP Top 10 for LLM中的安全风险。

图2 安天OWASP Top 10 for LLM 安全解决方案

1.LLM查询提示词过滤与规范化

安天下一代WEB应用防护系统具备一系列针对LLM应用环境的安全功能，如攻击特征检测、参数约束、文件安全以及XML/JSON数据规范等。这些措施旨在对LLM的输入进行严格的检查过滤和规范化处理，规避“LLM01-提示词注入”、“LLM05-供应链漏洞”和“LLM07-不安全的插件设计”风险。

“LLM01-提示词注入”是一种高危安全风险，攻击者企图通过精心构造的输入来操控LLM，从而导致其产生不可预期的行为。产品通过对LLM输入进行深度检查过滤，及时发现并阻止LLM应用安全相关的异常输入，缓解“LLM01-提示词注入”提及的安全风险。

产品内置大量WEB应用相关的库、组件、框架的漏洞特征，能有效地防止攻击者试图利用WEB相关漏洞对LLM发起攻击。这个保护机制能在很大程度上减轻“LLM05-供应链漏洞”安全风险。产品致力于确保LLM的整体安全，避免因外部供应链漏洞对其造成安全威胁。

下面是一个安天下一代WEB应用防护系统成功防止LLM供应链漏洞利用的示例。LLM接口框架Python开发库存在任意代码注入执行漏洞（CVE-2023-29374）。产品预置的Python相关攻击特征可以有效检测攻击者利用LLM接口框架LangChain漏洞，保护相关LLM应用不受到该漏洞的影响。

图3 LangChain LLM供应链漏洞

针对“LLM07-不安全的插件设计”风险，产品采用了一系列措施来限制和约束来自LLM插件的参数和文件。这包括对其参数进行类型和范围检查，对来自插件的文件进行WebShell和病毒扫描。通过对插件数据的过滤与限制，可以缓解因“LLM07-不安全的插件设计”带来的安全风险。

2.敏感数据防泄漏

在保护隐私安全的重要环节中，安天下一代WEB应用防护系统内置丰富的个人敏感数据特征，涵盖身份证号、社保号、银行卡号、手机号等重要个人信息。产品对LLM输出数据进行实时扫描，检测其中是否包含个人敏感信息。 

同时产品支持用户自行导入适用于其业务的敏感词库，通过高速匹配算法对LLM目标数据实施快速检索，结合数据脱敏技术，及时发现并阻止敏感数据的泄漏。 

安天下一代WEB应用防护系统的上述数据防泄漏措施能有效应对“LLM06-敏感信息泄露”安全风险，确保LLM敏感数据的安全存储。

3.拒绝服务攻击防护

产品提供综合的DDoS攻击防护方案，通过将反自动化工具技术与访问频度控制策略相结合，向用户提供从IP层到HTTP应用层的多层立体式DDoS安全解决方案，有效阻止攻击者利用自动化客户端工具向LLM提交高频查询请求、滥用LLM的查询接口，降低“LLM04-模型拒绝服务”风险。 

另外，产品的业务健康监测功能能够实时监控LLM应用的运行状态。通过多维度监测指标，如业务可用性、延时、错误率等，能够及早察觉LLM应用是否正在受到拒绝服务攻击。一旦检测到目标业务异常，产品将第一时间向管理员发出告警通知，以便及时采取应对措施，减小“LLM04-模型拒绝服务”的影响。

4.基于认证的访问管控

产品的用户跟踪功能实时监控用户对大语言模型的访问活动，识别LLM API调用的用户角色并记录其权限状态。在用户跟踪功能基础之上，进而实现基于用户角色的访问管控，发现未授权的用户访问和异常的用户权限状态变化。 

“LLM10-模型窃取”风险主要是利用未授权的访问来达到窃取模型数据的目的。基于认证的访问管控策略不仅可以预防模型窃取风险，还能保障用户数据隐私，为整个LLM应用系统提供可信的环境。

5.LLM访问审计与回溯针对已向公众开放使用的大语言模型应用，如ChatGPT，产品能够自动识别其业务流量，并对其流量进行相应的数据解析，结合用户角色、客户端类型、威胁等级等信息，对用户访问LLM的行为进行详细记录。

直观的可视化界面支持从多个视角展示LLM业务数据，允许用户从访问来源、访问用户、模型威胁等多个维度进行调查分析，快速捕捉、识别异常的活动和潜在的威胁。

图4 ChatGPT流量识别

通过对LLM插件、工具的模型访问行为的审计和回溯，能够及时发现其对LLM接口的异常访问，如过度的模型API调用等。结合产品内置的API访问频度控制策略，可以缓解“LLM08-过度代理”安全风险。

04结语

伴随着LLM的迅猛发展和广泛应用，LLM安全问题逐步突显。安天下一代WEB应用防护系统通过输入过滤与规范化、敏感数据防泄漏、拒绝服务防护、认证管控和访问审计回溯五大安全举措为LLM应用环境提供综合的安全解决方案，有效应对OWASP Top 10 for LLM中涉及的安全风险，为用户的大模型平台和应用提供可靠的安全保障。# 安天青竹智语实验室简介 #“安天青竹智语实验室”是安天集团为保障业务应用安全成立的实验室。该实验室在应对传统WEB应用威胁的基础上，增强API安全防护和自动化攻击防御；深度结合客户业务，发现逻辑异常、分析用户行为、追溯攻击源头，通过揭示攻击行为的深层次原因，提早发现客户业务系统漏洞，为业务稳定运行提供有效防护。

关键词：